元宇宙专委会《3D内容的端云协同呈现与AIGC生产》主题讲座顺利举办
2023年11月1日周三晚,深圳市计算机学会(SZCCF)联合清华大学数据与信息研究院“大数据科学与应用系列讲座”课程邀请到元象XVERSE 技术合伙人黄浩智先生,举办了交流分享会。
随着互联网基础设施的升级,从文本、图像、视频到3D内容,信息传播媒介呈现不断升维的趋势。3D内容媒介的复杂度带来了内容呈现和生产两个方面的挑战。本次讲座将介绍元象是如何打造下一代的3D内容平台来解决内容呈现和生产两个方面的挑战。对于内容呈现,元象提出了自研的端云协同渲染系统,降低了3D内容的消费门槛。对于内容生产,元象利用AIGC的相关技术降低了3D内容的创作门槛。
活动开场,清华大学数据与信息研究院王智副教授对本次讲座的主讲嘉宾及报告摘要进行了简要介绍并致欢迎辞。随后元象XVERSE 技术合伙人黄浩智先生为我们带来了题为《3D内容的端云协同呈现与AIGC生产》的主题报告。
本次报告主要分为三个部分,第一部分简要介绍了元象3D内容平台总览,然后分别从内容呈现:端云协同引擎系统与内容生产:AIGC工具链两个方向深入讲解元象如何解决面临的问题与挑战。
黄浩智先生指出,3D内容媒介的繁荣需要解决呈现与生产两侧的问题。生产侧需要为运行时的呈现准备好内容,同时,为了做更好的呈现,会对生产的产物有一些要求。呈现侧主要面临的四个问题是:算力、存储、带宽和延迟。生产侧主要面临的问题是:流程工业化、工具易用性、AIGC(希望人工参与的成分变少)和UGC(增加创作内容的丰富度)。
针对以上问题,元象给出了一种解法。内容生产侧希望通过AI算法来帮助生成内容,降低内容生产成本、增加内容多样性,使得普通用户能够便携地使用。在呈现侧,综合算力、存储、带宽和延迟的影响,元象提出了一种端云协同渲染的方案。在云端渲染静态内容,例如场景,以确保画面质量;在终端渲染动态内容,例如角色这种大量高速移动和高速变化的物体,以确保交互的实时性。最后通过端云的视觉融合,将最终效果呈现给用户。
在内容呈现方面,通过动画演示,直观展现了端云协同渲染方案的优势,并从内容复杂度、渲染复杂度、易达性、成本四个方面,做了进一步阐释。与重、慢、画面不够高品质的传统解决方案相比,元象提出的端云协同方案能够实现轻量接入、快速触达用户、且画面具有较强的真实感。
在内容生产方面,元象开发了一套完备的AIGC工具链。创作内容主要分为世界、角色和逻辑编写三个类别。在角色方面,展示了音乐生成舞蹈、声音驱动表情、多模态数字人等相关案例。在真实场景方面,展示了NERF重建、Gaussian Splatting渲染重建真实场景等相关案例。在虚拟场景方面,演示了室外与室内的3D场景生成方式,并分享了3D物体生成方面的最新进展。
在提问交流环节,活动参与者与主讲嘉宾针对3D内容生成与呈现的诸多关键性问题进行了充分探讨,尤其是关于端云协同渲染及AIGC技术所具有的核心优势和尚需克服的瓶颈挑战。通过此次活动,参与者清晰直观地了解了针对3D内容的优质渲染呈现方案与当下AIGC技术具备的能力及其巨大的未来发展潜力。至此,活动圆满结束。