聚好看科技AR/VR事业部总经理吴连朋：《虚拟空间及数字人交互的技术应用趋势》

4月13日下午，由武汉东湖新技术开发区管理委员会主办，陀螺科技联合主办的2023武汉元宇宙开发者高峰论坛在武汉光谷举办。

论坛以“元生万物，智汇光谷”为主题，聚焦元宇宙内容发展趋势、前沿开发技术及项目实战经验，Unity、中国移动咪咕公司、盛天网络、TCL华星、聚好看科技、MultiMetaVerse、比邻星球、维亚环球科技、彼真科技、佳创视讯、VeeR、铃空游戏等行业先锋代表为与会来宾带来精彩分享。

其中，聚好看科技AR/VR事业部总经理 吴连朋为与会来宾带来了“虚拟空间及数字人交互的技术应用趋势”的主题演讲。

 

以下为演讲实录：

大家好！我是来自海信的吴连朋。我的演讲题目是《虚拟空间及数字人交互的技术应用趋势》，会从偏向技术方面，从元宇宙的“人+场”的技术趋势，再到海信在探索的行业应用场景跟大家做分享。

首先简单介绍一下聚好看。聚好看公司是海信旗下的互联网科技公司，有连续五年的独角兽荣誉。我今天主要介绍的是云服务板块。

从2016年海信集团开始布局AR、VR产业，成立了相关的实验室，其演进过程就是聚好看云XR的三个阶段：1、偏向VR全景超高清直播平台的技术研发，我们更多是偏文旅方面；2、基于未来元宇宙的趋势，AI数字人的便捷生产和交互能力是未来核心应用场景的基础，以我们做了数字人的智能化生产平台；3、元宇宙的虚拟活动平台，在一些行业的场景做落地。

元宇宙最先火起来的是数字人，为什么？从我的理解，如果元宇宙没有AI化、便捷批量化生产以及互动的数字人的能力，那其实就不能叫元宇宙。那只是十年前就非常成熟的虚拟仿真技术，是游戏的应用场景，它跟未来元宇宙可以产生的价值是没有关系的。

为什么元宇宙未来可以逐渐地改变各行各业？我们认为，正是因为它的智能化生产能力，在交叉的科学演进趋势下开始成为可能。

第一是快速的生产能力，比如基于单图AI数字人的生成，可以做到40秒生成70%的相似度，就有可能在各种商业场景下应用。比如行业典型的MetaHuman，可以把本来需要几个月时间打造的数字人缩短到数天，甚至几分钟，从而使得办公、工业和社交方面的元宇宙应用成为可能。 

数字人到底包含了哪些？它的生产过程为什么可以逐渐成为各个行业应用的可能性？我们将其分解为五个步骤：建模技术、动捕/面捕技术、物理仿真技术、渲染技术、AI技术赋能。从左到右是一个逐渐的支撑过程。

最左边是建模，传统建模需要3D美术，需要数天甚至几个月的时间生产出来，它的演进趋势非常清晰，就是要往AI、往NeRF（神经辐射场）、往更高精度的方向演进，让建模AI化、智能化。

第二步是让数字人动起来，无论是身体的行动还是面部表情，这两块是核心。目前的趋势就是从传统需要有面捕设备、动捕设备，开始往单个摄像头和两个摄像头这种轻量级的重定向能力发展，让它更加轻便，才能在各个行业应用。

当一个数字人完成建模并动起来以后，接下来就是仿真和渲染，其趋势是更真实和实时。前几个过程以后，一个AI数字人就可以给用户完整展现了。最终能让它从“好看的皮囊”到“有趣灵魂”的演进，就是更智能化，结合大模型能力可以让它很快实现智能化的升级。

数字人又具体细分为三个方向：风格化数字人、写实数字人、超写实数字人。

行业里很多应用场景都能看到这种风格化的模型，它在国外已经非常成熟，可以拿来就用。我们从2020年开始第一次用风格化的数字人，后来逐渐出现基于AI的写实数字人，拓展到会议会展和教研活动的应用场景。我们现在做的是基于单图以及超写实的高精度扫描，由AI自动生成和绑定的数字人方向。

超写实的数字人，先需要生成超高精度的模型。这个模型的生成基本上只需要2天的时间，通过我们自己的一整套设备，扫描以后用AI自动绑定，并结合单个摄像头实现的面捕，就可以把数字人驱动起来。

最近两周我们还有一个案例，需要用俄语对集团展厅进行播报，我们的讲解员无法完成。公司就基于超写实的数字人生产能力，以及利用AI语音生成能力，在4个小时内就可以生成俄语版的全集团播报，并由数字人来承担这样的任务。从中可以看到数字人真正给这个场景带来了实际价值。

下面是单图写实数字人方面的趋势。传统常见的是基于风格化的千人一面的预置形象。我们更趋向于在会议、活动和展会的一些实际应用，这些场景对数字人的要求是更写实，能看出是自己，能更有沉浸感和真正面对面的交互感，所以这些数字人基于单图写实的AI建模。在2021年开始做时，我向团队提的要求是要有90%以上的写实度，能真正看到是自己，经过半年左右的探索以后，发现实际的应用场景并不需要90%的写实度，而是要结合美型和写实的综合形象，才能满足用户的需求。现在我们能达到70%以上的相似度，40秒的生成效率。

数字人无论是AI的建模还是驱动的技术，在未来三年以内就会成为基建技术，成为在文旅、工业、教育等各行各业里可以拿来就用的技术，但目前还是不行的。所以海信会在某些方向上积累自己的技术能力。

讲完核心的数字人，分享几个我们在行业里做的应用场景。

首先看一个调研，美国有一家公司采访了1250+虚拟活动组织者和参会者，51%以上的虚拟活动主办方有继续举办的意愿，并且复合年增长率23%。这是市场的情况。

基于前面的调研，我们在虚拟活动方面发布了产品——聚云境。这是一个跨终端的虚拟活动平台，在这个平台上我们的应用场景主要有5个方面，我会重点和大家介绍其中的2～3个。

第一个是元宇宙的设计协作。这是我们近两年做的应用场景里我个人最看好的一个场景，要解决的痛点是在传统的工业设计领域，工业设计师在作品建模以后给用户展现的方式近20年来是从来没有变化过的，就是建模完以后通过高精度的渲染输出图片，再以当面汇报呈现的方式给客户展现，这个非常依赖于设计师本人的表达能力以及他的沟通能力。

我们在这个痛点的基础上，结合海信自己的硬件能力做了设计协作平台，这是活动平台其中的一个应用场景，目前已经有20多个客户，我们的客户是设计师和设计公司。平台的基础能力和效果呈现能够满足预期。

在这个场景里，它与会议等活动的区别在于，其内容是来自于传统行业本来就需要做的内容，把内容经过我们的工具和平台的转化加工以后，在硬件终端上呈现，从而解决近20年来从没变化过的设计师的作品呈现和汇报方式。

虚拟教研方面是我们探索的另外一个核心场景。海信公司跟高职校的老师合作，他是新闻采编专业。老师希望让学生们不断能去到各行各业的工厂拓展见识，但现实情况下这个成本非常高，所以我们通过建模、全景图和全景视频等各种形式，通过我们的平台可以快速切换，使用配套的虚拟教研工具，就能很好地满足这个场景需求。通过和这位老师的合作，我们目前已经帮助他拿到了高职教教研大赛的特等奖。

谢谢大家，我的分享就到这里。