aoi学院

Aisaka's Blog, School of Aoi, Aisaka University

脑机接口与混合智能-新闻-提出实时面捕,精细到微表情,上科大打造数字人新标杆

在2022年计算机图形学领域旗舰会议ACM SIGGRAPH中,上海科技大学孵化的数字人底层技术公司影眸科技的穹顶光场Plenoptic Stage技术在手部重建肌肉模拟中的运用与神经网络渲染Neural Rendering技术在动态毛发渲染中的应用作为Technical Papers于今年8月在ACM SIGGRAPH会议中展出,推进了元宇宙超写实数字人技术的发展。

影眸科技自研的穹顶光场(Plenoptic Stage)系统是亚洲唯一支持动态4D面部PBR(Physically-Based Rendering)材质扫描系统,该系统结合了人工智能、计算摄影学、图形学等技术,通过光场技术进行扫描,输出毛孔级的逐帧面部几何与PBR材质,如图1所示。相较于传统建模方法,该技术大大减少建模所需时间,节省预算开支。

图1 传统相机阵列扫描VS穹顶光场扫描

在超写实数字人制作过程中,面部绑定往往是一个非常困难的问题。即使有扫描表情模型作为参考,也需要数周甚至数月的人工时间完成表情的拆分与绑定,这导致了动态数字人的生产十分困难。影眸科技自主研发的表情拆分与绑定算法,以穹顶光场扫描获得的FACS(Facial Action Coding System)表情为基础,使用机器学习方法对面部进行符合肌肉动力学的表情拆分,只需要数十秒即可自动完成高逼真度面部资产的绑定,如图2所示。

图2 根据扫描的FACS表情自动完成肌肉运动拆分与绑定

不仅是依照穹顶光场扫描的表情模型完成自动拆分,在大量4D扫描数据与表情数据集的加持下,影眸科技已经能够在仅提供一个任意拓扑的静息(Neutral)表情的情况下,完成对不同风格资产的自动化表情拆分与绑定。通过这项技术,用户只需要上传一个模型,便可以完成符合肌肉动力学的面部绑定,实现模型人脸的高度真人化,使得人脸表情更加惟妙惟肖,效果如图3所示。

图3 SMG数字形象申䒕雅写实皮肤由影眸科技提供ML Rigging技术

国际数据公司(IDC)预计,到2026年中国AI数字人市场规模将达到102.4亿元人民币(见图4)。同时,艾媒咨询分析师认为,虚拟人形象在产品设计方面有较强的可塑性,结合人工智能技术等前沿科技,能够让虚拟主播、数字员工、虚拟偶像等新业态满足用户的多样化需求,产生巨大的市场机会,推动虚拟人产业的高速发展。

图4 中国AI数字人市场现状与机会分析,2022

随着技术日益成熟,产业链的不断形成和丰富,虚拟人的业务模型也将朝着多元化的方向发展。目前,虚拟人的应用商业模式虽处于探索阶段,但商业应用场景已由最初的数字娱乐场景迅速扩大到媒体、电商乃至在线教育等领域。上科大孵化出的影眸科技在数字人人脸写实领域不断努力,推动了行业标准的构建以及在应用场景领域的持续探索,给数字人在千行百业实现普惠奠定关键基础。


参考资料

https://mp.weixin.qq.com/s/L1LUFjeU2it_MWRy_TYKXg
https://www.idc.com/getdoc.jsp?containerId=prCHC49354922


原文链接

https://www.scholat.com/teamwork/showPostMessage.html?id=12627