国内团队研发实现高精度实时面部捕捉技术
英伟达InstantNeRF技术可快速将2D照片重建为3D场景
Mozilla与工业光魔联合开发完成火狐浏览器色彩管理组件
影视制作中，写实类虚拟角色的面部表情制作一直是一项耗费时间与人力的工作，面部捕捉技术在实时性和精度方面仍有改进空间。近日我国团队研发出高精度实时面部捕捉技术，实时产生数据后可直接进入后续精修阶段。
伴随进军元宇宙的浪潮，虚拟角色的内容呈现已不局限于影视作品，开始探索虚拟直播、虚拟演唱会等更多实时应用场景，结合VR/AR等多元化沉浸式体验方式，可为虚拟IP扩展应用场景、丰富商业模式奠定基础。
国内团队研发实现
高精度实时面部捕捉技术
长期以来，影视行业持续探索高精度实时表情捕捉。年11月，深圳研发团队FACEGOOD（量子动力）发表论文《基于单目摄像头的高精度实时面部捕捉（High-QualityRealTimeFacialCaptureBasedonSingleCamera）》，并随之发布高精度实时面部捕捉技术SeattlePro。近日，该团队与数字艺术解决方案供应商MOTSE墨子联合开展测试，跑通了SeattlePro，在效果和流程上进行落地验证。
▲SeattlePro
FACEGOOD团队提出一个基于视频的高精度实时表情捕捉框架蒸馏面部捕捉网络（DistillFacialCaptureNetwork,DFCN），利用大量视频数据来训练模型，最终产生高质量的连续变形体（Blendshape）权值输出，用于驱动完整的Metahuman绑定，约余个变形体，实时表情捕捉效果与离线效果相近，可实现高精度捕捉。
FACEGOOD团队实验结果证明，这一技术在眼睛和嘴唇等挑战性较大的部位展现了较高的捕捉仿真效果，尤其在语速较快的场景中人脸微表情重建表现上佳，并且能够捕捉到舌头随着口型同步运动，面向不同绑定系统也具备较好适配性。
▲舌头随口型同步运动
MOTSE墨子团队基于SeattlePro对数字人落地进行了全流程匹配测试。团队首先在MAYA中设计出虚拟角色的外貌体态，并进行高精度模型贴图制作，配合SeattlePro算法的绑定需求基于Metahuman的绑定结构研制出自动绑定流程，同时在虚幻引擎（UE）中实现皮肤质感和外形毛发等的细化，最后利用实时捕捉数据驱动精细测试。
未来虚拟人的发展方向是高仿真度、实时交互、强体验感，并具有商业应用延展性。可真正在虚拟世界中进行体验、可交互的仿真数字人，才是未来元宇宙定义下的虚拟体验。
英伟达InstantNeRF技术可快速将2D照片重建为3D场景
近日英伟达（NVIDIA）利用人工智能算法，融合神经网络训练和快速渲染模型，可在几秒钟内对从不同角度拍摄的2D照片重建3D场景。
英伟达优化了神经辐射场（NeuralRadianceFields,NeRF）技术形成InstantNeRF技术，在部分情况下渲染速度提高倍以上。该模型仅需几秒钟即可训练数十张静态照片，结合相机拍摄的不同角度数据，可在几十毫秒内渲染出最终3D场景。
▲InstantNeRF
使用传统方法制作一个3D场景，根据模型复杂性和精度通过需要数小时或更长时间。引入人工智能后可加快速度，早期的单NeRF模型可在几分钟内渲染出没有伪影的清晰场景，但仍需要数小时来训练。
InstantNeRF将渲染时间缩短了几个数量级，主要依赖于英伟达开发的一种称为多分辨率哈希网格编码的技术，该技术经过优化后可以在英伟达GPU上高效运行。
如果多边形网格等传统3D描述类似于矢量图像，那么NeRF就类似于位图，可密集地捕捉物体或场景中光线的投射方式。
InstantNeRF应用场景包括：用于训练机器人和自动驾驶汽车，通过拍摄2D图像或视频片段来了解现实世界物体的大小和形状；为虚拟世界创建副本或场景，以3D形式展现视频会议参与者及其环境；在建筑领域和娱乐产业中，快速生成创作者可修改和构建的真实环境数字资产。
Mozilla与工业光魔
联合开发完成火狐浏览器色彩管理组件
谋智公司（Mozilla）近日与工业光魔（ILM）联合为火狐浏览器（Firefox）开发了扩展色彩管理扩展组件“扩展色彩管理（ExtendedColorManagement）”，用于解决不同显示设备上色彩显示不一致的问题，方便VFX工作室及其他制作团队远程工作。
通常情况下，火狐浏览器使用操作系统的颜色管理功能对浏览器中呈现的颜色和图像进行优化和渲染，以增强用户的浏览体验。使用扩展颜色管理组件可禁用系统颜色管理功能，重新启动浏览器后，图形和视频的颜色即可与原始颜色保持一致，即使在不同显示设备中也可保证浏览器中显示颜色与像素实际颜色值持续保持对应关系，便于制作人员在审片或协同制作时对画面颜色做出正确判断。
▲火狐浏览器
通常，不同显示器、操作系统和浏览器的颜色输出各不相同，为确保每个工作站图像和视频颜色输出一致，颜色管理应用程序需要按照相同规格进行校准，这是一项非常繁琐的工作。虽然Photoshop等制作软件允许用户禁用颜色管理，但大多数浏览器并不具备这一选项，因此颜色管理扩展组件对于需要通过浏览器在远程显示设备上查看素材的团队来说非常有用。
工业光魔的部分影视制作项目流程采用火狐浏览器审看样片，因此联合谋智公司针对浏览器的色彩管理功能进行了优化，方便创作者在全球新冠疫情期间远程或居家开展制作。
（本期图片均来自互联网）本文转载自