【实时渲染】Faceware Studio推出面部实时动画渲染功能

By:MIKE SEYMOUR

无标记3D面部动作捕捉解决方案开发商Faceware Technologies发布了Faceware Studio，这是一个用于创建高质量面部动画Live的新实时渲染平台。

Faceware Studio完全替代了以前的Faceware Live Server产品。新的Studio实时流体渲染通过利用新的机器学习方法和最新的神经网络技术，可以实时快速校准，跟踪和动态显示任何人的脸部。数据可以像素流送到虚幻引擎（UE4），Unity，MotionBuilder和Autodesk Maya插件。还为艺术家提供了根据演员的独特表现来调整和定制动画的工具，并通过Motion Effects建立了附加的逻辑。

该产品当前与基于Faceware的Analyzer和ReTargeter构建的非实时Faceware管线一起使用。它直接用于实时应用程序，但是在将来，该技术将得到扩展，并与非实时的传统Faceware Pipeline工具结合在一起。Studio制作人假设使用一台摄像机，并且可以使用网络摄像机或头戴式摄像机装置（HMC）进行工作。与标准的离线制作相比，实时面部表情解决是一个重要且与众不同的问题，非常适合使用机器学习（ML）。

新的Faceware创新的核心是ML，它可以通过更有效地解决演员下颌位置的问题来显着改善口型同步。通过使用深度学习卷积神经网络（CNN），Faceware改进的颚定位技术为用户提供了更快，更准确的口形同步到实时数字字符。

产生精确的嘴唇同步的问题直接与下颌有关，在大多数情况下，牙齿的咬合使问题更加复杂。即使显示牙齿，通常也可以看到固定的上齿而不是下颚齿。使事情复杂化的是，下唇和嘴皮肤会随着自身的肌肉运动而滑动和压缩，因此无法提供可靠的跟踪信息。如果受试者留胡子，情况只会变得更糟。ML用于提供下颌位置的合理输出，即使没有明显的跟踪点也看不到下颌牙齿。机器学习解决方案基于有监督的深度学习，这需要对镜头进行大量的手动注释来训练CNN。

Faceware使用的机器学习框架是Tensorflow和PyTorch。根据Faceware团队提供的精选训练数据，并使用这些最新的ML库，系统会生成0到1之间的下巴估计值。这然后通知面部求解器更可靠地模拟和重新创建正确的嘴唇形状并进行同步。人的下巴具有六个自由度，可以在所谓的波塞特信封或盾形运动范围内运动。但是Faceware的目标不是输出颚的详细几何形状。它的工作原理是极大地改善了唇部同步，例如，仅知道牙齿是否分开以及嘴唇自身闭合多少时，就可以大大增加面部的真实感。

通过运动效果和动画调整来缓和新改进的嘴唇估计。这样Studio用户就可以对其最终动画添加其他直接控制。新的Studio软件允许艺术家通过动画调整来可视化和调整特定于演员的配置文件，并在将其上游流进UE4进行实时3d可视化的实时数据中建立强大的逻辑。

为了使系统正常工作，需要精心设计培训数据。训练数据定义了解决方案空间，因此，如果训练数据的人口统计信息涵盖了用户或演员自己的年龄，种族，性别和面部表情，则它将始终更加准确地预测下颌。Faceware非常渴望为所有用户提供解决方案，因此需要注释并包含各种各样的面孔。

这意味着来自各行各业和不同国家的人们。ML解决方案非常适合实时应用，因为Supervised Training ML方法训练缓慢且运行时很快。该系统仅使用由Faceware曼彻斯特办公室的研究团队明确收集的培训数据。在此ML流程中，系统绝不使用用户性能或从捕获会话发送任何数据。

除了下颚之外，该软件还具有增强的面部跟踪技术，该技术改进了基础跟踪技术，从而提高了常规跟踪和动画的质量和流畅性。

实时动画视口和媒体时间线

用户可以使用Studio的功能齐全的3D动画视口从任何角度观看面部动画，并使用时间线和媒体控件在其媒体上暂停，播放和擦洗，以找到理想的标定帧并专注于视频的特定部分。

可停靠的，可自定义的界面具有停靠面板和可保存工作区的现代且可自定义的用户界面，可实现完全个性化的设置。

运动效果

一个内部工具集，以简单和可扩展的方式自定义和优化动画结果。消除了对复杂的引擎内脚本的需求。

改进的CPU / GPU性能

Faceware Studio经过优化，可以在不使用前代资源的情况下使用更少的资源来创造更好，更快的结果。借助可选的“实时优化”功能，用户可以在更广泛的硬件上享受更高的帧速率跟踪。

了解更多实时渲染资讯，请登录3DCAT实时渲染云平台：www.3dcat.live