Light stage技术发展介绍

（Light stage）技术发展

一个虚拟数字人的背后主要涉及三大核心技术:光场(Light stage )采集与三维建模、AI算法驱动表情动作和基于深度学习的光线追踪算法。来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术，已经应用到游戏的实时渲染领域，为表现力带来飞跃提升。

什么是Light Stage

关键技术支撑，来自南加州大学教授Paul Debevec自2000年启动的light stage光场摄影项目研究。这属于photogrammetry范畴，使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效，现场有多台摄像机，用不同角度的影像重建出可360°旋转的场景。

light stage正是通过构造相机阵列，以多角度、高精度照片，既还原拍摄人物的三维结构，也获取面部的反射信息，从而能在不同环境光下重构人脸模型光效。light stage在不断迭代中解决了技术和工程难点，包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。该系统以高逼真度的3D人脸重建为主，并已经应用于好莱坞电影渲染中。从第一代系统Light Stage 1至今已经升级到Light Stage 6，最新的一代系统命名为Light Stage X。

Light Stage应用

Light Stage可以说是目前世界上可以控制方向、强度、光谱颜色的设备，同时对于设计来说它们也要弄清楚到底反射应该如何运行，以及我们如何根据图形对其进行建模。在Light Stage设备商业应用领域里面来说，在电影和视频领域来说它被应用的最广，因为它可以获取高分辨率的模特的面部，他们可以在一堆不同的面部表情中得到非常高分辨率的人脸模型。

本文《Light stage技术发展介绍》内容由3DCAT实时渲染解决方案提供商整理发布，如需转载，请注明出处及链接：https://www.3dcat.live/share/post-id-12

历代Light Stage研发过程

Light Stage 1 基于结构光的三维重建。整个采集过程耗时约1分钟，采集过程中人脸需要持续保持静止，这对演员保持静止的能力提出了极高的要求。

Light Stage 2左图为采集过程中4秒长曝光拍摄图片，右图为Light Stage 2真机系统

Light Stage 3并不用于人脸建模，而是构建一个可控的彩色光照平台，从而可以实现人脸实时的Relighting。

Light Stage 4的研发被搁置了，所以取消了Light Stage 4的命名，转而直接研发Light Stage 5

Light Stage 5采用与Light Stage 3同样的支撑结构，由于需要拍摄水平和垂直两种偏振状态下的图片，因此每个相机一共需要拍摄8种光照模式下的8张图片。相比之前的Light Stage，整个采集的时间大大缩短。如果采用高速相机可以达到实时采集，如果采用单反相机需要2秒。《本杰明•巴顿》、《蜘蛛侠》等电影特效中得到应用。

Light Stage 6是为采集演员全身反射场而设计。在支撑结构的中心有一个旋转平台，该旋转平台为演员有效的表演区域，直径2米。在采集过程中旋转平台会持续旋转，高速相机从而拍摄到不同视点的演员图像，演员需要不断的重复周期性动作，整个采集过程约几分钟。

最新研发的系统为Light Stage X，小型可移动，专门针对高精度人脸反射场采集建模；其光照亮度、光谱、偏振状态都可以基于USB接口通过电脑编程控制，自动化程度更高，采集时间更短。

Google Lightstage系统

2019年11月，谷歌发布了人体三维重建和重光照技术的最新进展，并通过论文“The Relightables: Volumetric Performance Capture of Humans with Realistic Relighting”描述了技术实现的细节。从展示效果来看，这一套系统代表了目前本领域的最高水平。

Google Lightstage系统采用了331个可编程光源以及一个90台12.4M像素的工业相机组成的相机阵列。其中，每一个光源包含有63个高亮LED灯珠，分为不同的颜色和不同的发散角，每一个光源由一个带有FPGA的PCB进行控制，可以进行PWM调节。工业相机系统包括一套由42个RGB相机组成的多视角（Multi-view）图像，以及16组，每组有3台相机组成的主动视觉传感器。主动视觉传感器带有一个以VCSEL激光器作为光源的红外投影，2台带有红外滤光片的相机进行三维重建，1台RGB相机作为贴图使用。

这样，主动与被动传感器结合使用，以取得最佳的建模效果。相机系统工作在60Hz，相机系统与灯光系统时序匹配，以获取三维模型和相应的材质贴图。这样的系统，每秒钟的数据量达到惊人的63.5GB，为了确保存储，相机均采用PCIe总线，分布式进行存储。值得一提的是，为了减少灯光照射的模式，系统将RGB三个通道分离，分别产生两组渐变光。

人体三维建模和重光照技术是现代信息技术发展的前沿之一，涉及到机器视觉、计算机图形学、人工智能等多个学科。技术的发展与应用，对于虚拟人产业化有至关重要的作用。

本文《Light stage技术发展介绍》内容由3DCAT实时渲染解决方案提供商整理发布，如需转载，请注明出处及链接：https://www.3dcat.live/share/light-stage