日前，华为技术有限公司公布一项涉及智能汽车的专利：“人脸图像处理方法、装置和车辆”[1]。根据专利摘要显示，提出的方法首先获取人脸图像中的局部人脸形状特征，在数据库中获取与所述局部特征匹配的人脸样本，进一步获取人脸形状参数。然后基于参数化人脸模型生成三维人脸，并进行优化拟合以完成三维人脸重建。由于该专利基于局部人脸形状特征，能够实现在人脸被遮挡或被剪裁的情况下进行三维人脸重建，并且该方法可以用于智能汽车领域，例如驾驶员监测系统。
三维人脸重建一直是计算机视觉和计算机图形学的研究热点。三维人脸的重建是虚拟现实/增强显示、自动驾驶、机器人等领域的核心技术之一，并且在智能汽车领域驾驶员状态监测系统中具有极大的应用价值。三维人脸重建技术可以用于监测驾驶员的头部姿态、视线方向等等，从而实时监控驾驶员注意力状态。
对车辆驾驶员进行状态监测时，经常会出现人手、方向盘、手机、食物等导致的图像中人脸面部区域被遮挡的情况。遮挡会使得人脸图像的固有特征呈现为各种局部特征的缺失，从而导致三维人脸重建失真甚至失败，严重影响三维人脸重建的性能，限制了三维人脸重建的应用场景。因此，华为提出了一种在遮挡条件下具有良好鲁棒性的三维人脸重建方法应用于人脸图像处理中。
华为提出的人脸图像处理方法如图所示。该方法的具体步骤如下：
- 通过双目摄像头或RGB-D摄像头获取包含局部人脸区域的图像及其相应的深度信息。
- 利用MobileNet-V2（或其他网络）获取图像中的目标人脸区域。采用YOLOv2网络（或其他网络）进行局部人脸区域的提取。局部人脸稀疏特征的提取采用ResNet-50（或其他特征提取网络）实现。
- 将提取的局部特征与人脸数据库中的各个三维人脸样本的特征进行相似度匹配，获得匹配的三维人脸样本对应的形状参数。
- 根据形状参数构建对应的参数化人头模型。此处采用的参数化人头模型是FLAME模型，人头网格由5023个顶点和9976个三角面组成，并采用主成分分析法得到形状、表情和姿态的主成分，由此确定一个完整的参数化三维人头模型。
- 另一方面，利用局部人脸区域的各个关键点的三维坐标信息与所建立的三维人头模型采用点云匹配算法（如ICP）进行刚体变换，实现三维人头模型与相机坐标系中局部人脸区域点云的初步对齐，然后利用参数拟合算法（如拟牛顿算法）进行拟合优化，完成三维重建。
由于该方法是根据人脸局部特征进行三维重建，因此该方法针对人脸发生部分遮挡或大角度姿态发生自遮挡的情况能够重建出具有较好效果的三维人脸模型。下表展示了用离散随机事件模型仿真的方法估算人脸发生不同比例的遮挡时，传统三维人脸重建与使用该方法进行三维人脸重建的失败的比例。可见，提出的方法实现三维人脸重建具有更好的鲁棒性，相比传统的三维人脸重建，在不同的人脸遮挡比例下，重建失败比例都偏低，尤其是当人脸遮挡较大情况下重建失败的比例仍然较低。
该方法可以应用于对车辆、飞机等交通工具内的人员，如对驾驶员的面部进行三维重建，从而可以根据重建后的三维人脸，判断驾驶员的头部姿态、视线方向等，以对驾驶员的状态进行识别。同样的，可以应用于教学授课场景中，根据学生的头部姿态、视线方向等信息确定学生的注意力方向、注意力程度等。还可以应用于移动终端，如手机、平板电脑、便携式电脑所采集的人员的脸部图像进行三维人脸重建。甚至可以应用在人脸图像修复等技术领域，对关键信息缺失的人脸图像进行修复。
参考资料
https://cprs.patentstar.com.cn/Search/Detail?ANE=7DCA9CIB2AAA9HBADHFA9EFA9IHG7GBA5CBA0AAA6DBA6EBA
https://zhuanlan.zhihu.com/p/432139253
原文链接
https://www.scholat.com/teamwork/showPostMessage.html?id=10963