近年来，3D人脸重建和人脸对齐任务已逐渐组合为同一项技术：3D密集人脸对齐，这是使用姿势信息重建人脸的3D几何结构。在一篇新的论文中，来自中国科学院、中国科学院大学、北大和西湖大学的一组研究人员提出了一种新型的回归框架，以追求“同时实现快速，准确和稳定的3D密集人脸对齐”。

3D密集人脸对齐

   3D密集人脸对齐功能可以支持与人脸相关的任务，例如人脸识别，动画，人脸跟踪，属性分类和图像恢复。研究人员说，现有的3D密集人脸对齐方法主要集中在准确性上，例如，这可能会降低系统速度，从而限制了实际应用的范围。

   为了在速度，准确性和稳定性之间取得平衡，他们提出了一种元联合优化策略，以动态回归一小组3D Morphable Model（3DMM）参数，从而极大地提高了速度和准确性。然后，他们提出了一种虚拟合成方法，以进一步提高视频的稳定性。

   研究人员解释说，最近的研究主要分为两类-3D变形模型（3DMM）参数回归和密集顶点回归。密集顶点回归方法通过完全卷积网络直接回归所有3D点的坐标（通常超过20,000）。但是，重建脸部的分辨率取决于特征图的大小，并且这些方法依赖于速度慢且消耗内存的沉重网络。

   与密集顶点相比，3DMM参数具有较低的维数和较低的冗余度，研究人员认为3DMM参数更适合使用轻量级网络回归。但是，由于不同的3DMM参数对重构的3D面部的影响不同，因此回归变得具有挑战性，并且必须在训练过程中根据参数的重要性对参数进行重新加权。

   所提出的方法体系结构包括四个部分：用于预测3DMM参数的轻量级类似骨干的MobileNet，fWPDC和VDC的元联合优化，界标回归正则化和用于训练的短视频合成。

   为了处理参数回归框架的优化问题，研究人员利用了两个不同的损耗项-顶点距离成本（VDC）和加权参数距离成本（WPDC）-并提出了快速WPDC（fWPDC）和元联合优化结合fWPDC和VDC的优势。

   实验结果表明，所提出的短视频合成方法显著提高了视频的稳定性。该模型在单个CPU核心上的运行速度超过50fps，并且在精度和稳定性上优于之前最先进的重模型。

   研究人员总结说：“我们希望结果为实际使用中的实时3D密集面部对齐铺平了道路，并且所提出的方法可以通过减少GPU消耗的大量能量释放的二氧化碳量来改善环境。”