智能手机视频可产生高度逼真的3D人脸重建

通常，需要昂贵的设备和专业知识才能对某人的脸进行逼真的3D重建，并且看上去并不令人毛骨悚然。现在，卡内基梅隆大学的研究人员已经使用普通智能手机上录制的视频完成了这一壮举。

使用智能手机拍摄脸部正面和侧面的连续视频会生成密集的数据云。由CMU机器人研究所开发的两步过程在深度学习算法的帮助下使用该数据来构建人脸的数字重建。该小组的实验表明，他们的方法可以达到亚毫米级的精度，优于其他基于相机的过程。

数字人脸可用于构建用于游戏或虚拟现实或增强现实的化身，也可用于动画，生物特征识别甚至医疗程序中。面部的准确3D渲染在构建定制的手术口罩或呼吸器时也可能很有用。

机器人研究所副研究员西蒙·卢西(Simon Lucey)表示：“构建面部3D重建一直是计算机视觉和图形学中的开放问题，因为人们对面部特征的外观非常敏感。”“即使重建过程中出现微小的异常，也可能使最终结果看起来不切实际。”

激光扫描仪，结构光和多相机工作室设置可以产生高度准确的面部扫描，但是这些专用传感器对于大多数应用而言价格昂贵。但是，CMU的新开发方法仅需要智能手机。

该方法由Lucey与硕士生Shubham Agrawal和Anuj Pahuja开发，于3月初在科罗拉多州斯诺马斯举行的IEEE冬季计算机视觉应用大会(WACV)上提出。首先拍摄15-20秒的视频。在这种情况下，研究人员在慢动作设置中使用了iPhoneX。

Lucey说：“高帧速慢动作是我们方法的关键之一，因为它会生成密集的点云。”

然后，研究人员采用了一种常用的技术，称为视觉同时定位和制图(SLAM)。Visual SLAM对曲面上的点进行三角剖分以计算其形状，同时使用该信息来确定相机的位置。这将创建人脸的初始几何形状，但是缺少的数据会在模型中留下空白。

在此过程的第二步中，研究人员首先通过使用深度学习算法来填补这些空白。但是，深度学习的使用方式受到限制：它可以识别人的轮廓和地标，例如耳朵，眼睛和鼻子。然后使用经典的计算机视觉技术来填补空白。

“深度学习是我们每天使用的强大工具，” Lucey说。“但是，深度学习倾向于记住解决方案，”这与包括区分面部细节的努力背道而驰。“如果仅使用这些算法来查找地标，则可以使用经典方法更轻松地填补空白。”

该方法不一定很快。花费了30-40分钟的处理时间。但是整个过程可以在智能手机上执行。

Lucey说，除了面部重建外，CMU小组的方法还可以用于捕获几乎所有物体的几何形状。然后可以将这些对象的数字重建内容合并到动画中，或者可以通过Internet传输到可以使用3D打印机复制对象的站点。