结合面部动作单元感知的三维人脸重建算法

来源：软件学报杂志2024年第5期北京时间：

作者：章毅，吕嘉仪，兰星，薛健

单位：章毅，中国科学院大学 工程科学学院, 北京 10004911,吕嘉仪，中国科学院大学 工程科学学院, 北京 10004902,兰星，中国科学院大学 工程科学学院, 北京 10004903,薛健，中国科学院大学 工程科学学院, 北京 10004904

摘要：三维人脸重建在计算机视觉及动画领域是一项重要任务, 它可以为人脸多模态应用提供三维模型结构和丰富的语义信息. 然而, 单目二维人脸图像缺乏深度信息, 预测的三维模型参数不够可靠, 从而导致重建效果不佳. 提出采用与模型参数高度相关的面部动作单元和人脸关键点作为桥梁, 引导模型相关参数回归, 以解决单目人脸重建的不适定问题. 基于人脸重建的现有数据集, 提供一套完整的面部动作单元半自动标注方案, 并构建300W-LP-AU数据集. 进而提出一种结合动作单元感知的三维人脸重建算法. 该算法实现端到端的多任务学习, 有效降低了整体训练难度. 实验结果表明, 该算法能有效地提升三维人脸重建性能, 重建的人脸模型具有更高的保真度.

关键词：面部动作单元;人脸关键点;三维人脸重建

基金资助：国家自然科学基金(62236006,62032022,61972375);北京市自然科学基金(4222040)