基于特征融合的三维人脸点云质量判断

来源：计算机应用杂志2022年第3期北京时间：

作者：高工, 杨红雨, 刘洪

单位：1.视觉合成图形图像技术国防重点学科实验室（四川大学），成都 610065；2.四川大学 计算机学院，成都 610065

摘要：针对使用双目结构光扫描仪获取的三维人脸点云，提出了一种特征融合网络（FFN）来完成人脸点云质量判断任务。首先，对三维点云预处理切割出人脸面部区域，使用点云和对应的二维平面投影得到的图像作为输入；其次，分别训练用于点云学习的动态图卷积神经网络（DGCNN）和ShuffleNet两个模块；然后，提取出两个网络模块的中间层特征进行特征融合，对整个网络进行微调；最后，使用三层全连接层，实现三维人脸点云的5分类（优秀、普通、条纹、毛刺、变形）。所提FFN的分类正确率为83.7%；分类正确率比ShuffleNet提升了5.8%，比DGCNN提升了2.2%。实验结果表明，加权融合二维图像特征和点云特征可以达到不同特征之间的优势互补效果。

关键词：人脸点云,点云特征,二维图像,加权融合,质量判断

基金资助：四川省重大科技专项(2019ZDZX0039)