基于双重注意力和光流估计的人脸替换方法

来源：计算机工程与应用杂志2023年第7期北京时间：

作者：魏玮, 张鑫, 朱叶

单位：河北工业大学 人工智能与数据科学学院，天津 300401

摘要：视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性，为了提升重建图像和人脸掩模质量，解决视频播放不自然问题，提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体，为了提升网络的特征提取能力，在人脸重建网络中引入双重注意力模块，并使用深度可分离卷积替代模块中部分卷积，降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象，添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明，该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情，使视频具有更好的连续性，提升人脸替换视频质量。

关键词：视频人脸替换,生成对抗网络,双重注意力,光流估计