基于多模态融合的人脸反欺骗算法研究

来源：计算机技术与发展杂志2022年第04期北京时间：

作者：颜增显;孔超;欧卫华*

单位：1. 广西现代职业技术学院,广西 河池 547000;2. 贵州师范大学,贵州 贵阳 550025

摘要：人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障。 传统的人脸反欺骗方法主要是利用手工设计的特征,如 LBP、HoG、SIFT、SURF 和 DoG 来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下 ( 如光照、背景的变化) 的人脸反欺骗问题。 鉴于此,该文提出一种多模态融合卷积神经网络模型,通过融合不同模态上的人脸特征来实现鲁棒的人脸反欺骗。 首先根据通道注意力网络设计了多模态共享分支网络来实现特征提取过程中不同模态间的信息交互,然后在通道注意力融合网络的基础上提出了多模态通道注意力融合网络来融合不同模态的特征,最后利用融合后的多模态特征进行分类。 在 CASIA-SURF 数据集上的大量实验结果表明,与主流的多模态人脸反欺骗方法( multi-scale fusion) 相比,该方法在 APCER 和 ACER 指标上分别降低了 1. 1% 和 0. 4% ,充分证明该方法可以有效融合不同模态的特征,提高模型的鲁棒性。

关键词：人脸反欺骗;多模态融合;多模态共享分支;多模态通道注意力融合;多模态特征