面向人脸识别的多模态研究方法综述

来源：计算机应用杂志2025年第5期北京时间：

作者：杨雅莉, 黎英, 章育涛, 宋佩华

单位：1.南宁师范大学 物流管理与工程学院，南宁 530100；2.广西高校智慧物流技术重点实验室（南宁师范大学），南宁 530100；3.广西人机交互与智能决策重点实验室（南宁师范大学），南宁 530100

摘要：多模态人脸识别技术能充分利用人脸特征或其他生物特征提高识别的鲁棒性和安全性，具有广泛的实际应用价值。由于目前的多模态人脸识别研究存在模态差距和模态信息难以高效融合等问题，因此根据多种信息模态和应用目的对现有的多模态人脸识别方法进行分类综述，以梳理研究中存在的问题，并探讨未来的发展方向。首先，将基于多源信息融合的多模态人脸识别研究按照数据处理的不同阶段分为传感器级、特征级、评分级和决策级，并归纳现有方法的优势、局限性和适用场景；其次，将信息增强多模态人脸识别研究按照被增强模态的不同分为2D-3D信息增强和3D-2D信息增强，并总结现有方法的优缺点；再次，归纳总结基于其他生物特征和面向反欺诈的多模态人脸识别方法，并简要介绍常用的多模态人脸识别数据集相关信息；最后，给出多模态人脸识别研究中存在的一些严峻挑战，并展望未来的研究方向。

关键词：多模态人脸识别,特征融合,信息增强,生物特征,反欺诈

基金资助：国家自然科学基金资助项目(62062051);广西研究生教育创新计划项目(JGY2023222)