音频驱动人脸图像生成综述

来源：计算机工程与应用杂志2025年第17期北京时间：

作者：胡原平, 阎红灿

单位：1.华北理工大学 理学院，河北 唐山 063210；2.河北省数据科学与应用重点实验室，河北 唐山 063210

摘要：音频驱动的人脸图像生成技术旨在通过输入音频和静态图像（或视频）生成对应的动态说话视频，在虚拟角色交互、数字媒体创作、游戏开发等多个领域展现出显著的应用潜力，具有广阔的研究前景和重要的研究价值。在分类分析常用的音频特征提取方法、中间表示方法和特征融合方法的基础上，对基于生成对抗网络、神经辐射场和扩散模型的音频驱动人脸解决方案做总结概述，通过分析各方案的关键技术、对比部分方案的生成效果，归纳出各方案在生成图像质量、唇形同步性以及实时性等方面的优势与不足。辨析常用的数据集和评价指标，指出目前音频驱动人脸图像生成存在的挑战，并对未来可能的研究方向作出展望。

关键词：音频驱动,人脸图像生成,多模态,神经网络,数字人