《计算机科学与探索杂志》发表论文赏析
作者:钱菲, 李威, 陈鹏, 陈浩然, 谢礼鹏, 刘荔园
单位:1. 交通银行 金融科技创新研究院,上海 2001202. 北京邮电大学 人工智能学院,北京 1000893. 北京瑞莱智慧科技有限公司,北京 100089
摘要:虚假人脸检测和生成方法溯源旨在判断图像或视频中人脸是否经过深度伪造技术篡改或合成,并进一步分析虚假人脸背后所使用的深度伪造方法。然而,现有工作多将这两个任务作为独立的研究方向进行探索,或者采用串行的方法先检测再溯源,难以满足实际的业务需求。针对这一问题,提出了一种基于原型解耦的虚假人脸检测和生成方法溯源框架,旨在使用单一模型同时进行虚假人脸真假二分类和深度伪造生成方法溯源任务。该框架由一个特征编码器、一组可学习的原型集合、一个原型更新模块以及一个检测和溯源模块组成。通过原型更新模块解耦并学习原型集合中的真实原型、伪造独有原型和伪造共享原型。由检测和溯源模块计算样本特征与所有原型的相似度,再同步进行虚假人脸检测和深度伪造生成方法溯源任务。在FaceForensics++和ForgeryNet数据集上的实验结果表明,相比现有的虚假人脸检测与生成方法溯源工作,所提出的模型实现了更优的性能。
关键词:虚假人脸检测,深度伪造生成方法溯源,原型解耦
基金资助:国家重点研发计划(2021YFC3320100)。