基于参数高效微调及双流网络的人脸伪造检测

来源：计算机工程与应用杂志2025年第10期北京时间：

作者：陈咏豪, 蔡满春, 张溢文, 彭舒凡, 姚利峰, 朱懿

单位：中国人民公安大学 信息网络安全学院，北京 100038

摘要：随着深度伪造技术的发展，伪造的人脸图像愈发逼真，深度伪造技术一旦被不法分子滥用将对社会治安和公共安全造成危害，因此如何对深度伪造进行有效检测成为重要的研究课题。现有的深度伪造检测技术普遍存在跨库检测泛化性差、跨压缩率检测鲁棒性差的问题。为解决上述问题，提出了一种基于参数高效微调及双流网络的人脸伪造检测。利用MIM（masked image modeling）自监督方法预训练的ViT作为分支主干，并引入低秩适应（low-rank adaptation，LoRA）进行微调，以保留预训练模型的先验知识并提高在深度伪造检测任务中的适应能力；设计了一种跨域双向适配器BCA（bi-directional cross-modal adapter）和跨域交叉注意力适配器DCA（dual-modal cross-attention adapter）用于对两条分支进行微调及信息互补。在双流网络尾部加入多层感知机适配器以完成分类。实验结果表明，在训练参数为3.75×107的情况下，该方法在六个主流数据集上的平均AUC达到了99.67%，在跨库泛化性实验中平均AUC达到了77.3%，在跨压缩率实验中平均AUC达到了89.5%。

关键词：深度伪造检测,双流网络,高效参数微调,高频噪声,自监督预训练