基于Wav2Vec2.0特征融合与联合损失的深度伪造语音检测方法

来源：信号处理杂志 2025年第9期北京时间：

作者：陈飞飞, 郭海燕, 郭延民, 葛子瑞, 陆华庆

摘要：语音预训练模型Wav2Vec2.0能够通过多个隐藏层提取丰富的多层嵌入特征，在深度伪造语音检测任务中表现出良好的性能。将 Wav2Vec2.0 各层特征进行融合，是进一步挖掘语音数据深层次表示的有效途径，而改进Wav2Vec2.0各层特征的融合方式则有望进一步提升深度伪造语音检测性能。鉴于此，本文基于Wav2Vec2.0深度伪造语音检测架构，提出引入卷积注意力模块（Convolutional Block Attention Module， CBAM）对Wav2Vec2.0各层嵌入特征进行融合，通过结合通道注意力和空间注意力的加权融合方式来自适应地增强关键特征，有效提升模型的特征提取能力。在此基础上，考虑到伪造语音类型复杂多样，不同类型的伪造语音在鉴别难度上可能存在显著差异，为避免模型在处理难鉴别样本时存在的偏倚，同时使得类内特征分布紧凑、类间特征分布疏远。本文提出联合交叉熵损失、中心损失和焦点损失，构造模型的整体损失函数，充分利用各类损失的优势来增强模型在多种伪造语音场景下的判别能力和泛化性能。在ASVspoof 2019 LA、ASVspoof 2021 LA、ASVspoof 2021 DF和CFAD数据集上的实验结果表明，所提出的方法在常用评价指标等错误率（equal error rate， EER）和最小串联检测代价函数（minimum tandem detection cost function， min t-DCF）均表现出色。尤其是在 ASVspoof 2021 LA 数据集上，相较于AASIST、ECAPA-TDNN 、ResNet，以及采用Wav2Vec2.0进行前端特征提取的多种对比方案，本文方法显著优于所有对比方法。

关键词：深度伪造语音检测, Wav2Vec2.0, 特征融合, 联合损失