融合双通道卷积和改进型Conformer的两阶段语音增强算法

来源：电子测量技术杂志2025年第4期北京时间：

作者：徐佳瑜，郑展恒，曾庆宁，王健

单位：1.桂林电子科技大学信息与通信学院 桂林 541004; 2.桂林电子科技大学认知无线电与信息处理 教育部重点实验室 桂林 541004; 3.南宁桂电电子科技研究院有限公司 南宁 530000

摘要：针对语音关键特征提取不充分、模型结构单一的问题，提出一种两阶段下融合多尺度特征和改进型门控Conformer的语音增强方法。首先，针对关键特征提取不充分的问题，提出双通道卷积融合模块，采用不同感受野的二维卷积多尺度提取语音关键信息，并结合门控机制增强网络的短期与长期序列相关性，从而提升模型在复杂环境下的语音增强效果；提出改进型Conformer，采用时间注意和频率注意分别在时域和频域上进行建模，并结合膨胀卷积模块高效提取局部与全局上下文信息，从而增强网络在语音序列建模中的表现能力。其次，针对模型结构单一的问题，采用两阶段处理结构，将复杂问题分步处理。在第一阶段首先接收噪声频谱的幅值，初步估计出干净语音的幅值，并与噪声相位进行重构，得到粗糙的复频谱。第二阶段在第一阶段得到粗谱的基础上进一步提取更精细的特征，增强语音信号的细节表现能力。最后，在VoiceBank+DEMAND数据集上进行测试，实验结果表明，所提算法相比带噪语音的语音感知质量和短时客观可懂度分别提升50.25%、3.26%，表明该网络能够更有效地提高语音的可懂度，同时改善语音信号的整体质量，具有较强的降噪能力。

关键词：深度学习;语音增强;Conformer;多尺度特征提取;两阶段

基金资助：认知无线电与信息处理教育部重点实验室项目(CRKL230103)资助