基于多尺度可变形注意力编码与多路径融合的未知说话人语音分离

来源：信号处理杂志 2025年第4期北京时间：

作者：王春丽, 刘素倩, 陈善立

摘要：针对在含有噪声和混响的复杂环境中对未知说话人语音分离任务的研究，提出了一种基于多尺度可变形注意力编码与多路径融合的未知说话人语音分离模型。现有的针对未知说话人的语音分离模型是在纯净的实验环境条件下分析的模型性能，不符合现实中复杂的背景环境需求。为使模型可以在现实应用复杂条件下灵活应对混合语音信号中的多变性与非平稳性，采用多尺度可变形注意力机制与Transformer编码器构成（Transformer Encoder Multi-Scale deformable attention，TEMDA）模块，利用多尺度可变形注意力机制的偏移层在不同位置上进行动态计算，扩展模型的感受野，同时使模型更有效地聚焦于重要的时间点，减少噪声和混响的影响。为了更好地获取上下文信息，在多路径融合策略中，通过在双路径模块的基础上增加通道间的Conformer组成三路径模块，用于提取多说话人之间的特征信息，这样的处理方式可以更好地融合单一说话人和多说话人之间的信息，提升语音分离性能。实验表明，所提出的模型分别在纯净和带噪声的Libri2Mix、Libri3Mix数据集上达到了显著的分离效果，并且在LRS2-2Mix数据集中模型可以更好地减少噪声和混响对语音分离的影响，尺度不变信噪比改善（Scale-Invariant Signal-to-Noise Ratio Improvement， SI-SNRi）和信号失真比改善（Signal-to-Distortion Ratio Improvement，SDRi）分别为14.7 dB和15.1 dB；在三个说话人数目中的估计精度为98.89%，提升了0.12%。

关键词：‍‍未知说话人语音分离, 多尺度可变形注意力编码策略, 多路径融合, 吸引子估计