基于Conformer的实时多场景说话人识别模型

来源：计算机工程与应用杂志2024年第7期北京时间：

作者：宣茜, 韩润萍, 高静欣

单位：1.北京服装学院 文理学院，北京 100029；2.北京服装学院 服装艺术与工程学院，北京 100029

摘要：为解决在多场景（跨域、长时以及噪声干扰语音场景）下说话人确认系统性能较差的问题，提出了一种基于Conformer构建的、实时多场景鲁棒的说话人识别模型——PMS-Conformer。PMS-Conformer的设计灵感来自于先进的模型MFA-Conformer。PMS-Conformer对MFA-Conformer的声学特征提取器、网络组件和损失函数计算模块进行了改进，其具有新颖有效的声学特征提取器，以及鲁棒的、具有较强泛化能力的声纹嵌入码提取器。基于VoxCeleb1&2数据集实现了PMS-Conformer的训练；开展了PMS-Conformer与基线MFA-Conformer以及ECAPA-TDNN在说话人确认任务上的性能对比评估实验。实验结果表明在长语音SITW、跨域VoxMovies以及加噪处理的VoxCeleb-O测试集上，以PMS-Conformer构建的说话人确认系统的性能比用这两个基线构建的说话人确认系统更有竞争力；并且在声纹嵌入码提取器的可训练参数（Params）和推理速度（RTF）方面，PMS-Conformer明显优于ECAPA-TDNN。实验结果说明了PMS-Conformer在实时多场景下具有良好的性能。

关键词：说话人确认,MFA-Conformer,Sub-center AAM-Softmax,声纹嵌入码,声学特征提取