两级特征联合学习的情感说话人识别

来源：计算机工程与应用杂志2023年第1期北京时间：

作者：刘金琳, 李冬冬, 王喆, 蔡立志

单位：1.华东理工大学 信息科学与工程学院，上海 200237；2.苏州大学 江苏省计算机信息处理技术重点实验室，江苏 苏州 215006；

摘要：针对说话人识别的性能易受到情感因素影响的问题，提出利用片段级别特征和帧级别特征联合学习的方法。利用长短时记忆网络进行说话人识别任务，提取时序输出作为片段级别的情感说话人特征，保留了语音帧特征原本信息的同时加强了情感信息的表达，再利用全连接网络进一步学习片段级别特征中每一个特征帧的说话人信息来增强帧级别特征的说话人信息表示能力，最后拼接片段级别特征和帧级别特征得到最终的说话人特征以增强特征的表征能力。在普通话情感语音语料库（MASC）上进行实验，验证所提出方法有效性的同时，探究了片段级别特征中包含语音帧数量和不同情感状态对情感说话人识别的影响。

关键词：情感说话人识别,长短时记忆网络,深度神经网络