融合语音多层次特征的情绪识别算法

来源：计算机应用研究杂志2026年第2期北京时间：

作者：胡云鑫,袁野,刘娜,李清都,

单位：上海理工大学a.机器智能研究院;b.健康科学与工程学院,上海200093；

摘要：针对语音情感识别中语音信息利用不充分的问题，提出了一种融合语音多层次特征的语音情绪识别模型MFTA（multi-level feature based temporal attention network）。该模型能够处理语音的多种特征，最终进行特征融合；同时引入时间注意力机制来利用语音在频域和时域上的相关性，以达到充分利用语音信号的目的。实验结果表明，利用语音多层次的特征信息可以更好地挖掘语音中的深度信息；通过引入时间注意力机制，可以将语音频域信号及时域信号间进行对齐，以达到提升情感识别效果的目的。MFTA在IEMOCAP和RAVDESS数据集上进行语音情感识别任务时优于近年来现有方法，证明了多层次特征及时间注意力的有效性。该研究为语音信号处理模式提供了新思路。

关键词：语音情绪识别,注意力机制,多层次特征,特征融合,循环神经网络,

基金资助：国家重点研发计划资助项目(2023YFC3605800)；；