基于局部Attention和CTC融合的语音情感识别方法研究

来源：计算机应用与软件杂志2024年第10期北京时间：

作者：孟令源, 孙哲, 刘扬, 赵振, 李永伟

摘要：针对基于时间序列的语音情感识别方法难以计算情感帧携带的情感信息量的问题，提出一种局部注意力机制(LAM)和结合连接主义时间分类(CTC)融合的语音情感识别模型(LAM-CTC)。提取VGFCC情感特征作为共享编码器的输入；CTC层最小化代价损失并预测情感类别，LAM层使用局部注意力机制计算上下文向量；通过解码器对上下文向量进行解码；通过平均值法将解码结果融合得到情感预测结果。实验结果表明，提出的模型在IEMOCAP数据集上的UAR和WAR分别达到了68.1%和68.3%。

关键词：语音情感识别, 注意力机制, CTC, VGFCC, IEMOCAP