基于信息增强多头注意力的多模态情感分析

来源：计算机应用与软件杂志2025年第9期北京时间：

作者：张换香, 刘璐瑶, 张景, 惠丽峰

摘要：针对多模态情感分析方法中存在平等对待不同模态特征、各模态信息未能被充分挖掘和融合、情感分类准确率不高等问题，提出一种基于信息增强多头注意力的多模态情感分析模型。该模型通过多任务学习，挖掘其他两种非文本特征 (语音特征和视觉特征) 相对于文本特征的共享语义，进而增强文本情感特征表示。另外，基于任意两种模态间的交互信息对最终情感预测所做贡献不同，设计多头注意力融合网络，通过合理分配语音 - 文本、视觉 - 文本和语音 - 视觉特征，融合不同模态携带的有效信息。实验结果表明，该模型在多模态情感分类任务上的表现优于现有的方法。

关键词：多模态情感分析, 多任务学习, 共享语义, 多模态融合, 多头注意力机制