基于多模态信息融合的中文隐式情感分析

来源：计算机工程与应用杂志2025年第2期北京时间：

作者：张换香, 李梦云, 张景

单位：1.内蒙古科技大学 创新创业教育学院，内蒙古 包头 014010；2.上海大学 计算机工程与科学学院，上海 200444；3.内蒙古科技大学 数智产业学院，内蒙古 包头 014010；4.内蒙古科技大学 理学院，内蒙古 包头 014010

摘要：隐式情感表达中缺乏显式情感词，给隐式情感分析带来一定的挑战。为有效解决此问题，借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同，提出一种融合多模态信息（包括语音和视频）的隐式情感分析方法。通过从语音中提取音调、强度等声学特征，以及从视频中捕捉面部表情等视觉特征，辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息；结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征，并通过迭代优化，减少非文本模态的低阶冗余信息。此外，通过设计以文本为中心的交叉注意融合模块，强化隐式文本特征表示，并处理模态间的异质性，增强隐式情感分析的综合性能。在CMU-MOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明，所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略，充分利用语音和视觉外部知识，更全面、准确地捕捉隐式情感表达，有效提升了隐式情感分析的准确率。

关键词：隐式情感分析,深度神经网络,多模态,注意力机制,特征融合