多通道交互下全局语义信息增强的多模态情感分析

来源：计算机工程与应用杂志2025年第19期北京时间：

作者：卜韵阳, 卜凡亮, 张志江

单位：1.中国人民公安大学 信息网络安全学院，北京 100038；2.公安部第一研究所，北京 100048

摘要：人类在沟通时常常会通过文本、音频和视觉等多种形式表达情感。如果只使用单一的方式判断情感，结果可能会有偏差，但结合多种线索可以更加全面地理解和探索信息。然而，之前的大多数多模态情感分析方法只是分析单个图文对帖子之间的情感联系，而忽略了数据集中每个图文对帖子之间的共现特征。针对上述问题，提出一种多通道交互下全局语义信息增强的多模态情感分析模型。设计一个文本引导的多通道交互模块，促进单个图文对中文本特征与图像对象视图和场景视图之间的交互；构建文本级图神经网络和文本属性级图神经网络学习单个模态和多个模态的全局共现特征；利用一个多源表征模块融合多种特征表示实现多模态融合。在公开的多模态情感分析数据集MVSA-Single、MVSA-Multiple和TumEmo上的大量实验证明，该模型优于一系列基线模型。

关键词：多模态情感分析,多通道交互,图神经网络,信息增强