深层注意力和两阶段融合的图文情感对比学习方法

来源：计算机工程与应用杂志2025年第3期北京时间：

作者：余本功, 石中玉

单位：1.合肥工业大学 管理学院，合肥 230009；2.合肥工业大学 过程优化与智能决策教育部重点实验室，合肥 230009

摘要：图文数据逐渐成为网络舆情的主流载体，图文情感分析利用多模态的信息互补效应提高情感分析效果，在人机对话、舆情监控等领域具备极大的应用潜能。以往的研究大多将图像和文本的特征拼接后再使用注意力进行融合，模态信息交互不充分，融合特征存在大量的噪声。提出了一种深层注意力和两阶段融合的图文情感对比学习方法。使用深层跨模态注意力网络进行模态交互，有助于提取不同模态的隐藏信息。设计的跨模态门控融合模块利用门控机制和注意力实现特征的两阶段融合，动态调整特征权重，降低数据噪声。模型通过对比学习和情感分类任务的联合训练，充分捕获与情感相关的跨模态共同特征，有利于提升模型的鲁棒性。方法在MVSA-Single、MVSA-Multiple和HFM等数据集上进行实验得到的准确率和F1值相较于基线模型的最优者平均提升了1.04和0.96个百分点。

关键词：图文情感分析,深层注意力,两阶段融合,门控注意力机制,对比学习