基于跨模态联合编码的多模态情感分析

来源：计算机工程与应用杂志2024年第18期北京时间：

作者：孙斌, 江涛, 贾莉, 崔伊明

单位：1. 西北民族大学 语言与文化计算教育部重点实验室，兰州 730030 ；2. 南京信息工程大学 计算机学院，南京 210044

摘要：如何提高多模态融合特征的有效性是多模态情感分析领域的热点问题之一。以往的研究大多通过设计复杂的融合策略获取融合特征表示，这些方法往往忽略了模态间复杂的关联关系，同时存在着由于模态信息不一致所导致的融合特征有效性降低问题，进而影响模型的性能。针对上述问题，提出一种基于跨模态联合编码的多模态情感分析模型。在特征提取方面，利用预训练模型BERT和Facet模型分别提取文本和视觉特征，经过一维卷积操作获取相同维度的单模态特征表示。特征融合方面，利用跨模态注意力模块获得两模态的联合特征，使用联合特征分别调整单模态特征的权重，将两者拼接后获得多模态融合特征，最终输入到全连接层中进行情感识别。在公开数据集CMU-MOSI上的广泛实验表明，该模型的情感分析结果优于大多数现有先进的多模态情感分析方法，能够有效提升情感分析的性能。

关键词：多模态情感分析,联合编码,跨模态注意力,多模态融合