基于多层注意力机制跨模态自适应融合的情感分析模型研究

来源：计算机应用与软件杂志2025年第9期北京时间：

作者：贺萍, 祁铧颖, 王诗怡

摘要：与面向文本、图像进行情感分析的研究相比，面向视频进行情感分析的研究较少，且不同模式之间跨模态关系抽取依然存在噪声与信息冗余的问题。因此，结合文本、视频两种数据模态提出一种基于多层注意力机制的跨模态自适应融合的情感分析模型 (MACSF)。该文将提取到的文本与视频特征在多头层次注意 (MHA) 下跨模态分层融合两次，得到具有交互语义的二次融合特征；将文本特征和二次融合的特征通过自适应跨模态集成得到最终融合特征；将融合特征输入多层感知机和 Softmax 函数得到情感分类结果。在公开数据集 MOSI 和 MOSEI 上实验验证，该文模型有效弥补了跨模态交互中存在的噪声问题，提高了情感分类的效果。

关键词：跨模态, 特征融合, 情感分析, 注意力机制