基于自上而下掩码生成与层叠Transformer的多模态情感分析

来源：计算机工程与应用杂志2025年第14期北京时间：

作者：冯程, 杨海, 王淑娴, 李雪

单位：山东交通学院 信息科学与电气工程学院，济南 250357

摘要：针对现有情感分析模型难以捕捉不同模态之间的信息相关性和跨模态特征融合中的信息冗余问题，提出了一种基于自上而下掩码生成与层叠Transformer的多模态情感分析模型。通过掩码生成模块，生成双模态特征的掩码并作用于另一模态，以挖掘不同模态间的相互关系和互补性，生成更丰富的模态特征表示。采用三层堆叠的Transformer结构，对多模态特征进行多层次融合，生成三个子模态融合向量，并有效合并以提升融合深度、避免冗余，最终得到用于情感分析的多模态特征融合向量。实验结果显示，在CMU-MOSI和CMU-MOSEI数据集上，模型表现优越，MAE值分别为0.675和0.508，二分类准确率分别达85.6%和85.1%。

关键词：多模态情感分析,模态融合,掩码生成