跨模态特征一致性对齐下的多模态情感分析

来源：计算机工程与应用杂志2026年第11期北京时间：

作者：崔文成, 孙佳惠, 邵虹

单位：沈阳工业大学 信息科学与工程学院，沈阳 110870；

摘要：当前基于多模态数据的情感分析方法在特征建模和模态协同交互方面取得了显著进展，但仍存在特征提取不够充分、模态间语义对齐不足等问题，容易导致冗余信息增加与跨模态交互受限。为此，提出一种基于跨模态特征一致性对齐的多模态情感分析方法。根据各模态数据的特性，设计三分支特征提取子网络，分别对文本、视觉和听觉模态进行深层次表示建模。为减缓模态不一致对融合效果的影响，构建跨模态特征一致性对齐模块，并引入中间层监督机制以提升对齐质量。提出跨模态Transformer融合模块，实现多模态间深层次的语义交互与情感融合建模。在CMU-MOSI与CMU-MOSEI数据集上开展了七分类实验，准确率分别提升了3.7与6.4个百分点，验证了所提模型在多模态情感识别任务中的有效性与鲁棒性。

关键词：多模态情感分析（MSA）,多模态特征嵌入,跨模态特征一致性对齐,模态融合,Transformer模型