情感分析的跨模态Transformer组合模型

来源：计算机工程与应用杂志2024年第13期北京时间：

作者：王亮, 王屹, 王军

单位：1.沈阳化工大学 计算机科学与技术学院，沈阳 110142；2.辽宁省化工过程工业智能化技术重点实验室，沈阳 110142

摘要：基于Transformer的端到端组合深度学习模型是多模态情感分析的主流模型。针对相关工作中此类模型存在的低资源（low-resource）模态数据的情感特征提取能力不足、不同模态非对齐数据的特征尺度差异导致对齐融合过程中易丢失关键特征信息、基础注意力模型并行处理多模态数据导致多模态长期依赖机制不可靠的问题，提出了一种基于轻量级注意力聚合模块与跨模态Transformer的能使用多模态非对齐数据执行二分类和多分类任务的多模态情感分析模型LAACMT。LAACMT模型提出采用门控循环单元与改进的特征提取算法提取低资源模态信息，提出位置编码配合卷积放缩方法用于对齐多模态语境，提出跨模态多头注意力机制融合已对齐的多模态数据并建立可靠的跨模态长期依赖机制。LAACMT模型在包含文本、语音和视频的三种模态非对齐数据集CMU-MOSI上的实验结果表明该模型的性能评价指标较SOTA有稳定提升。其中Acc7提升了3.96%、Acc2提升了4.08%、F1分数提升了3.35%。消融实验结果数据证明所提模型解决了多模态情感分析相关工作中存在的问题，降低了基于Transformer的多模态情感分析模型的复杂度，提升了模型性能的同时避免了过拟合问题。

关键词：多模态情感分析,轻量级注意力聚合模块,跨模态Transformer,门控循环单元,跨模态多头注意力机制