非文本主导的全局视觉特征融合多模态情感分析
来源：计算机工程与应用杂志2026年第11期北京时间：
作者：冯广, 杨燕茹, 郑润庭, 钟婷, 刘天翔, 黄荣灿
单位：1.广东工业大学 自动化学院，广州 510006；2.广东工业大学 计算机学院，广州 510006；
摘要：基于课堂多模态数据的智慧教育是近来研究的趋势，多模态情感分析是其中的关键技术，近年来越来越受到关注。其中，语义和情感线索通常从文本模态获得，使得文本数据在分析中占重要地位。然而，模型过度依赖单种模态会使其忽略其他模态，且课堂状态下学生的文本信息往往难以获取或完全缺失，另外现有采用逐帧的提取方式难以捕捉情感的全局动态变化。为了解决这些问题，提出了非文本主导的全局多模态对齐网络。引入潜在情感感知模块，利用非文本模态主导的注意力机制，整合三种模态以提取跨模态融合特征，并利用门控机制降低文本的主导作用，帮助模型提高非文本模态中的情感线索的利用率；在逐帧提取视觉特征的基础上，增加全局视觉特征提取模块以捕捉跨帧间关联从而提高了视觉特征提取效率；采用对抗学习机制对齐多模态融合特征与视觉全局特征，减少模态特征差异带来的信息不对称。实验结果表明，所设计的模型在两个公开数据集CMU-MOSI和CMU-MOSEI上均优于现有方法。
关键词：多模态情感分析,跨模态融合,注意力机制,对抗学习
基金资助：国家自然科学基金重点项目（62237001）；广州市教育局高校科研项目（2024312423）。
