带全局噪声增强的多模态超图学习引导用于模态信息缺失情感分析

来源：电子与信息学报杂志2025年第12期北京时间：

作者：黄辰, 刘会杰, 张龑, 杨超, 宋建华

单位：1.湖北大学计算机学院 武汉 4300622.智能感知系统与安全教育部重点实验室 武汉 4300623.大数据智能分析与行业应用湖北省重点实验室(湖北大学) 武汉 430062

摘要：多模态情感分析(MSA)通过多种模态信息来全面揭示人类情感状态。现有MSA研究在面临现实世界中的复杂场景时，仍然面临两方面的关键挑战:(1)忽略了现实世界复杂场景下的模态信息缺失，以及模型鲁棒性问题。(2)缺乏模态间丰富的高阶语义关联学习和跨模态信息传递机制。为了克服这些问题，该文提出一种带全局噪声增强的多模态超图学习引导情感分析方法(MHLGNE)，旨在增强现实世界复杂场景中模态信息缺失条件下的多模态情感分析性能。具体而言，MHLGNE通过专门设计的自适应全局噪声采样模块从全局视角补充缺失的模态信息，从而增强模型的鲁棒性，并提高泛化能力。此外，还提出一个多模态超图学习引导模块来学习模态间丰富的高阶语义关联并引导跨模态信息传递。在公共数据集上的大量实验评估表明，MHLGNE在克服这些挑战方面表现优异。

关键词：自适应全局噪声采样, 多模态超图学习引导, 跨模态信息传递, 模态信息缺失, 多模态情感分析, 预训练语言模型

基金资助：武汉市知识创新专项项目(202311901251001)，湖北省科技计划重大科技专项(2024BAA008)，深圳市科技攻关重点项目(2020N061)