双模态双向感知下语义信息增强的多模态情感分析

来源：计算机工程与应用杂志2024年第19期北京时间：

作者：曲海成, 徐波

单位：辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105

摘要：针对不同模态间存在情感信息分布不均匀，难以获得更深层次的多模态情感语义信息问题，提出了一种双模态双向感知下语义信息增强的多模态情感分析方法。对文本-视觉模态、文本-音频模态分别融合，捕获双模态话语中的相互依赖关系，获得模态间双向的上下文感知信息；考虑到双模态在融合时产生较多冗余信息，采用门控机制选择有效的情感特征，以提升识别关键情感信息的能力；通过跨模态信息交互机制对多种模态间的信息进行建模，得到语义信息增强的模态特征向量。在公开的多模态情感分析数据集CMU-MOSI上对所提出的模型进行评估，实验结果表明，该模型的情感分析结果优于大多数现有先进的多模态情感分析方法，能够有效提升情感分析的性能。

关键词：多模态情感分析,双模态双向感知,门控机制,信息增强