双元双模态下二次门控融合的多模态情感分析

来源：计算机工程与应用杂志2024年第8期北京时间：

作者：刘青文, 买日旦·吾守尔, 古兰拜尔·吐尔洪

单位：新疆大学 信息科学与工程学院，乌鲁木齐 830046

摘要：为了平衡情感信息在不同模态中分布的不均匀性，获得更深层次的多模态情感表征，提出了一种基于双元双模态二次门控融合的多模态情感分析方法。对文本、视觉模态，文本、语音模态分别融合，充分考虑文本模态在三个模态中的优势地位。同时为了获得更深层次的多模态交互信息，使用二次融合。在第一次融合中，使用融合门决定向主模态添加多少补充模态的知识，得到两个双模态混合知识矩阵。在第二次融合中，考虑到两个双模态混合知识矩阵中存在冗余、重复的信息，使用选择门从中选择有效、精简的情感信息作为双模态融合后的知识。在公开数据集CMU-MOSEI上，情感二分类的准确率和F1值分别达到了86.2%、86.1%，表现出良好的健壮性和先进性。

关键词：多模态情感分析,双元双模态,二次融合,门控注意力机制