基于注意力的多层次混合融合的多任务多模态情感分析

来源：计算机应用研究杂志2022年第3期北京时间：

作者：宋云峰,任鸽,杨勇,樊小超,

单位：新疆师范大学计算机科学技术学院,乌鲁木齐830054；

摘要：针对多模态情感分析中的模态内部特征表示和模态间的特征融合问题，结合注意力机制和多任务学习，提出了一种基于注意力的多层次混合融合的多任务多模态情感分析模型MAM（multi-level attention and multi-task）。首先，利用卷积神经网络和双向门控循环单元来实现单模态内部特征的提取；其次，利用跨模态注意力机制实现模态间的两两特征融合；再次，在不同层次使用自注意力机制实现模态贡献度选择；最后，结合多任务学习获得情感和情绪的分类结果。在公开的CMU-MOSEI数据集上的实验结果表明，情感和情绪分类的准确率和F1值均有所提升。

关键词：多模态,情感分析,注意力机制,多任务学习,

基金资助：新疆维吾尔自治区自然科学基金资助项目(2021D01B72)；国家自然科学基金资助项目(62066044)；；