基于多模态融合的情感分析算法研究综述

来源：计算机工程与应用杂志2024年第2期北京时间：

作者：郭续, 买日旦·吾守尔, 古兰拜尔·吐尔洪

单位：新疆大学 信息科学与工程学院，乌鲁木齐 830046

摘要：情感分析是一项新兴技术，其旨在探索人们对实体的态度，可应用于各种领域和场景，例如产品评价分析、舆情分析、心理健康分析和风险评估。传统的情感分析模型主要关注文本内容，然而一些特殊的表达形式，如讽刺和夸张，则很难通过文本检测出来。随着技术的不断进步，人们现在可以通过音频、图像和视频等多种渠道来表达自己的观点和感受，因此情感分析正向多模态转变，这也为情感分析带来了新的机遇。多模态情感分析除了包含文本信息外，还包含丰富的视觉和听觉信息，利用融合分析可以更准确地推断隐含的情感极性（积极、中性、消极）。多模态情感分析面临的主要挑战是跨模态情感信息的整合，因此，重点介绍了不同融合方法的框架和特点，并对近几年流行的融合算法进行了阐述，同时对目前小样本场景下的多模态情感分析进行了讨论，此外，还介绍了多模态情感分析的发展现状、常用数据集、特征提取算法、应用领域和存在的挑战。期望此综述能够帮助研究人员了解多模态情感分析领域的研究现状，并从中得到启发，开发出更加有效的模型。

关键词：多模态,情感分析,模态融合