专家路由的方面级多模态情感分析

来源：计算机工程与应用杂志2025年第10期北京时间：

作者：赵京胜, 王永政, 杨心怡, 曲维龙, 朱巧明

单位：1.青岛理工大学 信息与控制工程学院，山东 青岛 266520；2.苏州大学 计算机科学与技术学院，江苏 苏州 215006

摘要：在方面级多模态情感分析领域，通过方面术语提取和方面级情感分类任务获取句子中的方面-情感对，前者提取句子中人物、商品等实体的方面词，后者根据给定的方面术语预测用户的情感极性。现有两种主流方法完成两个子任务，但存在各自的问题：（1）使用两个独立模型分别处理两个子任务，不同模型之间语义关联度较差，两个任务之间的底层特征无法得到延续；（2）使用一个模型同时处理两个子任务，两个任务共享一套模型参数，难以针对方面术语提取和方面级情感分类特点提升各任务性能，使提取方面-情感对的效率低。为解决上述问题，提出了专家路由的方面级多模态情感分析方法。在一个模型中针对性处理两个子任务，引入专家路由思想，采用稀疏-激活策略，即并非所有参数都会在处理每个输入时被激活，而是根据输入的特定任务需求，只有部分参数集合被调用处理各个任务。模型利用图像（文本）关键信息关注文本（图像）相关联的部分，形成视觉区域与包含情感信息方面词的初步的局部对应语义关联，通过门控单元获取模态间共享互补的深度混合语义矩阵。最后通过方面级情感分类模块进行情感预测。在两个公开数据集Twitter2015和Twitter2017上的实验结果表明该模型优于一系列基线模型。

关键词：方面级多模态情感分析,专家路由,门控单元,注意力机制