多模态方面级情感分析的多视图交互学习网络

来源：计算机工程与应用杂志2024年第7期北京时间：

作者：王旭阳, 庞文倩, 赵丽婕

单位：兰州理工大学 计算机与通信学院，兰州 730050

摘要：以往的多模态方面级情感分析方法只利用预训练模型的一般文本和图片表示，对方面和观点词相关性的识别不敏感，且不能动态获取图片信息对单词表示的贡献，因而不能充分识别多模态与方面之间的相关性。针对上述问题，提出一种多视图交互学习网络模型。将句子从上下文和句法两个视图上分别提取特征，以便在多模态交互时充分利用到文本的全局特征；对文本、图片和方面之间的关系进行建模，使模型实现多模态交互；同时融合不同模态的交互表示，动态获取视觉信息对文本中每个单词的贡献程度，充分提取模态与方面之间的相关性。最后通过全连接层和Softmax层获取情感分类结果。在两个数据集上进行实验，实验结果表明该模型能够有效增强多模态方面级情感分类的效果。

关键词：多模态方面级情感分析,预训练模型,多视图学习,多模态交互,动态融合