多模态分级特征映射与融合表征方法研究

来源：计算机工程与应用杂志2025年第6期北京时间：

作者：郭小宇, 马静, 陈杰

单位：南京航空航天大学 经济与管理学院，南京 211106

摘要：多模态特征表征是多模态任务的基础。为解决多模态特征表征方法融合层次单一、未能充分映射不同模态间的关联关系的问题，提出了一种多模态分级特征映射与融合表征方法。该方法在文本模型RoBERTa与图像模型DenseNet的基础上，从两个模型的中间层抽取由低级别到高级别的特征，基于特征重用的思想映射与融合文本与图像模态不同级别的特征，捕捉文本与图像模态之间的内部关联，充分融合两种模态之间的特征。将分级特征映射与融合表征馈入分类器，应用于多模态舆情的情感分类中，同时将构建的表征方法与基线表征方法进行对比分析。实验结果表明，提出的表征方法在微博舆情和MVSA-Multiple数据集上的情感分类性能均超越了所有基线模型，其中在微博数据集上F1值提升了0.013?7，在MVSA-Multiple数据集上F1值提升了0.022?2。图像特征能够提升文本单模态特征下的情感分类准确率，但是其提升程度与融合策略密切相关；多模态分级特征映射与融合表征方法能够有效映射文本与图像特征之间的关系，提升多模态舆情的情感分类效果。

关键词：多模态特征融合,分级特征,映射与融合,情感分类,特征表示