《计算机工程与科学杂志》发表论文赏析

基于视觉特征增强与双向交互融合的图文情绪分类

来源:计算机工程与科学杂志2025年第11期北京时间:

作者:王露瑶, 胡慧君, 刘茂福

单位:1.武汉科技大学计算机科学与技术学院,湖北 武汉 430065;2.湖北省智能信息处理与实时工业系统重点实验室,湖北 武汉 430065

摘要:多模态情感分析日益受到广泛关注,其目的是利用文本和图像等多模态信息实现情感预测。相较于文本,视觉模态作为辅助模态,可能包含更多与情感无关的混淆或者冗余信息,同时现有研究未充分考虑多个感知模态间的交互作用和互补性。针对上述问题,提出了基于视觉特征增强与双向交互融合的图文情绪分类VFEBIF模型。其中,细粒度视觉特征增强模块利用场景图的结构化知识和基于CLIP的筛选技术,提取出与视觉语义相关的文本关键词,从而增强视觉局部特征。此外,双向交互融合模块并行实现模态间交互,并融合多模态特征以深入挖掘模态间的互补信息,进而实现情绪分类。在TumEmo和MVSA-Single这2个公共数据集上的实验表明,VFEBIF模型优于多数现有模型,能够有效提升情绪分类性能。

关键词:多模态情感分析,图文情绪分类,视觉特征增强,双向交互融合,

基金资助:“十四五”湖北省优势特色学科(群)项目 (2023D0302)

2025年11期其他文献查阅:

面向特定应用的可配置CPU性能分析方法

一种具有动态可重构数据流的混合矩阵向量处理器

云原生边缘计算系统离线自治技术研究综述

基于循环展开的高效RISC-V内存一致性测试方法

ISA真的重要么? ——基于Gem5的仿真调查

基于门控特征融合与多尺度卷积的网络流量异常检测

音频删除篡改的多阶段检测与多模态定位

MinRS:一种兼顾模型可用性与模型隐私性的防御方法

基于单类支持向量机的联邦学习安全聚合算法

基于人工智能模型的数学推理研究进展

基于大语言模型的司法文本摘要研究

基于时空融合的多视角3D感知网络设计

基于保持节点簇分布的图提示少样本节点分类

基于空间注意力机制和多特征数据增强的环境声分类

基于多策略鲸鱼算法的ESN参数优化模型

基于视觉特征增强与双向交互融合的图文情绪分类

基于PCA-PSO_KFCM聚类和BiLSTM-Attention的短期电力负荷预测

融合平衡与地位理论的自监督符号社交关系预测模型

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!