基于注意力与多模态混合融合的谣言检测方法
来源：计算机工程杂志2021年第12期北京时间：
作者：陶霄, 朱焱, 李春平
单位：1. 西南交通大学 信息科学与技术学院, 成都 611756;2. 清华大学 软件学院, 北京 100084
摘要：社交媒体内容结构具有复杂性，大量虚假信息掺杂在真实内容中，或者在真实图片上配以杜撰的文字内容，导致基于单个模态的方法难以有效检测谣言。提出基于注意力机制与Dempster’s组合规则的混合融合方法。通过新增用户模态，提取文本、视觉和用户3个模态的特征向量，利用注意力机制对词语和视觉进行双向匹配，给予对谣言检测具有更多贡献的词语和视觉神经元更大的权值。在前后期融合均加入注意力机制，实现特征和决策的自动加权，并使用Dempster's组合规则实现混合融合。在真实的中文Weibo数据集和外文Twitter数据集上的实验结果表明，该方法准确率分别达到97.44%和92.35%，准确率和F1-score指标均高于基准方法和多模态方法。
关键词：谣言检测,多模态融合,注意力机制,混合融合,Dempster's组合规则
基金资助：四川省科技计划项目（2019YFSY0032）。
