基于异构知识融合的多模态虚假新闻识别

来源：电讯技术杂志2025年第6期北京时间：

作者：刘鑫,戴礼灿,张海瀛,王胜泽

单位：(1.西南电子技术研究所，成都 610036;2.哈尔滨工程大学 计算机科学与技术学院，哈尔滨 150001)

摘要：针对多模态虚假新闻识别任务中主流方法难以检测出新闻内容中的事理逻辑错误与常识性错误的问题，提出了一种基于异构知识融合的多模态虚假新闻识别方法。首先引入了事理逻辑抽取以及常识抽取算法，从新闻中抽取出常识以及事理知识，同时根据抽取出的知识从事理图谱和常识图谱中链接到相关的证据。然后设计了一种异构知识融合网络，对知识和新闻进行特征编码，利用异构图注意力网络对知识图进行特征聚合，并通过知识对比模块对图谱中召回的知识与新闻知识进行对比，获得深度对比特征，同时利用协同注意力模块将新闻的图像与文本特征有效融合得到图文融合特征。最后，将对比知识特征与图文融合特征自适应融合，进一步提高模型的识别精度。在Weibo公开数据集和自建数据集的实验结果表明，所提方法的识别准确率分别达到了91.6%和96.9%，与目前主流的方法相比识别性能更好。

关键词：多模态虚假新闻识别；异构知识融合；知识图谱；跨模态融合；

基金资助：国家自然科学基金面上项目（62176171）