基于GPT-4数据增强与对比学习的多模态谣言检测研究

来源：图书情报工作杂志2024年第23期北京时间：

作者：蒋超,朱学芳

单位：1 南京大学信息管理学院 南京 210023;2 南京大学江苏省数据工程与知识服务重点实验室 南京 210023

摘要：[目的/意义] 针对目前多模态谣言检测领域数据增强方法语义准确性与多样性受限的问题，探讨提升多模态谣言检测准确率的模型及方法，有助于进行网络谣言检测和进一步提高网络信息治理能力。[方法/过程] 提出一种提升多模态谣言检测准确率的模型TARD-GPT-4。该模型调用GPT-4进行数据增强，采用BERT与ViT模型分别获取模态特征，并使用一种有监督的对比学习策略发掘数据的标签属性特征，最后使用全连接层进行谣言检测判别。[结果/结论] 提示大语言模型使用重新描述的方式进行数据增强并融合有监督对比学习的方法对多模态谣言检测准确率的提升有着正向效果。相较于所选取的最优基线模型，TARD-GPT-4在多模态谣言检测准确率上高出1.62%；同时，通过探究多种数据增强方式对结果的影响，发现提示大语言模型使用重新描述的增强方式效果最优。

关键词：数据增强,对比学习,多模态,谣言检测,