MSRD: 多模态网络谣言检测方法

来源：计算机研究与发展杂志2020年第11期北京时间：

作者：刘金硕,冯阔,JeffZ.Pan,邓娟,王丽娜,

摘要：图像和文本相结合的多模态网络谣言由于更具迷惑性和煽动性，对国家安全和社会稳定的危害性更严重.目前网络谣言检测工作充分考虑了谣言中配文的文本内容而忽略了图像内容以及图像中的内嵌文本内容，因此，提出了一种基于深度神经网络针对图像、图像内嵌文本以及配文文本内容的多模态网络谣言检测方法MSRD.该方法使用VGG-19网络提取图像内容特征，使用DenseNet提取图像内嵌文本内容，使用LSTM网络提取文本内容特征，与图像特征串接后，通过完全连接层获取图像与文本共享表示的均值与方差向量,借助从高斯分布中采样的随机变量以形成重新参数化的多模态特征并作为谣言检测器的输入进行谣言检测.实验表明:该方法在Twitter和微博两大数据集上达到了68.5%和79.4%的准确率.

关键词：多模态, 谣言检测, 图像内嵌文本, 自然语言处理, 深度神经网络,