融合对比学习与情感分析的多模态反讽检测模型

来源：计算机应用杂志2025年第5期北京时间：

作者：胡文彬, 蔡天翔, 韩天乐, 仲兆满, 马常霞

单位：江苏海洋大学 计算机工程学院，江苏 连云港 222005

摘要：社交媒体平台上的评论有时会通过反讽来表达对事件的态度，通过反讽检测，可以更准确地分析用户情绪和观点。针对基于词汇和句法结构的传统模型忽略了文本情感信息对反讽检测的作用和由于数据噪声造成的检测性能降低等问题，提出一个融合对比学习和情感分析的多模态反讽检测模型（MSDCS）。首先，利用BERT（Bidirectional Encoder Representation from Transformers）提取文本特征，并利用ViT（Vision Transformer）提取图像特征；其次，利用对比学习中的对比损失训练浅层模型，在融合之前对齐图像和文本特征；最后，结合跨模态特征与情感特征融合后的结果作分类判断，最大限度地利用不同模态间信息实现反讽检测。在多模态反讽检测开放数据集上的实验结果表明，相较于基于分解和关系网络（D&R Net）的基准模型，MSDCS的准确率和F1值至少提高了1.85%和1.99%，验证了在多模态反讽检测中利用情感信息和对比学习的有效性。

关键词：社交媒体,反讽检测,情感分析,对比学习,动量蒸馏

基金资助：国家自然科学基金资助项目(72174079)