大语言模型驱动的立场感知事实核查

来源：计算机应用杂志2024年第10期北京时间：

作者：姜雨杉, 张仰森

单位：北京信息科技大学 智能信息处理研究所，北京 100101

摘要：为解决事实核查领域的证据立场不平衡和忽略立场信息的问题，提出一种大语言模型（LLM）驱动的立场感知事实核查（LLM-SA）方法。首先，使用LLM推理并生成一系列与原始声明立场不同的辩证声明，使事实核查任务能够获取不同立场的视角；其次，通过语义相似度计算衡量每个证据句子与原始声明及辩证声明之间的相关性，并从证据句子中分别选择与两者语义上最相近的k个句子，作为支持或反对原始声明的证据，从而获得代表不同立场的证据，有助于事实核查模型综合多角度的信息，更准确地评估声明的真实性；最后，引入BERT-StuSE（Bidirectional Encoder Representations from Transformers-based Stance-infused Semantic Encoding network）模型，利用多头注意力机制充分融合证据的语义和立场信息，并更全面、客观地判断声明和证据的关系。在CHEF数据集上的实验结果表明，与BERT方法相比，所提方法在测试集上的Micro F1值和Macro F1值分别提高了3.52、3.90个百分点，达到较好的水平。验证了所提方法的有效性，以及考虑不同立场的证据和充分利用证据的立场信息对事实核查的性能提升具有重要意义。

关键词：事实核查,自然语言处理,大语言模型,提示工程,立场感知,多头注意力机制

基金资助：国家自然科学基金资助项目(62176023)