《计算机工程与科学杂志》发表论文赏析

一种基于因果关系的减轻大语言模型幻觉的方法

来源:计算机工程与科学杂志2026年第2期北京时间:

作者:李鹤, 迟昊昂, 刘明宇, 杨文婧

单位:国防科技大学计算机学院,湖南 长沙 410073

摘要:大语言模型LLMs的出现是生成式人工智能的一个里程碑,其在文本理解和生成任务中取得了显著的成功。尽管LLMs在许多下游任务中取得了巨大的成功,但它们也存在严重的幻觉问题,对LLMs的实际应用是重大的挑战。虽然基于Transformer的LLMs中的自注意力机制是一个重要的模块,但现有文献很少从自注意力机制的角度探讨LLMs的幻觉现象。为填补这一研究空白,从因果关系的角度研究了这个问题。具体而言,提出了一种方法,在不改变LLMs结构的情况下,禁用自注意力层。实验禁用多个开源LLMs中的不同自注意力层,在幻觉评估基准上对这些干预后的LLMs进行了评估,并将其幻觉程度与原始模型进行比较。实验结果表明,禁用LLMs前部或尾部的一些特定自注意力层可以缓解幻觉问题。

关键词:大语言模型,大语言模型幻觉,因果表示学习,

基金资助:国家自然科学基金 (91948303-1,62372459,62376282)

2026年2期其他文献查阅:

低温ADC综述

基于发送速率梯度的数据中心网络拥塞控制

面向领域专用片上网络的自定义拓扑结构生成框架

下一代智算中心RDMA QP通信机制

应用场景驱动的动态自重构A*算法加速阵列设计与实现

一种基于因果关系的减轻大语言模型幻觉的方法

一种基于强化学习的多跳知识图谱推理方法研究

基于多阶段协同推理的大语言模型司法问答框架

ICBV:一种基于BERT变分自编码的半监督意图聚类方法

面向电力运维的知识图谱构建:基于EBOM模型的实体关系联合抽取

基于双编码器和知识增强的方面情感三元组抽取

基于改进的PEGASUS模型与自适应纠错机制的双阶段文本摘要方法

基于动态依赖驱动与多元特征增强的中文关系抽取

基于数据增强的对话情绪识别

基于全景语义和多层次特征融合的方面级多模态情感分析

基于提示学习的少样本情感分类研究

一种基于预训练语言模型的多特征融合文章对匹配模型

自适应融合的多模态实体对齐方法

填文献完整题目 获取完整文献

填写需求
联系方式
注:学术顾问会在1小时内联系您,请留意!