一种基于知识图谱关系池的大语言模型增强方法

来源：计算机技术与发展杂志2025年第08期北京时间：

作者：符海东;任翔宇;齐凤亮;光晓俐;顾进广;

摘要：利用外部知识图谱(KG)来增强大语言模型(LLM),已成为解决 LLM 在知识密集型任务中出现幻觉问题和知识缺乏问题的主要策略。 目前,如何有效地从知识图谱中检索出解决知识密集型任务所需的知识,已成为研究的重难点。 针对这一挑战,研究人员提出了一种在知识图谱中迭代地进行信息检索的方法:以问题中提及的实体为起点,在知识图谱中遍历,并结合大语言模型(LLM)对实体和关系进行选择。 然而,这种知识检索方法仍然面临多重问题,例如,LLM 对知识图谱中的实体了解不足,以及在选择过程中上下文过长和噪声过多,这些问题可能会影响 LLM 的推理性能。 针对当前研究中存在的问题,在这种方法的基础上,该文提出一种基于知识图谱关系池的大语言模型增强方法。 该方法通过指令微调来预测原始关系池,并利用语义相似性扩充原始关系池,从而形成候选关系池,该关系池将用于知识检索的关系选择和实体选择阶段。 具体而言,在关系选择阶段,优先选择候选池中的关系,从而避免噪声和长上下文对关系选择的影响。 同时,在实体选择阶段,将包含实体和候选池中关系的三元组作为实体的补充知识,帮助 LLM 更好地了解实体。 特别的是,在每次迭代进行实体选择时,还会将前若干次迭代检索到的知识作为提示上下文输入 LLM,这样实现了知识检索阶段每个迭代的紧密结合,使 LLM 在每次迭代中都能获得新的知识,从而提升实体选择的准确性。 为了验证该方法的有效性,在WebQSP 和 CWQ 两个数据集上进行了实验。 结果表明,该方法在两个数据集上均取得了显著提升。 值得注意的是,该方法在 Llama2-70b 上的表现达到了之前一些方法在 ChatGPT 上的水平,证明了其在知识密集型任务中的有效性。

关键词：大语言模型推理;知识增强;知识检索;指令微调;知识图谱