基于大语言模型的论文检索与分析方法研究

来源：计算机技术与发展杂志2024年第12期北京时间：

作者：解勉;陈刚;余晓晗

摘要：在现代学术研究中,高效准确地检索相关学术论文是至关重要的一环。 传统的检索方法通常依赖于精确的关键词输入,要求用户具备一定程度的专业知识以选择和使用恰当的术语。 针对这一问题,探索一种利用大语言模型(Large Language Models,LLMs)基于内容对论文进行检索与分析的方法,旨在降低检索词专业性带来的论文检索门槛,同时可以对论文内容进行一定的分析。 首先,提出了基于内容的论文检索与分析设计框架,以论文解析和向量数据库为基础分别针对单篇论文、多篇论文以及较模糊的通俗描述进行检索与分析;其次,设计了论文解析方法,以及用于提取论文主要内容的大语言模型提示词,引导大语言模型更关注论文具有代表性的关键信息,从而提高检索性能,并通过对比分析获得了更有效提取信息的提示词;最后,通过对比实验证明了该方法的可行性与有效性,根据论文全文以及较模糊的通俗描述进行检索,mAP 分别达 98. 47% 和 99. 51% 。

关键词：文档检索;文档分析;大语言模型;提示词工程;学术论文