大语言模型对学术论文评价的可利用性探讨
来源：图书情报工作杂志2024年第18期北京时间：
作者：程秀峰,李嘉琦,杨金庆,严中华
单位：1 华中师范大学信息管理学院 武汉 430079;2 国家数字化学习工程技术研究中心 武汉 430079
摘要：[目的/意义] 以GPT为代表的大语言模型在上下文理解和推理方面表现出色，能够通过文本分析主题，判断意见及情感等信息，并具备强大的内容理解和内容生成能力。当前学术论文的评价主要以同行评议、以刊评文等评价机制为主。是否可将大语言模型的判断能力运用于学术论文评价过程，以客观反映论文质量、丰富评价机制，是值得探讨的问题。[方法/过程] 分析学术论文评价的历史源流和核心任务。在此基础上，通过剖析大语言模型的核心技术，提出大语言模型对学术论文评价可资利用的4个方面，并运用GPT-4进行评价测试。提出一个融合了大语言模型的学术论文评价框架，并对大语言模型应用存在的问题和风险进行分析。[结果/结论] 大语言模型能够推动学术论文评价机制的变革与发展，但需要不断进行技术升级和模型改进，以解决其应用带来的问题和风险。
关键词：人工智能,大语言模型,学术论文评价,定性评价,
基金资助：本文系国家自然科学基金面上项目“基于情境感知的智慧图书馆阅读与交流服务实现路径研究”（项目编号：71974069）和中央高校基本科研项目“基于知识网络的科学知识角色转变研究”（项目编号：CCNU23XJ013）研究成果之一。
