ChatGPT生成与学者撰写文献摘要的对比研究——以信息资源管理领域为例
来源：图书情报工作杂志2024年第8期北京时间：
作者：张强,王潇冉,高颖,王常珏,周洪
单位：1 安徽工程大学人文学院 芜湖 241000;2 华中师范大学信息管理学院 武汉 430079;3 安徽工程大学计算机与信息学院 芜湖 241000;4 中国科学院大学经济与管理学院 北京 101190;5 中国科学院武汉文献情报中心 武汉 430071
摘要：[目的/意义] 探究ChatGPT生成与学者撰写的中文论文摘要之间的异同，为AI生成学术论文检测及相关研究提供借鉴。[方法/过程] 首先，以信息资源管理领域为例，分别抽取图书馆学、情报学、档案学近3年各500篇高被引论文，基于获取的论文题目采用Prompt方式应用ChatGPT工具生成对应的摘要文本，构建数据集合；其次，采用9种机器学习及深度学习算法对ChatGPT生成与学者撰写的摘要文本进行分类检测；最后，从文本特征、主题模型、ROUGE评测对二者的异同进行多角度分析，从而揭示二者之间的异同点。[结果/结论] 基于数据集所训练的主流机器学习及深度学习算法可以有效地分辨摘要是AI生成还是学者撰写，其中BERT和ERNIE的效果最好，而机器学习算法中RF和Xgboost效果最好。ChatGPT生成的摘要字符数量、句子数量较学者撰写的要多，
关键词：ChatGPT,文本分类,文本特征,论文摘要,
基金资助：本文系安徽省省级教学研究重大项目“新工科背景下人文素质教育体系的改革与实践”(项目编号:2020jyxm0152)和中国科学院武汉文献情报中心青年领军人才项目(项目编号:E0KZ451)研究成果之一。
