基于ChatGPT增强和监督对比学习的政策工具归类研究

来源：计算机工程与应用杂志2024年第7期北京时间：

作者：胡志强, 李朋骏, 王金龙, 熊晓芸

单位：青岛理工大学 信息与控制工程学院，山东 青岛 266525

摘要：政策工具的归类是政策文本量化分析和研究的重要维度之一。由于训练数据的缺乏，政策文本相似度高，模型难以学习到足够丰富的特征表示，对它的预测结果缺少置信度，有较高的错误分类风险。为此提出了基于ChatGPT增强和监督对比学习的政策工具分类方法，该方法分为预训练语言模型微调和ChatGPT决策增强两个阶段，第一阶段使用ChatGPT大语言模型增强政策文本以增加训练数据数量，结合监督对比学习微调RoBERTa模型，使模型学习到更丰富的政策文本表示；第二阶段使用ChatGPT辅助决策预训练语言模型置信度较低的文本，降低对相似文本的错误分类风险。在数字产业政策工具分类数据集和Tnews数据集上的实验表明，所提方法优于主流的研究方法，能够有效提升基模型的性能，且在训练样本较少时对基线模型的提升更显著。

关键词：文本分类,ChatGPT,数据增强,监督对比学习,政策工具