大语言模型微调技术的研究综述

来源：计算机工程与应用杂志2024年第17期北京时间：

作者：张钦彤, 王昱超, 王鹤羲, 王俊鑫, 陈海

单位：北京师范大学珠海校区 文理学院，广东 珠海 519087

摘要：大型语言模型的崛起是深度学习领域的全新里程碑，而微调技术在优化模型性能方面的起到了关键作用。对大型语言模型微调技术进行了全面的综述，回顾了语言模型的统计语言模型、神经网络语言模型、预训练语言模型和大语言模型四个阶段的发展历程和微调技术的基本概念，从经典参数微调、高效参数微调、提示微调和强化学习微调方法四大部分，探讨总结了各微调技术的原理与发展，并进行了一定的对比分析。最后，总结了当前微调技术的研究状况与发展重点，强调了该领域的潜在研究价值，并展望了未来的发展方向。

关键词：大语言模型,微调方法,预训练模型,自然语言处理