大语言模型参数高效微调技术综述

来源：计算机工程与应用杂志2025年第16期北京时间：

作者：秦董洪, 李政韬, 白凤波, 董路宽, 张慧, 徐晨

单位：广西民族大学 人工智能学院，南宁 530006

摘要：近年来，自然语言处理领域的训练范式和模型规模发生显著变化，从特定任务的监督学习转向全量微调大规模预训练模型。然而，模型参数的激增导致全量微调计算成本高昂。“参数高效微调”技术应运而生，通过仅微调部分参数或引入少量新参数，显著降低成本并保持性能。对近年来参数高效微调技术中最具代表性和最前沿的方法进行了简要介绍和系统分析，涵盖设计理念与核心算法，并对不同方法的特性、优势、不足以及适用场景进行了归纳和分析，并进一步对比了不同种类中同系列的多种方法，分析了同系列方法在设计理念上的演进趋势，提供了当前研究现状的全面概述。最后对参数高效微调技术进行整体的分析与展望，提出未来该技术可能的优化方向，并结合实践提出该技术在实际工程应用中可行的技术方案。

关键词：参数高效微调技术,深度学习,自然语言处理,模型优化