面向领域适配的大语言模型LoRA微调训练优化方法研究

来源：计算机工程与应用杂志2026年第14期北京时间：

作者：孟奇, 吴正龙, 赵忠实

单位：中国人民解放军陆军兵种大学，合肥 230031；

摘要：针对低秩假设的过度简化可能会对大模型造成负面影响以及优化训练缺乏一般性理论指导的问题，从LoRA方法的基本原理着手，探讨了领域适配性优化设计，通过实验研究了秩参数以及低秩注入模块对微调的影响，总结分析了实验训练中存在的一般性规律并进行泛化性验证，在上述基础上实现了专业领域知识问答模型的适配性微调训练。结果表明，微调过程中稳定运行显存与显存峰值会存在明显的波动现象，适配微调存在最佳的秩参数且合理选择低秩注入模块可精细化提高训练效率，经成功适配微调后的模型在处理专业领域问答任务时的准确率能够提高到73.2%。上述领域适配的实验设计思路及结果发现能够为行业内同类微调训练提供建议和思考。

关键词：大语言模型（LLM）,领域适配,低秩适配（LoRA）微调,知识问答,训练优化

基金资助：国家部委基金。