无监督数据驱动的垂直领域大模型微调数据集生成框架
来源：计算机工程与应用杂志2026年第9期北京时间：
作者：师瑞峰, 轩顺德, 叶禹江, 时文刚, 宋寅, 滕婧
单位：1.华北电力大学 控制与计算机工程学院，北京 102206；2.华北电力大学 国家能源交通融合发展研究院，北京 102206；3.中国大唐集团科技创新有限公司，河北 雄安 071701；
摘要：大语言模型在自然语言处理领域取得了显著进展，但通用语言模型在垂直领域应用时面临专业知识缺乏和数据稀缺的挑战，因此难以满足特定领域的应用需求。提出了一种基于无监督数据驱动的微调数据集生成框架（GEO），通过结合生成器、评估器与优化器模块，采用自动问答方式对生成数据及其质量进行优化，构建出高质量、领域适配性强的训练数据集。将所提方法应用于低碳能源领域，建立基于GEO框架的领域特定微调数据集，并在Qwen2.5-7B、Baichuan2-7B和ChatGLM3-6B等中文大模型基础上开展了LoRA微调实验。研究结果表明，由GEO框架所生成的数据集在保留模型通用能力的同时，显著提升了模型在低碳能源领域的文本生成质量、语义一致性及领域适配能力，验证了该方法的有效性。
关键词：大语言模型,垂直领域,数据生成,LoRA微调
基金资助：国家重点研发计划（2021YFB2601300）；国家自然科学基金（62373148）；中央高校基本科研业务费专项（2025JC005）。
