大语言模型预训练系统关键技术综述

来源：软件学报杂志2026年第1期北京时间：

作者：高彦杰，陈跃国

单位：高彦杰，中国人民大学 信息学院, 北京 10087211,陈跃国，数据工程与知识工程教育部重点实验室(中国人民大学), 北京 10087202

摘要：在人工智能时代, 如何高效地完成大语言模型的预训练, 以满足其在扩展性、性能与稳定性方面的需求, 是亟需解决的重要问题. 大语言模型系统充分利用加速器和高速网卡进行并行张量计算和通信, 极大地提高了模型训练的性能, 这一进展伴随着一系列尚待解决的系统设计问题. 首先, 在分析大语言模型预训练过程的基础上, 介绍了其训练流程与负载特点. 其次, 从预训练系统的扩展性、性能和可靠性角度出发, 分别介绍了各类系统技术的分类、原理、研究现状及热点问题. 最后, 从总体层面深入分析了大型语言预训练系统面临的挑战, 并展望了其未来的发展前景.

关键词：人工智能;大语言模型;大语言模型预训练系统

基金资助：国家自然科学基金(62272466, U24A20233); 中国人民大学国家治理大数据和人工智能创新平台