大模型时代的混合专家系统优化综述

来源：计算机研究与发展杂志2025年第5期北京时间：

作者：史宏志,赵健,赵雅倩,李茹杨,魏辉,胡克坤,温东超,金良,

摘要：近年来，大模型推动自然语言处理、机器视觉等众多领域取得前所未有的进展.混合专家（mixtureofexperts，MoE）凭借在模型参数扩展、计算成本控制和复杂任务处理等方面的独特优势成为大模型的主流架构之一.然而，随着参数规模的持续增长，系统的执行效率和可扩展能力愈发难以满足需求，亟待解决.系统优化方法是解决这一挑战的有效途径，日益成为研究热点.故综述大模型时代MoE系统优化技术的研究现状，首先介绍MoE大模型的发展现状，并分析其在系统端面临的性能瓶颈；然后从内存占用、通信延迟、计算效率和并行扩展4个系统核心维度对最新的研究进展进行全面梳理和深入分析，并对其中涉及的关键技术、适用场景和待优化方向进行详细对比阐述；最后总结MoE系统优化的研究现状，并展望未来研究方向.

关键词：大模型, 混合专家, 内存卸载, 分层通信, 专家放置, 专家激活预测, 自适应并行,