算力约束下混合专家模型计算优化方法：现状及研究进展

来源：计算机工程与应用杂志2025年第22期北京时间：

作者：问佳琳, 李晓军, 姚俊萍, 辜弘炀

单位：火箭军工程大学 作战保障学院，西安 710025

摘要：大语言模型近年来在自然语言处理等领域取得了显著成果，混合专家模型通过稀疏激活的策略减少了大语言模型的计算需求。随着混合专家模型所面临的推理任务越发复杂，部署于终端设备上的专家模型常常面临资源需求超出节点算力的问题，因此算力约束下的混合专家模型计算优化成为领域研究持续关注的热点问题。介绍了混合专家模型的概念与架构，并从门控网络、专家结构及模型、内存管理三个维度出发，对相关优化方法展开分类综述。在门控网络层面，研究了路由设计、损失函数优化和负载均衡机制，从而实现了精确路由；在专家结构层面，总结了各类专家设计、预处理方法和专家合并策略的结构创新；在内存管理层面，综述了现有的参数压缩和内存卸载技术，以应对模型在部署时面临的资源受限问题。分析了不同维度下计算优化的原理、策略及主要技术挑战，提出了领域研究需要关注的重点问题及潜在研究机会。

关键词：混合专家模型（MoE）,计算优化,负载均衡,专家结构,内存管理