《计算机集成制造系统杂志》发表论文赏析
作者:崔广章, 刘天航, 张巍, 许威威, 鲍虎军
单位:1.浙江大学计算机辅助设计与图形系统全国重点实验室2.杭州像衍科技有限公司3.青岛大学自动化学院
摘要:近年来,以大模型为代表的通用人工智能迅速发展,准确高效测算大模型训练需求及合理选择硬件设备与网络拓扑成为关键挑战。鉴于此,提出一种改进的多目标常青藤优化算法来优化智算中心的资源配置。首先,根据模型训练中硬件需求和网络拓扑结构约束,建立多目标混合整数规划模型,旨在最小化算力集群搭建成本和模型训练完成时间。然后,提出改进的多目标常青藤优化算法,引入活力因子来评估种群的多样性。根据当前种群的活力自适应选择种群更新策略,平衡种群的多样性和收敛性。仿真实验将所提算法与MOPSO、NSGA-Ⅱ,SPEA-Ⅱ进行对比,结果表明本文算法有效可行。此外,通过灵敏度分析实验验证了张量并行度和流水线并行度对配置方案的影响。
关键词:智算中心资源配置,大模型训练,多目标常青藤优化算法,活力因子
基金资助:浙江省尖兵领雁研究攻关计划资助项目(2323C01042)。