Kubeflow异构算力调度策略研究

来源：计算机工程杂志2024年第2期北京时间：

作者：孙毅, 王会梅, 鲜明, 向航

单位：国防科技大学电子科学学院, 湖南 长沙 410000

摘要：Kubeflow将机器学习和云计算技术两个技术领域相结合，集成了大量的机器学习工具，为生产级的机器学习平台落地提供了可行方案。机器学习通常依托图形处理器（GPU）等专用处理器来提高训练和推理速度，随着云计算集群规模的动态调整，不同计算架构的云计算节点可以灵活地加入/退出集群，传统的轮询调度策略已无法满足动态调整下的异构算力资源调度。为解决Kubeflow平台异构算力的分配优化问题，提高平台资源利用率，实现负载均衡，提出一种基于云的图形处理器-中央处理器（CPU-GPU）异构算力调度策略，采用量化后的负载均衡度和优先级两个判断指标，细颗粒度化显存分配，将计算资源挂载给对应的Pod以实现算力资源的细颗粒度调度。根据集群各节点算力资源设计资源权重矩阵，利用改进的遗传算法获取Pod的最优部署方案，保证多个任务的执行。实验结果表明，该调度策略对并行任务支持效果较好，且在资源请求溢出的情况下，能够按照优先级调度执行并实现最优的负载，与平台原生策略相比，资源细化程度提升了一个数量级，集群负载均衡也有较为显著的提升。

关键词：云计算,机器学习,异构算力,资源调度,遗传算法

基金资助：国家部委基金