分布式训练异构任务调度算法研究

来源：计算机工程与科学杂志2021年第7期北京时间：

作者：杨坚伟, 孟敏, 黄家乐, 武继刚

单位：（广东工业大学计算机学院，广东 广州510006）

摘要：分布式机器学习中的工作结点在训练过程中经常需要处理异构任务，但任务发布者可能无法根据有效的先验知识确定边缘服务器集群中哪些是处于训练状态的工作结点。针对边缘服务器集群无法同时满足训练性能与服务质量最大化的问题，对异构任务调度算法进行了研究。首先在集群资源约束下分析了分布式训练收敛性能的影响因素；其次建立了最大化训练性能的优化目标；最后转化为多维多选择背包问题进行求解。仿真结果表明，所提异构任务调度算法能够在保证服务质量的同时，最大化分布式训练性能。

关键词：分布式训练,训练性能,异构任务调度,多维多选择背包,收敛分析,

基金资助：国家自然科学基金（61702114）；广东省自然科学基金（2020A1515011361）