一种面向异构集群的DNN推理任务批调度优化方法及实现
来源：计算机应用与软件杂志2025年第7期北京时间：
作者：张仁宇, 朱宗卫, 宋海鑫
摘要：随着人工智能产业的蓬勃发展，大量基于深度神经网络（DNN）的应用每天产生大规模的DNN推理任务，并汇集到大型异构计算集群进行推理。如何设计一种面向异构集群的高效DNN推理任务批调度优化方法及其实现是一个关键问题。针对该问题，提出一种基于策略参数表征机制的调度优化方法。它使用包含参数的策略组合进行调度结果流生成，并不断使用元启发式搜索算法对这些参数进行最优解搜索；基于此优化方法实现了一个适用于异构计算集群推理任务调度的系统。实验结果表明该优化方法相较于传统的调度方法有着显著的性能提升。
关键词：任务批调度, 推理任务, 异构集群
