基于调度历史数据在线预测作业执行时间

来源：计算机应用研究杂志2020年第3期北京时间：

作者：许伦凡,熊敏,肖永浩,

单位：中国工程物理研究院计算机应用研究所,四川绵阳621900；

摘要：传统基于用户预估的执行时间通常准确性较差。结合分类和基于实例的学习方法，综合使用模板相似和数值相似方法，在历史调度数据中获取当前作业的相似作业，并使用其历史信息预测当前作业执行时间。使用调度历史中的用户名、分组名、队列名、应用名、用户请求处理器数、用户请求（预估）执行时间和用户请求内存量等属性进行训练和预测，算法中涉及的参数使用遗传算法确定。数值实验表明，相较于已有文献，本方法在使用更少参数的前提下得到了与文献结果中相近的低估率，并获得了更低的平均绝对误差。在HPC2N04和HPC2N05日志数据集上，平均绝对误差分别降低了43%和77%。研究了使用在线预测替换用户估计对作业调度的影响，对结果进行了初步分析并指出了今后的改进方向。

关键词：执行时间预测,作业调度,遗传算法,K近邻,

基金资助：国家重点研发计划资助项目(2016YFB0201504)；；