基于节点集计算能力差异的Hadoop自适应任务调度算法

来源：计算机应用杂志2016年第4期北京时间：

作者：朱洁, 李雯睿, 王江平, 赵红

单位：1. 南京晓庄学院 信息工程学院, 南京 211171;2. 南京可信云计算与大数据分析重点实验室(南京晓庄学院), 南京 211171

摘要：针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法。该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度。在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率。与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21%、20.51%、23.86%,启用的备份任务数比LATE算法明显减少。所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率。

关键词：Hadoop,计算能力,自适应,任务调度,推测式执行

基金资助：国家自然科学基金资助项目(61202136);江苏省科技项目(BY2013095-3-11);江苏省高校自然科学研究项目(13KJD520007);南京晓庄学院科研项目(2012NXY14, 2013NXY99)。