Hadoop下资源匹配最大集作业调度算法

来源：计算机应用杂志2015年第12期北京时间：

作者：朱洁, 李雯睿, 赵红, 李滢

单位：1. 南京晓庄学院信息工程学院, 南京 211171;2. 可信云计算与大数据分析重点实验室, 南京 211171

摘要：针对目前层级队列作业调度算法中资源占比高的作业执行效率低的问题,提出一种资源匹配最大集算法。该算法分析作业特征,引入完成度、等待时间、优先级、重调度次数为紧迫值因子,优先考虑资源占比高或等待时间长的作业,以改善作业公平性;采用双队列结构在可用资源总量内优先选择高紧迫值作业,在不同资源占比作业集比较中选择作业数最大集,以实现调度平衡。在与最大最小公平(Max-min fairness)算法的实例对比中发现,该算法可降低作业集平均等待时间、提高资源利用率。实验对比结果表明,该算法可将不同资源占比的单一类型作业集执行时间缩短18.73%,其中资源占比高的作业执行时间缩短27.26%;在混合型作业集中对应的执行时间可分别缩短22.36%与30.28%。所提算法能有效减少资源占比高作业的等待,提高作业整体执行效率。

关键词：Hadoop,层级队列,作业调度,最大集,最大最小公平算法

基金资助：国家自然科学基金资助项目(61202136);江苏省科技项目(BY2013095-3-11);江苏省高校自然科学研究项目(13KJD520007);南京晓庄学院科研项目(2012NXY14,2013NXY99)。