改进的Hadoop作业调度算法

来源：计算机工程与应用杂志2017年第12期北京时间：

作者：冯兴杰，贺 阳

单位：中国民航大学　计算机科学与技术学院，天津 300300

摘要：分布式集群普遍存在负载均衡问题，而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制，但是效果不太理想，因此运行过程中经常会出现负载不均衡的情况。针对如上问题，深入分析了Hadoop源代码，理清了Hadoop的运行原理，在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序，建立了新的任务排序规则，提出了对各节点性能评价的指标，分为动态性能指标和静态性能指标。在此基础上对Yarn的FairScheduler算法进行了改进，形成了考虑节点性能的调度算法。重新对Hadoop源码进行了编译，在所搭建的Hadoop平台上进行了对比实验，证明了加入节点性能指标有效解决了Hadoop负载均衡问题，对Hadoop的运行效率有了很大提高。

关键词：大数据,Hadoop,Yarn,负载均衡,FairScheduler算法