基于异构Hadoop集群的负载均衡策略研究

来源：计算机技术与发展杂志2017年第06期北京时间：

作者：秦军;冯亮亮;孙蒙

摘要：异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负载倾斜会越来越明显.显然,负载均衡也成为影响Hadoop集群性能的重要因素之一.针对异构Hadoop环境中MapReduce任务调度,提出了一种新的负载均衡算法.该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率.由于Hadoop集群中各节点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务执行时间.仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间.

关键词：Hadoop集群;MapReduce;节点性能;任务调度;负载均衡