基于Hadoop MapReduce的组合服务性能优化研究

来源：计算机技术与发展杂志2016年第05期北京时间：

作者：秦军;翟钊

摘要：对Hadoop中的任务调度进行了研究,在分析Hadoop作业调度算法的需求的基础上,文中提出了调度算法在线性意义上的解空间.针对Hadoop的编程模型框架,提出了一种结合禁忌搜索思想的改进人工鱼群算法.在该算法中,以任务总执行时间作为寻优函数,采用线性编码方式,每一个N维向量代表一种具体调度方案;利用将解向量直接作为人工鱼的方法,使人工鱼群算法可以直接在解空间内运行.结合禁忌搜索思想,既保留了人工鱼群算法计算基数大仍能快速收敛的优点,又充分利用禁忌搜索不会陷入局部最优解的优势.通过仿真实验将该算法和Fair算法进行比较,结果表明:改进的人工鱼群作业调度算法可以提高系统性能,降低任务运行时间,是一种Hadoop环境下有效的任务调度程序.

关键词：Hadoop;人工鱼群算法;作业调度算法;组合优化