异构环境下基于双重预取的Hadoop调度算法

来源：计算机测量与控制杂志2016年第9期北京时间：

作者：孙玉强,陆勇,王文闻,李媛媛,顾玉宛

摘要：Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法；该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据；由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性；实验证明,本算法在作业响应时间等方面优于现有的调度算法。

关键词：Hadoop;异构环境;调度算法;双重预取

基金资助：国家自然科学基金项目(11271057)；江苏省普通高校研究生科研创新计划项目(SCZ1412800004)。