Hadoop集群中给定候选任务集的最大利润问题

来源：计算机技术与发展杂志2018年第12期北京时间：

作者：郑羽;胡积宝

摘要：随着计算机网络和传感器网络的迅速发展,数据呈指数级增长,特别是在因特网上.为了有效地处理大规模数据,需要具有良好的可伸缩性、灵活性和容错性的并行分布式集群.目前,许多企业基于自己的Hadoop集群提供云服务.因为单个Hadoop集群的资源是有限的,Hadoop集群必须将有限的资源分配给一些特殊的任务以获得最大的利益.文中研究给定候选任务集的最大利润问题.用有效的序列描述候选任务集,并提出了一种基于序列的调度策略.为了提高查找有效序列的效率,设计了一些修剪策略,并给出了相应的调度算法.最后,在某些任务运行超时的情况下,提出了超时处理算法.实验结果表明,该算法的总收益非常接近理想的最大值,在不同的实验环境下明显优于相关的调度算法.

关键词：MapReduce; 任务集; 调度算法; 利润; 大数据