基于MapReduce模型的排序算法优化研究

来源：计算机科学与探索杂志2015年第4期北京时间：

作者：蒋勇，赵作鹏

单位：1. 江苏联合职业技术学院 信息技术系，江苏 徐州 2210082. 中国矿业大学 计算机科学与技术学院，江苏 徐州 221008

摘要：MapReduce已经发展成为大数据领域标准的并行计算模型。为了使MapReduce系统下参与计算的所有节点高度负载均衡，并且最小化空间使用率、CPU、I/O的使用时长和网络传输开销等指标，在保持算法良好并行性的基础上，提出了一种MapReduce优化算法的设计规范，对多个指标同时进行优化。针对数据处理领域最重要的排序算法进行理论分析，给出了多指标约束下的最优算法，并证明了该优化算法满足MapReduce优化算法规范。最后通过实验验证了该优化的排序算法在有效性和效率方面严格优于传统的排序算法。

关键词：MapReduce,优化算法,大数据,排序算法