MapReduce大数据处理平台与算法研究进展

来源：软件学报杂志2017年第3期北京时间：

作者：宋杰,孙宗哲,毛克明,鲍玉斌,于戈

单位：宋杰，东北大学 软件学院, 辽宁 沈阳 11081911,孙宗哲，东北大学 软件学院, 辽宁 沈阳 11081902,毛克明，东北大学 软件学院, 辽宁 沈阳 11081903,鲍玉斌，东北大学 计算机科学与工程学院, 辽宁 沈阳 11081904,于戈，东北大学 计算机科学与工程学院, 辽宁 沈阳 11081905

摘要：综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台，分析对比它们的实现原理和适用场景，抽象其共性；随后介绍基于MapReduce的大数据分析算法，包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法，将这些算法按照MapReduce实现方式分类，分析影响算法性能的因素；最后，将大数据处理算法抽象为外存算法，并对外存算法的特征加以梳理，提出了普适的外存算法性能优化方法的研究思路和问题，以供研究人员参考.具体包括优化外存算法的磁盘I/O、优化外存算法的局部性以及设计增量式迭代算法.现有的大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域，所提出的外存算法性能优化属于静态优化方法，是现有研究的良好补充，为研究人员提供了广阔的研究空间.

关键词：大数据;MapReduce;外存算法;大数据处理;算法性能优化

基金资助：国家自然科学基金（61672143，61433008，61402090，61502090）