MapReduce集群环境下的数据放置策略

来源：软件学报杂志2015年第8期北京时间：

作者：荀亚玲,张继福,秦啸

单位：荀亚玲，太原科技大学 计算机科学与技术学院, 山西 太原 03002411,张继福，太原科技大学 计算机科学与技术学院, 山西 太原 03002402,秦啸，Department of Computer Science and Software Engineering, Auburn University, USA03

摘要：MapReduce是一种适用于大规模数据密集型应用的有效编程模型,具有编程简单、易于扩展、容错性好等特点,已在并行和分布式计算领域得到了广泛且成功的应用.由于MapReduce将计算扩展到大规模的机器集群上,处理数据的合理放置成为影响MapReduce集群系统性能(包括能耗、资源利用率、通信和I/O代价、响应时间、系统的可靠性和吞吐率等)的关键因素之一.首先,对MapReduce编程模型的典型实现——Hadoop缺省的数据放置策略进行分析,并进一步讨论了MapReduce框架下,设计数据放置策略时需考虑的关键问题和衡量数据放置策略的标准;其次,对目前MapReduce集群环境下的数据放置策略优化方法的研究与进展进行了综述和分析;最后,分析和归纳了MapReduce集群环境下数据放置策略的下一步研究工作.

关键词：数据放置;MapReduce;编程模型;能耗;负载均衡

基金资助：国家自然科学基金(61272263); NSF CAREER Award(CCF-0845257)