一种优化MapReduce系统能耗的数据布局算法

来源：软件学报杂志2015年第8期北京时间：

作者：宋杰,王智,李甜甜,于戈

单位：宋杰，东北大学 软件学院, 辽宁 沈阳 11081911,王智，东北大学 软件学院, 辽宁 沈阳 11081902,李甜甜，东北大学 信息科学与工程学院, 辽宁 沈阳 11081903,于戈，东北大学 信息科学与工程学院, 辽宁 沈阳 11081904

摘要：在云计算技术和大数据技术的推动下,IT资源的规模不断扩大,其能耗问题日益显著.研究表明:节点资源利用率不高、资源空闲导致的能源浪费,是目前大规模分布式系统的主要问题之一.研究了MapReduce系统的能耗优化.传统的基于软件技术的能耗优化方法多采用负载集中和节点开关算法,但由于MapReduce任务的特点,集群节点不仅要完成运算,还需要存储数据,因此,传统方法难以应用到MapReduce集群.提出了良好的数据布局可以优化集群能耗.基于此,首先定义了数据布局的能耗优化目标,并提出相应的数据布局算法;接着,从理论上证明该算法能够实现数据布局的能耗优化目标;最后,在异构集群中部署3种数据布局不同的MapReduce系统,通过对比三者在执行CPU密集型、I/O密集型和交互型这3种典型运算时的集群能耗,验证了所提出的数据布局算法的能耗优化效果.理论和实验结果均表明,所提出的布局算法能够有效地降低MapReduce集群的能耗.上述工作都将促进高能耗计算和大数据分析的应用.

关键词：能耗优化;MapReduce;数据布局;大数据

基金资助：国家自然科学基金(61202088, 61433008); 中国博士后科学基金(2013M540232); 教育部高等学校博士学科点专项科研基金(2012004211 0028); 中央高校基本科研业务费种子基金(N130417001)