基于集群规模调整的节能存储策略

来源：计算机工程与应用杂志2017年第24期北京时间：

作者：妙晓龙1，陈 浩1，钟 将2

单位：1.重庆大学 计算机学院，重庆 400044；2.信息物理社会可信服务计算教育部重点实验室，重庆 400044

摘要：根据谷歌数据中心研究报告，传统数据中心存在高能耗、低利用率的问题。通过研究集群数据块访问规律，提出一种基于集群规模调整的Hadoop分布式文件系统（HDFS）节能存储策略，实现HDFS高效节能存储。策略主要在集群区域划分、数据块迁移策略优化、缓存机制等方面作出了改进。实验结果表明：使用该节能策略的HDFS比传统HDFS节能35%~40%，其中0.3%的访问需要唤醒服务器，同时引入缓存策略对集群的性能提高了5.1%。

关键词：Hadoop,Hadoop分布式文件系统,节能,规模调整,缓存