压缩对Hadoop性能影响研究

来源：计算机工程与科学杂志2015年第2期北京时间：

作者：向丽辉，缪力,张大方

单位：（湖南大学信息科学与工程学院，湖南 长沙 410086）

摘要：当今，磁盘I/O的发展速度永远赶不上遵照摩尔定律的CPU的发展速度，并且网络I/O资源稀缺，所以I/O常常成为数据处理的瓶颈。Hadoop能存储PB级数据，因此I/O问题愈加显著。压缩是I/O调优的一个重要方法，它能减少I/O的负载，加快磁盘和网络上的数据传输。首先通过分析Hadoop中各压缩算法的特点，得出一个压缩使用策略来帮助Hadoop的使用者确定如何使用压缩，并用实验得以验证补充。基于该策略，一些Hadoop应用在合理使用压缩后，效率能提高65%。

关键词：Hadoop,MapReduce,I/O,压缩,

基金资助：国家973计划资助项目（2012CB315805）；国家自然科学基金资助项目（61173167）