基于Hadoop平台的分布式重删存储系统
来源：计算机应用杂志2016年第2期北京时间：
作者：刘青, 付印金, 倪桂强, 梅建民
单位：解放军理工大学 指挥信息系统学院, 南京 210007
摘要：针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。
关键词：重复数据删除,分布式存储,Hadoop,HBase,Hadoop分布式文件系统
基金资助：国家863计划项目(2012AA01A509,2012AA01A510);国家自然科学基金资助项目(61402518)。
