基于对象的OpenXML复合文件去重方法研究

来源：计算机研究与发展杂志2015年第7期北京时间：

作者：阎芳,李元章,张全新,谭毓安,

摘要：现有的重复数据删除技术大部分是基于变长分块(contentdefinedchunking,CDC)算法的，不考虑不同文件类型的内容特征.这种方法以一种随机的方式确定分块边界并应用于所有文件类型，已经证明其非常适合于文本和简单内容，而不适合非结构化数据构成的复合文件.分析了OpenXML标准的复合文件属性，给出了对象提取的基本方法，并提出基于对象分布和对象结构的去重粒度确定算法.目的是对于非结构化数据构成的复合文件，有效地检测不同文件中和同一文件不同位置的相同对象，在文件物理布局改变时也能够有效去重.通过对典型的非结构化数据集合的模拟实验表明，在综合情况下，对象重复数据删除比CDC方法提高了10%左右的非结构化数据的去重率.

关键词：变长分块, 对象, 非结构化数据, OpenXML标准, 复合文件, 重复数据删除,