上下文语义嵌入的变粒度云存储相似数据去重技术

来源：计算机技术与发展杂志2024年第04期北京时间：

作者：阳智欢;田纹龙;'*;何婷婷;叶旭明;唐佳

单位：1. 南华大学 计算机学院,湖南 衡阳 421001;2. 新加坡南洋理工大学 数理科学学院,新加坡 637371;3. 衡阳师范学院 教育科学学院,湖南 衡阳 421010

摘要：针对云存储环境下现有相似数据去重技术效果不佳以及元数据开销大等问题,提出了上下文语义嵌入的变粒度云存储相似数据去重技术。 该技术采用基于子块重组的特征提取算法,对数据块内容内部结构进行初步特征提取,并利用 BP( Back Propagation) 神经网络上下文感知模型将数据块上下文特征信息嵌入到初始特征中,实现了具有上下文语义嵌入的变粒度数据块。 通过控制数据块大小,动态地合并相邻相似数据块或非冗余数据块,减少元数据开销,并对位于相似数据块和非冗余数据块之间过渡区域进行分割,从而获得更好的相似数据块表示形式。 最后,为了评估其性能,实现了一个变粒度相似数据检测算法原型 rCARD 并在真实世界的数据集进行了实验,实验结果表明,与最新相似性检测去重技术 Finesse 相比,　rCARD 在实现更高重复数据删除率的同时,显著降低了元数据的大小,并且加速相似性检测速度高达11.07 倍。

关键词：相似数据去重;数据块语义;变粒度;云存储;元数据