基于HBase的列存储压缩策略的选择优化

来源：计算机应用研究杂志2019年第5期北京时间：

作者：孙靖超,芦天亮,

单位：中国人民公安大学信息技术与网络安全学院,北京100076；

摘要：为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大、分类粒度小、配套分类算法缺陷导致的学习成本高、压缩效率难以保证的问题，提出了一种基于排序的列区混合压缩策略。首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度，然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐，在TPC-DS标准数据集上与前人策略进行比较。实验结果显示，该方法在压缩率、压缩/解压时间方面均有优异的表现，从而证明了其有效性。

关键词：列存储,数据压缩,HBase,压缩策略选择方法,

基金资助：国家重点研发计划“网络空间安全”重点专项资助项目(2017YFB0802804)；国家自然科学基金资助项目(61602489)；赛尔网络下一代网络技术创新项目(NGII20160405)；；