基于列存储的大数据分析系统物化策略研究

来源：计算机研究与发展杂志2015年第5期北京时间：

作者：张滨,乐嘉锦,孙莉,夏小玲,王梅,李晔锋,

摘要：大数据具有规模大、深度大、宽度大、处理时间短、硬件系统普通化和软件系统开源化特点.针对当前传统数据库在对大数据进行分析时系统性能严重下降、计算效率提升有限的问题，提出一种基于列存储的大数据分析系统物化策略(materializationstrategiesinMapReducebasedoncolumn-store,MSMC).首先，通过引入MapReduce物化代价估计模型，深入分析影响物化效率的各个因素.在此基础上设计了MapReduce分布式环境下的列存储文件格式(MapReducecolumn-storefile,MCF)，并在数据加载过程中采用协同定位策略实现对物化数据的存储优化.其次，分别针对不同的物化时机，构建了MapReduce早期物化策略(MapReduceearlymaterializationstrategy,MEMS)、MapReduce延迟物化策略（MapReducelatematerializationstrategy,MLMS)和MapReduce混合物化策略(MapReduceearly-latematerializationstrategy,MELMS).利用自适应物化调整策略对其做了进一步优化.实验结果在证明算法有效的同时，也显示出算法在存储空间和负载能力上都有很好的表现.

关键词：大数据, 列存储, 物化策略, MapReduce, 分析系统,