基于HBase的交通流数据实时存储系统

来源：计算机应用杂志2015年第1期北京时间：

作者：陆婷, 房俊, 乔彦克

单位：北方工业大学 云计算研究中心, 北京100041

摘要：交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.

关键词：流数据,多源缓冲区,数据切分,一致性哈希算法,实时存储,HBase

基金资助：北京市自然科学基金重点项目(4131001);北京市属高等学校创新团队建设与教师职业发展规划项目(IDHT20130502);北大方正集团有限公司数字出版技术国家重点实验室开放课题;北方工业大学科研启动基金资助项目.