面向海量非结构化数据的非关系型存储管理机制

来源：计算机应用杂志2016年第3期北京时间：

作者：刘超, 胡成玉, 姚宏, 梁庆中, 颜雪松

单位：1. 华中科技大学 服务计算技术与系统教育部重点实验室, 武汉 430074;2. 中国地质大学(武汉) 智能地学信息处理湖北省重点实验室, 武汉 430074

摘要：针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。

关键词：非结构化数据,海量数据存储,非关系型存储管理,一致性哈希,故障处理

基金资助：国家自然科学基金资助项目(61305087,61272470,61440060,61501412);湖北省自然科学基金重点项目(2015CFA065);中国博士后科学基金资助项目(2014M562086);中央高校基本科研业务费专项资金资助项目(CUGL130233)。