基于HBase的气象结构化数据查询优化

来源：计算机工程与应用杂志2017年第9期北京时间：

作者：徐熙超1，2，杨 铮1，马廷淮1，2

单位：1.南京信息工程大学 计算机与软件学院，南京 210044 ；2.南京信息工程大学 江苏省网络监控中心，南京 210044

摘要：海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上，提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先，根据HBase存储特性设计表结构；然后，利用协处理器建立和维护辅助索引，将字段查询转化为对索引表的行键查询，使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明，HBase4M的性能可以基本满足气象服务的业务需要。

关键词：气象数据,HBase,辅助索引,分布式存储