数值预报产品分布式处理与存储系统设计

来源：计算机技术与发展杂志2018年第02期北京时间：

作者：王建荣;华连生;唐怀瓯;王云;王静

摘要：气象数值预报产品数据日益增长，传统的关系型数据库对其存储和管理能力不足，查询规模较大的历史数据时效率较低。针对上述问题，设计了分布式的数值预报产品处理与存储系统。通过 Quartz 任务调度定时采集数值预报产品文件;运用 Kafka 分布式消息队列解耦数值预报产品解码与入库程序;将解码日志文件、原始产品文件和解码得到的要素 GＲIB 文件写入 HDFS 分布式文件系统，应用 MapＲeduce 分布式程序将解码日志记录存入 HBase。因 HBase 对 Ｒowkey 的一级索引支持较好，而对多条件查询支持不足，需辅助 Solr 索引加以优化。HBase 接收数据时自动触发协处理器同步记录到 Solr 索引库，实现了 HBase 的二级索引。测试结果表明，产品文件写入 Hadoop 文件系统平均速度为 82．54 MB/s，而 HBase 最快入库速度可达每秒 13 677 条，数据检索结果返回时效达到毫秒级，能够满足业务应用中对数值预报产品存储和检索时效的要求。

关键词：Quartz;解码日志文件;Kafka;HBase;Solr;协处理器