海量气象数据实时解析与存储系统的设计与实现

来源：计算机工程与科学杂志2015年第11期北京时间：

作者：王若曈1，黄向东2，张博2，王建民2，罗兵1

单位：1.国家气象中心，北京 100081;2,清华大学软件学院，北京 100084

摘要：气象数据是一种典型的非结构化数据，在实际应用中其日增量达数十TB，基于关系数据库和传统文件系统的解析、存储与访问模式已成为制约天气预报系统信息化发展的瓶颈之一。为满足全国天气预报平台MICAPS用户对实时数据的及时、快速查询，介绍了能够7*24小时稳定工作、支撑数十TB/天的数据实时解析系统。根据气象数据的多维模型和用户行为，采用非关系型分布式KeyValue数据库，设计实现了高性能海量数据存储系统。实践证明，数据实时解析系统和基于分布式非关系型KeyValue数据库的存储系统能有效满足海量实时气象数据存储、查询和应用需求。该系统已成为中国天气预报业务流程中的核心系统，体现了优异的功能和性能。

关键词：多维数据,气象数据,分布式,解析,存储,MICAPS,