省级气象大数据存储模型设计

来源：湖北农业科学杂志2021年第10期北京时间：

作者：夏正龙1,2, 钟艳雯1, 郑秋生1, 朱亮1

单位：1. 湖南省气象信息中心,长沙 410118;2. 气象防灾减灾湖南省重点实验室,长沙 410118

摘要：从结构化、非结构化气象数据的存储、索引两方面,基于大数据相关技术设计一套省级气象大数据存储模型。结果表明,非结构化气象小文件利用Avro进行数据模式设计、依据存储规则合并打包为Avro格式文件存储在HDFS上,减少文件数,节省内存资源的消耗;规则的结构化气象数据利用HBase提出表、列字段、行键设计的宽表存储设计思路;利用ElasticSearch设计统一的省级气象大数据存储索引库,统一检索入口,提高检索效率。

关键词：气象大数据,存储,索引,Avro,HBase,ElasticSearch

基金资助：湖南省气象局2019年重点课题（XQKJ19A003）