基于 Elasticsearch 的气象数据检索技术研究

来源：计算机技术与发展杂志2019年第11期北京时间：

作者：张恩红;尹海燕;李高洁

摘要：气象行业的数据量非常大,系统需要每天处理约有 800 G 的增量数据,总容量超过 1 P 的历史数据文件。 为了能够及时、快速地存储这些数据,并且能解决气象数据服务的需求,构建一套科学、高效的数据服务系统迫在眉睫。 基于Elasticsearch 技术,采用元数据的管理方法,设计了一套数据管理系统。 按照业务类型和数据名称特点,把所有数据分成了13 个大类和 260 多个元数据类型,设计了相同的元数据模板,便于统一管理。 同时对 13 个大类分别构建了索引,定义了气象行业专业的检索词条,实现了快速定位和访问数根据文件的需求。 该设计方法实现了1 ~2 秒钟内可以从5 亿个文件库中搜索出某一大类的文件,在 2 ~3 秒钟可以更加精确地搜索出某一元数据类型的数据。 基于以上设计方案,基本满足了当前的数据服务需要。

关键词：Elasticsearch;海量数据;检索;元数据;数据服务