云计算环境下气象大数据的应用研究

来源：计算机技术与发展杂志2019年第05期北京时间：

作者：刘骥超;';叶钒;';谢寒生;'

摘要：随着气象现代化的逐步推进及气象观测技术的快速发展,随之而来的是气象数据量的指数级增长,气象预报技术也是日新月异尤其是数值预报技术等,同时公众对预报准确率及精确预报的要求也越来越高。 为了提高气象预报的准确率以及气象服务水平,必须对这些海量的气象数据进行更多的挖掘利用,但利用传统技术处理这些海量数据的效率已无法满足现行业务需求,互联网技术的发展也为这些海量数据的处理提供了新的技术。 文中主要利用云计算技术 Hadoop对气象数据进行处理,将气象数据清洗处理后存储于分布式文件系统 HDFS,在此基础上采用 MapReduce 编程架构对气象数据进行复杂检索。 进行了参数调优并得到了一个初步的结果,为后续优化工作提供了更多思路以及结果对比。

关键词：云计算;Hadoop;MapReduce;气象数据