基于决策树挖掘算法的气象大数据云平台设计

来源：计算机测量与控制杂志2022年第11期北京时间：

作者：杜建华,王立俊,刘骥超,王双双,谢寒生,赵冰

单位：海南省气象信息中心

摘要：大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。

关键词：气象数据，气象大数据云平台，决策树算法，Hadoop，MapReduce

基金资助：国家自然科学基金(41775011),海南省气象局科技创新项目(HNQXSJ202114)