“天镜”全流程指标计算功能优化

来源：计算机技术与发展杂志2023年第07期北京时间：

作者：徐达;曾乐;王英杰

摘要：气象综合业务实时监控系统-“天镜”为全国气象部门针对基础观测数据和产品在收集、分发、入库、同步各个环节提供数据全流程监视服务。 “ 天镜”系统中气象资料全流程的到报率和及时率指标作为对全国气象站上行资料的考核依据,是一线值班人员重点关注对象。 为保障“ 天镜”系统的可靠性和高效性,解决目前“ 天镜” 系统全流程指标计算慢的问题,基于 Spark 大数据计算引擎优化了全流程计算策略。 文中将原本复杂的计算任务按气象资料类型和是否考核进行拆解,并重构了 Spark 任务生成的模板。 结果表明,在相同的物理条件下,将单个庞大的计算任务拆解成多个子任务并行处理可以有效地提升 Spark 集群的计算效率,优化“ 天镜冶 系统中地面区域站气象资料的实时展示效果。

关键词：气象;“ 天镜” ;Spark 计算;全流程;大数据