气象数据分区处理算法与策略研究

来源：计算机技术与发展杂志2023年第08期北京时间：

作者：冯冼;';方昆;文立恒;朱宏武

单位：1. 湖南省气象信息中心,湖南 长沙 410118;2. 气象防灾减灾湖南省重点实验室,湖南 长沙 410118

摘要：为解决海量气象数据并发处理的技术难点,提出了气象数据综合权重算法以及 Kafka 并发处理性能最优策略。 选取湖南省 2020 年 6 月气象数据作为实验数据集,提取对数据处理系统性能影响最显著的关键特征值,基于熵权法计算关键特征值在流转和处理时消耗基础资源的综合权重,并将其作为气象数据分区处理的客观依据。 参照气象大数据云平台架构,设计以 Kafka 为核心的数据处理模型,通过实验分别得出气象数据在 Producer 和 Consumer 端最优 Partition、Thread 配置策略,从而提升并发处理能力。 实验结果表明:对实验数据集进行分区并配置最优策略后,在有限基础资源支撑条件下,消息写入速度从 0. 69 MB / s 提升至 37. 44 MB / s,消息读取速度从 15. 65 MB / s 提升至 67. 34 MB / s。 该算法和策略已应用在气象卫星遥感数据处理业务,有效解决了海量卫星遥感数据传输处理过程出现消息阻塞的现象,在各类数据处理系统设计中具有较强的参考价值。

关键词：气象数据;关键特征值;权重算法;并发处理;分区策略