MapReduce在气象数据传输时效统计中的应用

来源：南京信息工程大学学报·自然科学版杂志2018年第2期北京时间：

作者：赵文芳

单位：赵文芳,北京市气象信息中心, 北京, 100089,刘旭林,北京市气象探测中心, 北京, 100089,liuxl@cma.gov.cn桑雪竹,北京市气象信息中心, 北京, 100089,王鳞春,内蒙古气象信息中心, 呼和浩特, 010051

摘要：气象数据的传输时效保障已成为探测和信息部门的重要工作之一，快速统计各类数据到报率和及时率成为一项迫切需求.基于MapReduce编程模型设计了各类数据到报率和及时率的算法，在Hadoop平台上利用该算法实现了各类数据的逐日到报率和及时率的统计，选择文本方式和Sequence File方式作为MapReduce计算模型的输入数据源进行对比试验.试验结果表明，Sequence File作为数据源能更好地提升MapReduce并行运算的性能.

关键词：MapReduce;数据传输;时效;到报率;及时率

基金资助：公益性行业（气象）科研专项（GYHY201206031）