Spark Streaming框架下的气象自动站数据实时处理系统
来源：计算机应用杂志2018年第1期北京时间：
作者：赵文芳, 刘旭林
单位：1. 北京市气象信息中心, 北京 100089;2. 北京市气象探测中心, 北京 100176
摘要：针对现有气象自动站业务平台面临处理数据不及时、交互式响应慢、统计时效差等问题，提出了使用Spark Streaming技术和HBase解决该问题的方法，将实时计算框架和分布式数据库系统结合起来实现大规模流式数据处理。使用Flume收集自动站数据，Spark Streaming对数据进行流式处理并存储到HBase数据库中，并设计Spark框架下的自动站数据流式入库处理算法和要素极值的实时统计算法，在Cloudera平台下实现了一个高速可靠的实时采集、处理、统计的应用系统。通过对比分析和性能监测，验证了该系统具有低延迟和高吞吐量的优势，运行状况良好，负载均衡。实验结果表明，Spark Streaming用于气象自动站的实时业务处理，数据并行写入HBase、基于HBase的查询和各类要素统计均能达到毫秒级响应，完全能满足自动站数据的应用需求，有效地支撑天气预报业务。
关键词：气象自动站,Spark Streaming,流计算,气象数据处理,Flume
基金资助：中国气象局公益性行业科研专项基金资助项目（201206031）。
