基于流式计算的遥感卫星数据快视处理方法

来源：计算机工程与应用杂志2019年第10期北京时间：

作者：宋 峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷 斌1，2，3，卢晓军4

单位：1.中国科学院大学，北京 100049；2.中国科学院 电子学研究所，北京 100190；3.中国科学院 空间信息与应用系统重点实验室，北京 100190；4.中国国际工程咨询公司，北京 100048

摘要：随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。

关键词：流式计算,数据流,Storm,快视处理,遥感数据处理