基于分布式集群架构的遥感数据传输机制
来源：计算机工程杂志2021年第10期北京时间：
作者：刘美佳, 张箐
单位：1. 中国科学院空天信息创新研究院, 北京 100094;2. 中国科学院大学 电子电气与通信工程学院, 北京 100049
摘要：对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据，而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM，采用Kafka消息队列快速存储数据包，利用代码模块使Spark Streaming精准提交消息偏移量，并通过数据传输速率与进度统计实时记录DPM运行状态信息。测试结果表明，DPM机制可精准记录与提交消息偏移量并实现数据续传功能，从而确保遥感卫星数据的准确稳定传输。
关键词：数据传输系统,遥感卫星数据,分布式系统架构,数据处理机制,Kafka消息队列
基金资助：国家民用空间基础设施“十二五”陆地观测卫星地面系统建设项目（HK-KJSEW-CS-XCD-01）。
