基于Spark框架的乘潮水位计算与可视化平台

来源：计算机工程与科学杂志2015年第12期北京时间：

作者：秦勃1，朱勇1，秦雪2

单位：1.中国海洋大学信息科学与工程学院,山东 青岛 266100;2.国家海洋信息中心,天津 300171

摘要：乘潮水位计算是海洋环境信息处理的重要组成部分，具有计算量大、计算复杂度高、计算时间长等特性。采用传统集群计算模式实现乘潮水位计算业务，存在计算成本高、计算伸缩性和交互性差的问题。针对以上问题，提出一种基于Spark框架的乘潮水位计算和可视化平台。结合对Spark任务调度算法的研究，设计和实现了一种基于节点计算能力的任务调度算法，实现了长时间序列的多任务乘潮水位数据的检索、获取、数值计算、特征可视化的并行处理，达到了海量海洋环境数据计算和可视化处理的目的。实验结果表明，提出的基于Spark的乘潮水位计算和可视化平台可以有效地提高海量乘潮水位数据的分布式并行处理的效率，为更加快速和高效的乘潮水位计算提供了一种新的方法。

关键词：Spark,乘潮水位,任务调度算法,并行处理,海洋环境信息,

基金资助：海洋公益性行业科研专项经费资助项目(201105033)