基于学习的容器环境Spark性能监控与分析

来源：计算机应用杂志2017年第12期北京时间：

作者：皮艾迪, 喻剑, 周笑波

单位：1. 同济大学 计算机科学与技术系, 上海 201804;2. 嵌入式系统与服务计算教育部重点实验室(同济大学), 上海 201804

摘要：Spark计算框架被越来越多的企业用作大数据分析的框架，由于通常部署在分布式和云环境中因此增加了该系统的复杂性，对Spark框架的性能进行监控并查找导致性能下降的作业向来是非常困难的问题。针对此问题，提出并编写了一种针对分布式容器环境中Spark性能的实时监控与分析方法。首先，通过在Spark中植入代码和监控Docker容器中的API文件获取并整合了作业运行时资源消耗信息；然后，基于Spark作业历史信息，训练了高斯混合模型（GMM）；最后，使用训练后的模型对Spark作业的运行时资源消耗信息进行分类并找出导致性能下降的作业。实验结果表明，所提方法能检测出90.2%的异常作业，且其对Spark作业性能的影响仅有4.7%。该方法能减轻查错的工作量，帮助用户更快地发现Spark的异常作业。

关键词：Spark,容器,分布式监控系统,高斯混合模型,机器学习