Storm流式计算框架反压机制研究

来源：计算机工程与应用杂志2018年第1期北京时间：

作者：熊安萍1，2，朱恒伟1，罗宇豪1

单位：1.重庆邮电大学 计算机科学与技术学院，重庆 400065 ；2.重庆市移动互联网数据应用工程技术研究中心，重庆 400065

摘要：Storm集群提供了强大的实时处理能力，Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题，提出了一种能够灵活调节Topology中各环节数据负载的反压机制，该机制采用可变队列，并根据当前Tuple负载动态调整队列大小，以适应数据负载的动态变化，并提升系统吞吐量。实验结果表明，该反压机制能够避免反压过程中出现数据流的震荡，同时提高系统性能和稳定性。

关键词：Storm集群,反压机制,可变队列,数据负载,吞吐量