Kafka 中改进型 Partition 过载优化算法

来源：计算机技术与发展杂志2020年第12期北京时间：

作者：颜晓莲;章刚;邱晓红

摘要：Kafka 作为一种发布-订阅机制的高吞吐量分布式消息系统,广受业界关注。 随着应用场景垂直化、多样化,Kafka 现有的技术体系面临挑战。Partition 过载问题(POP)指消息分发、消息订阅等操作引起 Partition 过度服务,并影响到物理载体 Broker 的性能。 该问题是由 Kafka 中 Partition 文件配置管理的被动、僵化及孤立等不足所导致。 针对此,提出一种改进型 Partition 过载优化算法(IPOOA)。 该算法通过即时服务耗量、Partition 相似度和配置文件自动修改相结合,实现消息分发预测以及消息分发与文件配置管理协同,从而可有效缓解 Partition 过载问题出现。实验从 Kafka 集群 CPU 使用率、Kafka 服务延时率、Kafka 系统收敛延时比等几个方面验证了算法的有效性及合理性。

关键词：分布式消息系统;Kafka;Partition 过载问题;协同管理;Broker 性能