面向负载均衡的动态均衡分区策略
来源：计算机应用与软件杂志2024年第8期北京时间：
作者：杨迪, 赵家伟, 王鹏, 赵建平
摘要：针对MapReduce计算框架处理倾斜数据集时造成Reduce端出现负载不均衡现象，提出一种动态均衡分区策略。在mapper阶段提出基于分治法的数据切分原则处理任务传入的数据组；结合最佳适应算法思想设计动态分配原则逐步将切分后的数据块均衡分配到预分区链表中；根据分区索引分配到各Reduce节点上实现负载均衡。实验结果显示，动态均衡分区策略与两个基准模型相比任务执行时长平均降低了7.7%，表明动态均衡分区策略更好地解决了数据倾斜问题，降低了任务执行时间，验证了模型的有效性。
关键词：MapReduce, 负载均衡, 数据倾斜, 数据分区
