基于两阶分区的MapReduce实验室系统负载均衡研究

来源：计算机测量与控制杂志2023年第4期北京时间：

作者：郑文丽,熊贝贝,程立勋,蔡伊娜,包先雨

单位：深圳市检验检疫科学研究院

摘要：在实验室系统处理海量原始数据时，实际应用场景中存在采样率高、偏度（skewness）高的特殊情况，导致在使用两阶分区算法在平衡同构环境下的Reducer节点负载时，无法有效地处理这些问题。为此，引入MapReduce的并行化处理，可以提高实验室系统中采样数据利用率；同时，为了解决数据偏度和采样度高的问题，则采用了ICSC（Improved Cluster Split Combination）分区调度的算法。经过实验证明，基于两阶分区的MapReduce负载均衡算法能够有效减少Mapper和Reducer节点空转的时间。随着数据偏度的增加，算法的执行时长基本不产生变化，即数据偏度对该算法执行时间的影响较小。此外，数据采样度的增加，ICSC分区调度算法也保持着对比模型中最少的时间开销。因此，基于两阶分区的MapReduce负载均衡算法弱化了Reducer节点间的依赖性，并提升MapReduce任务的执行效率和容错率，从而高效地实现MapReduce框架下的实验室系统中数据处理的负载均衡。

关键词：两阶分区;MapReduce;分区调度;负载均衡;实验室系统

基金资助：国家重点研发计划课题(2019YFC1605401)；海关总署课题(2020HK109)。