网络状态感知的MapReduce作业洗牌数据传输调度研究

来源：计算机应用研究杂志2020年第8期北京时间：

作者：刘文隆,郭丹,樊玉琦,

单位：合肥工业大学计算机与信息学院,合肥230009；

摘要：MapReduce作业在洗牌阶段花费大量时间，因此有效的洗牌数据传输调度可以提高MapReduce的性能。数据中心网络中，常有一些周期性的数据流传输。在考虑已知这些周期性数据流传输的情况下，为MapReduce的洗牌数据传输调度问题建立了优化模型，并设计了一个有效的数据传输调度算法。在网络空闲时间段大小相同的情况下，证明了所提算法是近似比为3/2的近似算法。仿真实验结果表明，该算法能够有效地利用网络资源，减少洗牌数据流的调度长度。

关键词：MapReduce,网络感知,洗牌,调度,

基金资助：国家自然科学基金资助项目(61701162)；安徽省自然科学基金资助项目(1608085MF142)；电子信息系统复杂电磁环境效应国家重点实验室开放课题(CEMEE2018Z0102B)；；