支持SDN的Hadoop中的时间最小化任务调度

来源：计算机科学与探索杂志2018年第11期北京时间：

作者：孙怀英，虞慧群，范贵生，陈丽琼

单位：1. 华东理工大学 计算机科学与工程系，上海 2002372. 上海市计算机软件评测重点实验室，上海 2011123. 上海应用技术大学 计算机科学与信息工程系，上海 200235

摘要：软件定义网络（software defined network，SDN）是一种能将基础设备的网络控制功能分离并集中地部署到控制器中的网络架构。实际的Hadoop系统中，存在一个最小化作业完成时间的NP完全问题。在Hadoop中引入SDN，利用SDN的网络控制能力，将网络中的可用剩余带宽作为任务调度的重要参数，并提出任务调度算法RBA（residual bandwidth based algorithm）。使用RBA可获得任务的近似最优分配方案，从而实现作业完成时间的最小化。通过仿真实验验证RBA在作业完成时间、任务数据本地性及计算时间方面的性能。实验结果表明，总体上RBA较HDS、BAR、BASS算法是更优的。

关键词：软件定义网络（SDN）,Hadoop,带宽,任务调度