基于YARN集群的计算加速部件扩展支持

来源：计算机研究与发展杂志2016年第6期北京时间：

作者：李钦,朱延超,刘轶,钱德沛,

摘要：以GPU和IntelMIC为代表的计算加速部件已在科学计算、图形图像处理等领域得到了广泛的应用，其在基于云平台的高性能计算及大数据处理等方向也具有广泛的应用前景.YARN是新一代Hadoop分布式计算框架，其对计算资源的分配调度主要针对CPU，缺少对计算加速部件的支持.在YARN中添加计算加速部件需要解决多个难点，分别是计算加速部件资源如何调度以及异构节点间如何共享问题、多个任务同时调用计算加速部件而引起的资源争用问题和集群中对计算加速部件的状态监控与管理问题.为了解决这些问题，提出了动态节点捆绑策略、流水线式的计算加速部件任务调度等，实现了YARN对计算加速部件的支持，并通过实验验证了其有效性.

关键词：分布式系统, YARN, 计算加速部件, 混合异构节点, 图形图像处理器, 节点捆绑, 任务调度,