改进的Spark Shuffle内存分配算法
来源：计算机应用杂志2017年第12期北京时间：
作者：侯伟凡, 樊玮, 张宇翔
单位：中国民航大学 计算机科学与技术学院, 天津 300300
摘要：Shuffle性能是影响大数据集群性能的重要指标，Spark自身的Shuffle内存分配算法试图为内存池中的每一个Task平均分配内存，但是在实验中发现，由于各Task对于内存需求的不均衡导致了内存的浪费和运行效率较低的问题。针对上述问题，提出一种改进的Spark Shuffle内存分配算法。该算法根据Task的内存申请量和历史运行数据将Task按内存需求分为大小两类，对小内存需求型Task作"分割化"处理，对大内存需求型Task基于Task溢出次数和溢出后等待时间分配内存。该算法充分利用内存池的空闲内存，可以在数据倾斜导致的Task内存需求不均衡的情况下进行Task内存分配的自适应调节。实验结果表明，改进后算法较原算法降低了Task的溢出率，减少了Task的周转时间，提高了集群的运行性能。
关键词：Apache Spark,Shuffle,自适应,内存分配,运行性能
基金资助：国家自然科学基金资助项目（U1533104）。
