基于多阶段划分的MapReduce模型
来源：计算机应用杂志2015年第12期北京时间：
作者：李振举, 李学军, 杨晟, 刘涛
单位：解放军装备学院信息装备系, 北京 101416
摘要：针对已有的MapReduce模型阶段划分粒度不合理导致模型精度和复杂度存在的问题,提出了阶段划分粒度为5的多阶段MapReduce模型(MR-Model)。首先综述了MapReduce模型的研究现状;然后将MapReduce划分为Read、Map、Shuffle、Reduce、Write共5个阶段,并对每个阶段的具体运行时间进行研究;最后通过实验对模型的预测性能进行验证。实验结果表明,提出的MR-Model可用来描述MapReduce实际任务的执行过程,与另外两种不同划分粒度的模型P-Model和H-Model相比,MR-Model模型的运行时间预测精度可以提高10%~30%,在Reduce阶段的运行时间预测精度可以提高2~3倍,综合性能较好。
关键词：云计算,MapReduce,性能模型,多阶段划分,划分粒度
基金资助：总装备部预研项目(513150701)。
