MapReduce 性能预测模型构建

来源：计算机技术与发展杂志2016年第01期北京时间：

作者：李振举;李学军;刘涛;杨晟

摘要：MapReduce 是目前大数据处理中应用最广泛的云计算模型，预测其性能有利于提高云计算的效率。然而 MapRe-duce 运行需要依赖大量的配置参数，这些参数会对 MapReduce 性能产生较大的影响。传统的 MapReduce 模型的配置参数的预测方法都是基于管理员经验的定性分析，无法准确预测 MapReduce 模型运行时间。为更好地对 MapReduce 性能进行预测，利用数学分析中的多元线性回归方法，在分析现有的影响 MapReduce 性能的配置参数的基础上，构建了 MapReduce性能和其配置参数之间的多元线性回归模型。为了验证该方法的正确性，以两个最重要的配置参数 Map 和 Reduce 数量为例进行了算例验证。实验结果表明，多元线性回归模型可以用来预测 MapReduce 性能。

关键词：MapReduce;云计算模型;性能预测;多元线性回归模型