基于应用程序的MapReduce性能优化

来源：计算机技术与发展杂志2015年第07期北京时间：

作者：高莉莎;刘正涛;应毅

摘要：针对MapReduce框架执行效率不佳的问题，对MapReduce性能优化的多个方案进行了研究。首先阐述了云计算的定义、特征以及专用批处理PaaS平台Hadoop的组成，之后简单介绍了MapReduce框架和MapReduce框架下的应用程序开发，接着着重讨论了MapReduce性能优化的三个主流方向：系统实现优化、参数调优、应用程序优化。并从应用程序着手，提出多个解决方法，进行了in-Map Reduce优化算法、脚本语言/编译语言对比、小文件预处理优化等多个实验，最后对优化技术和实验数据进行了分析。实验结果表明，优化应用程序是提高MapReduce性能的有效手段。

关键词：MapReduce ;应用程序;性能优化;in-Map Reduce ;小文件优化