云平台下图数据处理技术

来源：计算机应用杂志2015年第1期北京时间：

作者：刘超, 唐郑望, 姚宏, 胡成玉, 梁庆中

单位：中国地质大学(武汉) 计算机学院, 武汉430074

摘要：针对Hadoop云平台下MapReduce计算模型在处理图数据时效率低下的问题,提出了一种类似谷歌Pregel的图数据处理计算框架——MyBSP.首先,分析了MapReduce的运行机制及不足之处;其次,阐述了MyBSP框架的结构、工作流程及主要接口;最后,在分析PageRank图处理算法原理的基础上,设计并实现了基于MyBSP框架的PageRank算法.实验结果表明,基于MyBSP框架的图数据处理算法与基于MapReduce的算法相比,迭代处理的性能提升了1.9~3倍.MyBSP算法的执行时间减少了67%,能够满足图数据高效处理的应用前景.

关键词：图数据处理,云计算,MapReduce计算模型,批量同步并行模型,PageRank算法

基金资助：国家自然科学基金资助项目(61272470, 61305087);中央高校基本业务费专项资金资助项目(CUGL130233).