基于网页链接分类的PageRank并行算法

来源：计算机应用杂志2015年第1期北京时间：

作者：陈诚, 战荫伟, 李鹰

单位：1. 广东工业大学 计算机学院, 广州511400;2. 广东省数字广东研究院, 广州510000

摘要：针对串行PageRank算法在处理海量网页数据时效率低下的问题,提出一种基于网页链接分类的PageRank并行算法.首先,将网页按照网页所属网站分类,为来自不同站点的网页设置不同的权重;其次,利用Hadoop并行计算框架,结合MapReduce分而治之的特点,并行计算网页排名;最后,采用一种包含3层:数据层、预处理层、计算层的数据压缩方法,对并行算法进行优化.实验结果表明,与串行PageRank算法相比,所提算法在最好情况下结果准确率提高了12%,计算效率提高了33%.

关键词：链接分类,Hadoop,PageRank,MapReduce,数据压缩