基于Hadoop的广域网分布式主题爬虫系统框架

来源：计算机工程与科学杂志2015年第4期北京时间：

作者：王淑芬1,高军礼1,邹普1，宋海涛2

单位：（1.广东工业大学自动化学院，广东 广州 510006；2.华南理工大学工商管理学院，广东 广州 510641）

摘要：广域网分布式爬虫与局域网爬虫相比有诸多的优势，而现有基于Hadoop分布式爬虫的设计主要是面向局域网环境的。为解决Hadoop分布式计算平台不适合部署于广域网的问题，设计了一个基于Hadoop的广域网分布式爬虫系统框架。爬虫系统利用消息中间件实现分布式可靠通信，数据存储采用可伸缩的Hadoop分布式文件系统HDFS，网页解析利用MapReduce并行处理，并基于模板匹配实现框架可定制。系统的性能仿真显示该框架具有支撑大规模爬虫并发工作的能力。

关键词：分布式爬虫,Hadoop,爬虫框架,模板匹配,主题爬虫,

基金资助：国家自然科学基金重大项目（710990403）；中央高校基金项目（2014ZM0038）；广东省省部产学研结合项目重点引导项目（2011B090400522）