一种基于P2P技术的分布式微博爬虫系统

来源：江苏大学学报·自然科学版杂志2016年第3期北京时间：

作者：卢杨,李华康,孙国梓

单位：1.南京邮电大学 计算机学院, 江苏 南京 210003; 2.南京邮电大学 计算机技术研究所, 江苏 南京 210003

摘要：微博正逐步成为公共信息传播的主要媒体,高效地获取微博数据则显得至关重要,分析微博数据有助于研究者及时了解舆情信息．由于传统网页爬虫无法获取完整的微博信息,微博API又有诸多限制,因此针对新浪微博,设计了一种基于P2P技术的微博爬虫系统．该系统避免了新浪API的功能和连接限制,使用基于模拟登录的网页爬虫,根据用户的地理位置信息划分任务,实现连续高效的数据采集．通过与其他架构的试验比较,证明本系统具有良好的性能,能为舆情分析提供数据支持．

关键词：网络爬虫, P2P, 分布式, 微博, 模拟登录

基金资助：<p>国家自然科学基金资助项目(61373006，61502247)</p>