结合有监督广度优先搜索策略的通用垂直爬虫方法

来源：计算机工程杂志2018年第11期北京时间：

作者：高峰,刘震,高辉

单位：电子科技大学 a.计算机科学与工程学院; b.大数据研究中心,成都 611731

摘要：垂直爬虫程序无法直接移植到其他网站并且程序设计需要大量人工干预。为此,提出一种高可移植性的通用型垂直爬虫设计方法。自动识别目标主题和目录页面URL,并利用URL聚类生成URL正则表达式过滤器,以解决垂直爬虫中需人工维护初始URL队列的问题。然后,利用正则表达式过滤器和解析路径模板以及有监督的广度优先与网页赋权搜索策略,实现相关页面的精确定位和数据的快速准确提取。实验结果表明,该方法能够对不同网站实现高效、快速、通用的数据爬取。

关键词：垂直爬虫,URL聚类,赋权网页,路径模板解析,有监督广度优先搜索策略

基金资助：国家自然科学基金(61300018)