主题网络爬虫研究综述

来源：计算机工程与科学杂志2015年第2期北京时间：

作者：于娟，刘强

单位：（福州大学经济与管理学院，福建 福州 350108）

摘要：网络信息资源呈指数级增长，面对用户越来越个性化的需求，主题网络爬虫应运而生。主题网络爬虫是一种下载特定主题网页的程序。利用在采集页面过程获得的特定信息，主题网络爬虫抓取的页面都是与主题相关的。基于主题网络爬虫的搜索引擎以及基于主题网络爬虫构建领域语料库等应用已经得到广泛运用。首先介绍了主题爬虫的定义、工作原理；然后介绍了近年来国内外关于主题爬虫的研究状况，并比较了各种爬行策略及相关算法的优缺点；最后提出了主题网络爬虫未来的研究方向。关键词：

关键词：网络爬虫,主题爬虫,搜索引擎,

基金资助：国家自然科学基金资助项目（71201032）；福建省社会科学规划资助项目（2012C021）；福建省教育厅社会科学研究资助项目（JA11040S）