面向情报获取的主题采集工具设计与实现
来源：图书情报工作杂志2014年第20期北京时间：
作者：谷俊,翁佳,许鑫
单位：1. 上海宝山钢铁股份有限公司;<br />\r\n2. 上海理工大学图书馆;<br />\r\n3. 华东师范大学商学院信息学系
摘要：面向互联网的主题采集是情报获取的重要手段,面对爆发式增长的互联网信息资源,设计并实现一套由采集准备、URL分析及提取、模板学习、正文抽取等几阶段组成的主题采集工具,其中URL分析与提取采用基于链接类型的URL筛选方法,实现正文网页URL的筛选;模板学习和正文抽取部分采用基于DOM树的节点比对方法,完成模板的构建与正文抽取。实验结果表明,本文所提出的主题采集工具采集准确率较高,能够适应目前情报信息采集的需求。
关键词：网络爬虫,主题采集,链接筛选,DOM树,
基金资助：<p>本文系上海市科技发展基金软科学研究项目“大数据环境下基于领域本体的情报处理分析方法研究——以钢铁行业为例”(项目编号:14692107100)研究成果之一。</p>
