基于Scrapy框架的爬虫和反爬虫研究

来源：计算机技术与发展杂志2019年第02期北京时间：

作者：韩贝;马明栋;王得玉

摘要：伴随着互联网的快速发展，获取信息已经成为人们日常生活中必不可少的一部分。在众多信息来源中，通过浏览器进入网站获取信息是绝大多数人的选择，但如果按照这种方式正常地进行信息获取，获取信息速度较慢，量较小，由此便产生了网络爬虫。网络爬虫又称为网络蜘蛛或网络机器人，可以按照使用人定制的规则，短时间内在万维网上搜集大量特定信息。网络爬虫在爬取信息的同时，也带了一些问题，如大量信息被非正常获取，是一种损失，同时，大量爬虫对网站维护也是一个巨大的负担。如何在维护网民正常访问的前提下，有效阻止这些爬虫就显得十分重要。因此，文中主要研究 Python 语言开发的开源爬虫框架 Scrapy 所开发的爬虫，对目前网站常用的一些反爬虫手段进行分析，基于 Scrapy 框架以及具体网站，举例说明爬虫如何应对网站这些反爬措施

关键词：网站;网络爬虫;反爬虫;Python;Scrapy 框架