基于网站访问行为的匿名爬虫检测

来源：计算机技术与发展杂志2017年第12期北京时间：

作者：邹建鑫;李红灵

摘要：通过分析和研究网络爬虫访问网页内容的行为,针对恶意网络爬虫伪装成浏览器访问网站难以甄别、网站日志检测工具不支持匿名网络爬虫检测等问题,总结了一些基于机器人排斥协议和基于爬虫行为的恶意网络爬虫检测算法。 通过这些网络爬虫检测算法的启发,提出一种基于爬虫行为的检测匿名爬虫算法。 该算法主要根据人为访问网站与网络爬虫访问网站时间的长短、访问的周期等,对网络爬虫进行检测,同时对算法进行了实验验证。 实验数据来自一个服务器的网络日志。应用 Python 对实验数据进行处理,从而对网络匿名爬虫进行检测,并与当前主流的匿名网络爬虫检测算法进行比较。结果表明,该算法能够检测出并发量小的匿名的网络爬虫。

关键词：网络爬虫;网络机器人排斥协议;网站访问行为;匿名爬虫检测