基于网页源码结构理解的自适应爬虫代码生成方法

来源：计算机应用杂志2023年第6期北京时间：

作者：刘耀, 刘茹, 翟雨

单位：1.中国科学技术信息研究所 信息技术支持中心，北京 100038；2.北京大学 软件与微电子学院，北京 102600

摘要：针对网页频繁改版带来的网页源码变动，尤其是文章日期、正文或来源机构等网页源码中目标实体的元素结构或属性标识变动所引起的爬虫代码失效、人力维护成本过高的问题，提出一种基于网页源码结构理解的自适应爬虫代码生成方法。首先，通过分析网页结构特征变动规律提取相应爬虫代码；然后，利用Encoder-Decoder模型表征网页源码及代码的变动，通过融合网页源码自身结构语义特征、网页源码变动特征及网页代码变动特征，得到自适应代码生成模型；最后，完善自适应系统的感知、生成和激活机制，从而形成具有自适应处理能力的爬虫系统。经实验验证，所提自适应代码生成模型的最终准确率为78.5%，与TF-IDF+Seq2Seq和TriDNR+Seq2Seq两种生成模型相比，所提模型在网页源码变动的表示和代码生成的有效性上具有一定的优越性。因此，所提方法能够解决网页源码变动引起的爬虫代码运行问题，为网络资源获取即爬虫技术的自适应处理能力提供新思路。

关键词：资源获取,网页改版,超文本标记语言,网页源码理解,自适应网络爬虫

基金资助：国家社会科学基金资助项目(21BTQ011);国家重点研发计划项目(2018YFB143502)