网页向量化表示：一种优化网络爬虫质量的方法
来源：计算机应用与软件杂志2025年第6期北京时间：
作者：武强, 官却多杰, 周庆国
摘要：搜索引擎的性能一定程度上依赖网络爬虫（网络内容获取）的能力。受到深度学习向量化表示和卷积神经网络技术启发，关注计算机对于信息（自然语言和图片）理解与信息的关联性，提出网页向量表示（Page2Vec）算法，并基于Page2Vec算法构建爬虫-过滤（Crawler-Filter）算法。实验表明：Crawler-Filter算法在网络爬虫过程中，能够在覆盖合理的内容的同时绕过低质量或无关内容。
关键词：搜索引擎, 网络爬虫, 网页向量表示算法, 爬虫过滤算法
