网络样本数据轻量化采集脚本语言设计与实现

来源：电子测量技术杂志2025年第19期北京时间：

作者：曹炳尧，张嵇豪

单位：上海大学通信与信息工程学院 上海 200444

摘要：样本数据的完整度与新鲜度直接决定了机器学习模型的泛化能力与预测精度。网络作为开放环境下的核心数据来源，可为模型训练提供广覆盖、高实时的样本支持。然而，网络数据源的动态性、复杂性及规模性导致传统采集方法面临开发效率低、维护成本高的严峻挑战。通过对目前主流采集框架的分析，得出Selenium采集框架相较于其他具有开发效率高、动态支持能力强的特点优势。因此本文创新地提出一种面向网络样本数据采集的轻量化脚本语言设计方法，基于乔姆斯基层次理论构建基于3型正则文法的轻量化脚本语法体系，在Selenium的基础上进一步优化。为了所提出的脚本语法可被实际使用，本文实现了支持多线程异步执行的分层语法解析器，可将其动态转译为标准化Selenium代码。本方案通过抽象原生Selenium API、绑定动态智能等待等机制，显著降低了开发与维护成本，大大提升了开发人员的效率。同时通过两类DOM结构差异场景的采集任务，验证了在卫星轨道参数（TLE）采集任务中，相较于传统Selenium方案，本文所设计的脚本语言在代码量方面能够减少85%以上，页面结构变更后的维护成本降低70%以上，平均采集延迟的增加可忽略不计。本研究为高动态网络环境下的数据高效捕获提供了轻量化解决方案，简化的脚本语言在未来更有利于大语言模型LLM的训练和推理，实现对于样本数据采集任务的自动化生成。

关键词：网络样本数据;轻量化采集脚本;Selenium

基金资助：国家重点研发计划（2021YFB2900800）、高等学校学科创新引智计划（111项目）（D20031）资助