基于 Python 的电商网站服装数据的爬取与分析

来源：计算机技术与发展杂志2022年第07期北京时间：

作者：陈广智;曾霖;刘伴晨;曾天佑;魏欣欣

单位：1. 郑州航空工业管理学院 智能工程学院,河南 郑州 450046;2. 贺州学院 人工智能学院,广西 贺州 542899

摘要：电商网站上蕴藏着大量有价值的信息,同时中国的纺织服装产业消费市场非常大,因此,对电商网站上服装数据的爬取、分析非常有意义。 为及时准确地获取当前服装产品的流行趋势、消费热点,以便于商家精准投放产品、消费者更理性消费,提出了针对电商网站服装数据的爬取算法 fashionDataScrape。 该算法将服装商品文字描述信息与图片信息的爬取相分离,具有一定的灵活性,同时能基于关键词爬取服装信息。 给出了算法的详细设计类图。 采用 Python 语言实现了该算法,其中主要使用了 Requests 和 Beautiful Soup 库,并用 lxml 作为 HTML 解析器。 以“ 连衣裙女装新品” 、“女装 t 恤” 和“旗袍年轻版”为关键词分别爬取了相应的服装信息,对爬取结果和实际页面进行了人工对比,验证了算法的可行性和有效性。 通过对爬取结果的商品描述分析、价格分析和图片的 t-SNE 聚类可视化分析,进一步验证了电商网站服装数据爬取的意义。

关键词：电商网站;服装数据;网络爬取;数据分析;t-SNE 聚类