Python爬虫教程第20例：如何采集1637一路商机网加盟信息？

本文共计2114个文字，预计阅读时间需要9分钟。

以下是对原文的简化

以下是一些案例，将收集围绕美容销售基础数据的行业信息。请知晓。案例将使用lxml与cssselect结合的方式采集，重点在cssselect选择器上。目标网站分析，本次重点要抓取...

接下来的一些案例，将围绕销售用基础数据采集，行业将选择美妆行业，请知晓。

本案例将采用 lxml 与 cssselect 相结合的方式进行采集，重点在 cssselect 选择器。

目标站点分析

本次要抓取的目标为 www.1637.com/，该网站具备多分类，采集时提前将分类存储到一列表中，便于后续扩展。后来发现可一级行业可以选择 不限，此时可获取全部分类，基于此，我们先将全部数据抓取到本地，然后在筛选出美容/美妆行业相关加盟数据即可。

本次要抓取的数据量与页数如下图所示。

抓取数据采用旧办法，先把 HTML 页面保存到本地，然后在进行二次处理。

使用到的技术点

请求数据使用 requests，数据提取使用 lxml + cssselect 实现，使用 cssselect 之前，通过 pip install cssselect 安装对应库即可。