Python爬虫案例7：X讯招聘中那些不起眼的小职位有哪些？

本文共计2784个文字，预计阅读时间需要12分钟。

学习笔记 + 爬取X讯招聘的小职位 + 案例分析，我们想爬取X讯招聘网站中一级页面的职位名称和二级页面的工作职责及要求。由于X讯招聘网站内容动态加载，需要使用爬虫技术进行数据抓取。

学习笔记

---

爬取X讯招聘的小职位们

写个小案例，我们想爬取X讯招聘网站里处于1级页面的职位名称和处于2级页面的工作职责和工作要求。由于这个X讯招聘网站是动态加载的，所以需要抓取我们与网站进行交互时产生的数据包。

爬取步骤

①确定X讯招聘的URL地址(careers.tencent.com/search.html)

②在1级页面中抓包，并获取1级页面中的json地址

③在2级页面中抓包，获取2级页面中的json地址

④爬取数据，并将数据存放在mysql数据库中

1级页面抓包

我们打开X讯招聘网站后，右键打开审查元素–>点击Network–>点击XHR(我们要的数据包主要在这里)–>刷新网页，获取多个数据包–>点开preview, 依次判断哪个数据包中有我们要的数据–>确定我们想要数据包

经过这么一堆步骤后，我找到了想要的数据包。