如何利用Python脚本通过cookie抓取特定芯片网站的数据?
- 内容介绍
- 文章标签
- 相关推荐
本文共计3477个文字,预计阅读时间需要14分钟。
芯片家族都不陌生。疫情期间,显卡、车机的芯片产量锐减,影响了众多人的购物需求(说不定你也是买不到)。这也让不少人对半导体制程行业有了新的认识。闲来无事,我们可以获取更多关于T网站的信息。
芯片大家都不陌生。在当今疫情下,显卡,车机的芯片产量锐减影响了不少人的购物需求(反正你也买不到),也让不少人重新认识了半导体行业。闲来无事,我们可以获取一下T网站的芯片库存和芯片信息。
一、列表页请求分析
进入页面,就能看到我们需求的信息了。
但是,在页面请求完成之前,有一点点不对劲,就是页面的各个部份请求的速度是不一样的:
所以啊,需要的数据,大概率不是简单的get请求,所以要进一步去看,特意在开发者模式—Fetch/XHR选项卡中有一个请求,返回值正好是我们需要的内容:
这一条链接返回了所有的数据,无需翻页,下面开始请求链接。
本文共计3477个文字,预计阅读时间需要14分钟。
芯片家族都不陌生。疫情期间,显卡、车机的芯片产量锐减,影响了众多人的购物需求(说不定你也是买不到)。这也让不少人对半导体制程行业有了新的认识。闲来无事,我们可以获取更多关于T网站的信息。
芯片大家都不陌生。在当今疫情下,显卡,车机的芯片产量锐减影响了不少人的购物需求(反正你也买不到),也让不少人重新认识了半导体行业。闲来无事,我们可以获取一下T网站的芯片库存和芯片信息。
一、列表页请求分析
进入页面,就能看到我们需求的信息了。
但是,在页面请求完成之前,有一点点不对劲,就是页面的各个部份请求的速度是不一样的:
所以啊,需要的数据,大概率不是简单的get请求,所以要进一步去看,特意在开发者模式—Fetch/XHR选项卡中有一个请求,返回值正好是我们需要的内容:
这一条链接返回了所有的数据,无需翻页,下面开始请求链接。

