如何使用Python伪装浏览器技巧应对网站反爬虫机制？

本文共计687个文字，预计阅读时间需要3分钟。

针对爬虫中部分网站设置请求次数过多后封IP，现在模拟浏览器进行爬虫，确保服务器识别访问者是真实浏览器而非机器人。简单添加请求头，模拟浏览器行为：添加`User-Agent`字段。

对于爬虫中部分网站设置了请求次数过多后会封杀ip，现在模拟浏览器进行爬虫，也就是说让服务器认识到访问他的是真正的浏览器而不是机器操作

简单的直接添加请求头，将浏览器的信息在请求数据时传入：

打开浏览器--打开开发者模式--请求任意网站

如下图：找到请求的的名字，打开后查看headers栏，找到User-Agent，复制。