如何应对网站针对UA和Cookie的常见反爬策略？

本文共计2057个文字，预计阅读时间需要9分钟。

摘要：为屏蔽垃圾流量或降低自服务器的压力，避免爬虫程序影响正常人类用户的使用，开发者会研究各种反爬虫手段。本文分享自华为云社区《Python》的相关内容。

摘要：为了屏蔽这些垃圾流量，或者为了降低自己服务器压力，避免被爬虫程序影响到正常人类的使用，开发者会研究各种各样的手段，去反爬虫。

本文分享自华为云社区《​​Python爬虫反爬，你应该从这篇博客开启，UA反爬，Cookie 特定参数反爬​​》，作者：梦想橡皮擦。

你或许已经注意到，对于目标站点来说，爬虫程序是机器访问，从目标站点的角度来看，爬虫带来的流量都是“垃圾流量”，是完全没有价值的（刷量类爬虫除外）。

为了屏蔽这些垃圾流量，或者为了降低自己服务器压力，避免被爬虫程序影响到正常人类的使用，开发者会研究各种各样的手段，去反爬虫。

爬虫与反爬虫是一对共生关系，有爬虫工程师，就必然存在反爬工程师，很多时候，爬虫工程师与反爬工程师都在斗智斗勇。

反爬没有特定的分类，如果一个网站上了反爬代码，一般情况下会使用几种反爬措施搭配使用。

服务器验证请求信息类爬虫

本系列的博客从最简单的反爬手段开始学习，入门级反爬：“User-Agent”用户代理反爬。

User-Agent

用户代理（User-Agent），表示的是用户的浏览器相关信息，该反爬逻辑是通过服务器端验证请求头中的 User-Agent 参数，然后区分是爬虫程序还是正常的浏览器访问。

访问任意网站，唤醒开发者工具，然后在控制台中输入 navigator.userAgent，就可以获取到 UA 字符串（User-Agent 字符串）。