如何利用Python爬虫技术破解带有JS加密的Cookie？
- 内容介绍
- 文章标签
- 相关推荐
本文共计2267个文字，预计阅读时间需要10分钟。
通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原始请求返回521。发现问题：打开Fiddler软件，使用浏览器打开目标站点（http://www.kuaidaili.com/proxylist/2/）。
通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原来的请求返回521。
发现问题：
打开Fiddler软件，用浏览器打开目标站点(www.kuaidaili.com/proxylist/2/) 。可以发现浏览器对这个页面加载了两次，第一次返回521，第二次才正常返回数据。很多没有写过网站或是爬虫经验不足的童鞋，可能就会觉得奇怪为什么会这样？为什么浏览器可能正常返回数据而代码却不行？
仔细观察两次返回的结果可以发现：
1、第二次请求比第一次请求的Cookie内容多了个这个_ydclearance=0c316df6ea04c5281b421aa8-5570-47ae-9768-2510d9fe9107-1490254971
2、第一次返回的内容一些复杂看不懂的JS代码，第二次返回的就是正确的内容
其实这是网站反爬虫的常用手段。
本文共计2267个文字，预计阅读时间需要10分钟。
通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原始请求返回521。发现问题：打开Fiddler软件，使用浏览器打开目标站点（http://www.kuaidaili.com/proxylist/2/）。
通过Fiddler抓包比较，基本可以确定是JavaScript生成加密Cookie导致原来的请求返回521。
发现问题：
打开Fiddler软件，用浏览器打开目标站点(www.kuaidaili.com/proxylist/2/) 。可以发现浏览器对这个页面加载了两次，第一次返回521，第二次才正常返回数据。很多没有写过网站或是爬虫经验不足的童鞋，可能就会觉得奇怪为什么会这样？为什么浏览器可能正常返回数据而代码却不行？
仔细观察两次返回的结果可以发现：
1、第二次请求比第一次请求的Cookie内容多了个这个_ydclearance=0c316df6ea04c5281b421aa8-5570-47ae-9768-2510d9fe9107-1490254971
2、第一次返回的内容一些复杂看不懂的JS代码，第二次返回的就是正确的内容
其实这是网站反爬虫的常用手段。