如何确保Python爬虫中cookie的正确应用？
- 内容介绍
- 文章标签
- 相关推荐
本文共计928个文字，预计阅读时间需要4分钟。
在许多情况下，我们查看特定内容前必须先登录。例如，查阅知乎的回答、查看QQ空间的好友列表、关注微博上的人或群组等，都需要先完成登录。若使用爬虫直接登录抓取这些信息，可能会遇到一些难以解决的难题。
很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。
这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。使用的工具是FireFox浏览器、FireBug和Python。
获取cookie
打开FireFox浏览器，登录QQ空间，启动FireBug，选择FireBug中的Cookies页签，点击页签中的cookies按钮菜单，选择“导出本站点的cookie”即可完成cookie的导出。
导出cookie会以一个名为cookies.txt文本文件形式存在。
程序实现
然后我们会使用获取的cookie新建一个opener来替换之前请求时使用的默认的opener。将获取的cookies拷贝到程序目录下，编写脚本如下：
#!python # encoding: utf-8 from user.qzone.qq.com/QQ号/myhome/friends" rel="external nofollow" >user.qzone.qq.com/QQ号/myhome/friends</a>)
因为我们使用的是FireFox浏览器导出的cookie文件，所以这里使用的cookieJar是MozillaCookieJar。
执行脚本…然而报错了：
Traceback (most recent call last): File "D:/pythonDevelop/spider/use_cookie.py", line 17, in <module> start() File "D:/pythonDevelop/spider/use_cookie.py", line 9, in start cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True) File "D:\Program Files\python\python35\lib\h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi?uin=QQ号&do=1&rd=0.44948123599838985&fupdate=1&clean=0&g_tk=515169388
这样就抓取到好友列表了。好友列表是一个json字符串。
至于如何解析json，会在下一节进行说明。
动态获取cookie
cookie是有过期时间的。如果想长时间抓取网页，就需要每隔一段时间就更新一次cookie。如果都是从FireFox浏览器来手动获取显得有些笨了。从浏览器获取的cookie只是作为一个入口，之后再进行请求还是要依靠python主动获取cookie。下面是一段获取cookie的程序：
#!python # encoding: utf-8 from user.qzone.qq.com/QQ号/myhome/friends" u2 = "h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi?uin=QQ号&do=2&rd=0.44948123599838985&fupdate=1&clean=0&g_tk=515169388" start(u1, u2)
就这样。
其他
其实在登录QQ空间时使用cookie还有另一种法子——通过观察，也可以在http 请求头中添加cookie信息。
获取请求头中cookie的方式：打开FireFox浏览器，打开FireBug并激活FireBug的network页签，在FireFox浏览器上登录QQ空间，然后在FireBug中找到登录页请求，然后就可以找到请求头中的cookie信息了。
将cookie信息整理成一行，添加到请求头中就可以直接访问了。这个方法相对简单，减少了修改cookie文件的步骤。
此外，在一篇博客文章中还找到了直接登录QQ空间的方案。这算是已知最好的法子了，只要腾讯不改变登录规则就能很简单的执行请求获取cookie。不过年代久远，不知规则是否还适用
以上就是python 爬虫如何正确的使用cookie的详细内容，更多关于python 爬虫使用cookie的资料请关注易盾网络其它相关文章！
本文共计928个文字，预计阅读时间需要4分钟。
在许多情况下，我们查看特定内容前必须先登录。例如，查阅知乎的回答、查看QQ空间的好友列表、关注微博上的人或群组等，都需要先完成登录。若使用爬虫直接登录抓取这些信息，可能会遇到一些难以解决的难题。
很多时候，我们要查看的内容必须要先登录才能找到，比如知乎的回答，QQ空间的好友列表、微博上关注的人和粉丝等。要使用爬虫直接登录抓取这些信息时，有一个不太好解决的难题，就是这些网站设置的登录规则以及登录时的验证码识别。不过，我们可以想办法绕过去，思路是这样的：先使用浏览器登录，从浏览器获取登录后的“凭证”，然后将这个“凭证”放到爬虫里，模拟用户的行为继续抓取。这里，我们要获取的凭证就是cookie信息。
这次我们尝试使用python和cookie来抓取QQ空间上的好友列表。使用的工具是FireFox浏览器、FireBug和Python。
获取cookie
打开FireFox浏览器，登录QQ空间，启动FireBug，选择FireBug中的Cookies页签，点击页签中的cookies按钮菜单，选择“导出本站点的cookie”即可完成cookie的导出。
导出cookie会以一个名为cookies.txt文本文件形式存在。
程序实现
然后我们会使用获取的cookie新建一个opener来替换之前请求时使用的默认的opener。将获取的cookies拷贝到程序目录下，编写脚本如下：
#!python # encoding: utf-8 from user.qzone.qq.com/QQ号/myhome/friends" rel="external nofollow" >user.qzone.qq.com/QQ号/myhome/friends</a>)
因为我们使用的是FireFox浏览器导出的cookie文件，所以这里使用的cookieJar是MozillaCookieJar。
执行脚本…然而报错了：
Traceback (most recent call last): File "D:/pythonDevelop/spider/use_cookie.py", line 17, in <module> start() File "D:/pythonDevelop/spider/use_cookie.py", line 9, in start cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True) File "D:\Program Files\python\python35\lib\h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi?uin=QQ号&do=1&rd=0.44948123599838985&fupdate=1&clean=0&g_tk=515169388
这样就抓取到好友列表了。好友列表是一个json字符串。
至于如何解析json，会在下一节进行说明。
动态获取cookie
cookie是有过期时间的。如果想长时间抓取网页，就需要每隔一段时间就更新一次cookie。如果都是从FireFox浏览器来手动获取显得有些笨了。从浏览器获取的cookie只是作为一个入口，之后再进行请求还是要依靠python主动获取cookie。下面是一段获取cookie的程序：
#!python # encoding: utf-8 from user.qzone.qq.com/QQ号/myhome/friends" u2 = "h5.qzone.qq.com/proxy/domain/r.qzone.qq.com/cgi-bin/tfriend/friend_ship_manager.cgi?uin=QQ号&do=2&rd=0.44948123599838985&fupdate=1&clean=0&g_tk=515169388" start(u1, u2)
就这样。
其他
其实在登录QQ空间时使用cookie还有另一种法子——通过观察，也可以在http 请求头中添加cookie信息。
获取请求头中cookie的方式：打开FireFox浏览器，打开FireBug并激活FireBug的network页签，在FireFox浏览器上登录QQ空间，然后在FireBug中找到登录页请求，然后就可以找到请求头中的cookie信息了。
将cookie信息整理成一行，添加到请求头中就可以直接访问了。这个方法相对简单，减少了修改cookie文件的步骤。
此外，在一篇博客文章中还找到了直接登录QQ空间的方案。这算是已知最好的法子了，只要腾讯不改变登录规则就能很简单的执行请求获取cookie。不过年代久远，不知规则是否还适用
以上就是python 爬虫如何正确的使用cookie的详细内容，更多关于python 爬虫使用cookie的资料请关注易盾网络其它相关文章！