如何详细使用selenium的get_cookies()与add_cookie()方法?
- 内容介绍
- 文章标签
- 相关推荐
本文共计325个文字,预计阅读时间需要2分钟。
在利用Selenium爬取网页时,有时需要登出,这时用Selenium获取cookie和携带cookie非常方便。获取cookie可以通过内置函数get_cookies()实现,它返回的是一个由cookie组成的列表。
在用selenium爬取网页的时候,有时候需要登陆,这时候用selenium获取cookie和携带cookie是很方便的,获取cookie可以通过内置的函数get_cookies(),它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的,所有get_cookies()返回值是由字典组成的列表。
dictCookies = browser.get_cookies() jsonCookies = json.dumps(dictCookies) # print(jsonCookies) with open('anquan.txt', 'w') as f: f.write(jsonCookies)
注意:这个jsonCookies是一个列表,是一个完整的cookie。
{'name': 'QCARJSESSIONID', 'value': 'BBmPcsfClCknfQX1cN2MLMgKXZGtFWqsBvjN9mbM9tmbL38hMmw4!1426878101', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'qcar.apiins.com/qcar') # 读取完cookie刷新页面 obj.refresh()
这样,我们就可以携带cookie,实现免登陆。有人说,你直接登陆不就完事了吗?有些应用场景还是用的到的,比如说验证码识别率不高,比如监视爬虫,定时爬虫,要求五分钟爬一次,两分钟爬一次,每次登陆会很麻烦。这个时候我们可以分开,一个专门登陆抓取cookie,30分钟更新一次cookie文件。另外一个读取cookie文件就ok了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持易盾网络。
本文共计325个文字,预计阅读时间需要2分钟。
在利用Selenium爬取网页时,有时需要登出,这时用Selenium获取cookie和携带cookie非常方便。获取cookie可以通过内置函数get_cookies()实现,它返回的是一个由cookie组成的列表。
在用selenium爬取网页的时候,有时候需要登陆,这时候用selenium获取cookie和携带cookie是很方便的,获取cookie可以通过内置的函数get_cookies(),它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的,所有get_cookies()返回值是由字典组成的列表。
dictCookies = browser.get_cookies() jsonCookies = json.dumps(dictCookies) # print(jsonCookies) with open('anquan.txt', 'w') as f: f.write(jsonCookies)
注意:这个jsonCookies是一个列表,是一个完整的cookie。
{'name': 'QCARJSESSIONID', 'value': 'BBmPcsfClCknfQX1cN2MLMgKXZGtFWqsBvjN9mbM9tmbL38hMmw4!1426878101', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'qcar.apiins.com/qcar') # 读取完cookie刷新页面 obj.refresh()
这样,我们就可以携带cookie,实现免登陆。有人说,你直接登陆不就完事了吗?有些应用场景还是用的到的,比如说验证码识别率不高,比如监视爬虫,定时爬虫,要求五分钟爬一次,两分钟爬一次,每次登陆会很麻烦。这个时候我们可以分开,一个专门登陆抓取cookie,30分钟更新一次cookie文件。另外一个读取cookie文件就ok了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持易盾网络。

