Python爬虫(part13)：requests.get的哪些参数可以优化？

本文共计506个文字，预计阅读时间需要3分钟。

学习笔记：requests.get()方法的参数及查询参数params语法pythonparams={'查询参数': '查询参数值'}res=requests.get(base_url, params=params, headers=headers)

学习笔记

---

requests.get()方法的参数们

查询参数params

• 语法

params = {'查询参数':'查询参数值'}
res = requests.get(base_url,params=params,headers=headers)
#base_url为不包含查询参数的基本url
#params的参数值为字典类型，字典中键值对作为查询参数
#比如：{'kw':'兔子', 'pn':100}

requests.get方法在发起请求之前，会先对params查询参数进行编码, 编码后的查询参数会自动的和base_url进行拼接，拼接成一个完整的url地址后，再向网站发起请求。

• 举个例子(对兔子吧发起请求，并获取HTTP响应码)

代码：

import requests
base_url = 'tieba.baidu.com/f?'
params = {'kw':'兔子', 'pn':100}
headers = {'User-Agent':"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)"}
res = requests.get(base_url,params=params,headers=headers)
print(res.status_code)

输出：

200
[Finished in 6.0s]

Web客户端验证参数auth

有的时候，我们访问一个网站，需要先通过网站的用户名和密码验证，才可以访问里面的内容。这时，我们就需要设置requests.get方法里的auth参数。

• 语法

auth = ('username','password')
res = requests.get(url,auth=auth,headers=headers)
#auth的参数值为元祖类型，元祖中为用户名和密码

证书认证参数verify

介绍这个参数之前，我们阐述一下IP:端口号'}
#比如：proxies = {'IP:端口号'}
#再比如：proxies = {'IP:端口号'}
res = requests.get(url,proxies=proxies,headers=headers);

这里就不举代理IP的例子了，因为从十分钟前到现在(2020年4月11日21:06:43)我还没有找到能用的免费代理IP(也可能是我自己代码没敲好？？)。