如何解决Python爬虫中headers设置和网络超时的问题？
- 内容介绍
- 文章标签
- 相关推荐
本文共计588个文字，预计阅读时间需要3分钟。
1. 请处理headers请求+我们有时请求服务器时，不论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，此时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬虫问题。
1、请求headers处理
我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。
import requests # 创建需要爬取网页的地址 url = 'www.baidu.com/' # 创建头部信息 headers = {'User-Agent':'OW64; rv:59.0) Gecko/20100101 Firefox/59.0'} # 发送网络请求 response = requests.get(url, headers=headers) # 以字节流形式打印网页源码 print(response.content)
结果：
b'<!DOCTYPE html><!--STATUS OK-->\n\n\n \n \n <html><head><meta www.baidu.com/', timeout=0.5) # 打印状态码 print(response.status_code) # 捕获异常 except Exception as e: # 打印异常信息 print('异常'+str(e))
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上代码中，模拟进行了50次循环请求，设置超时时间为0.5秒，在0.5秒内服务器未作出相应视为超时，程序会将超时信息打印在控制台中。
说起网络异常信息，requests模块同样提供了三种常见的网络异常类，示例代码如下：
import requests # 导入requests.exceptions模块中的三种异常类 from requests.exceptions import ReadTimeout,HTTPError,RequestException # 循环发送请求50次 for a in range(1, 50): # 捕获异常 try: # 设置超时为0.5秒 response = requests.get('www.baidu.com/', timeout=0.5) # 打印状态码 print(response.status_code) # 超时异常 except ReadTimeout: print('timeout') # HTTP异常 except HTTPError: print('httperror') # 请求异常 except RequestException: print('reqerror')
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持易盾网络。
本文共计588个文字，预计阅读时间需要3分钟。
1. 请处理headers请求+我们有时请求服务器时，不论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，此时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬虫问题。
1、请求headers处理
我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。
import requests # 创建需要爬取网页的地址 url = 'www.baidu.com/' # 创建头部信息 headers = {'User-Agent':'OW64; rv:59.0) Gecko/20100101 Firefox/59.0'} # 发送网络请求 response = requests.get(url, headers=headers) # 以字节流形式打印网页源码 print(response.content)
结果：
b'<!DOCTYPE html><!--STATUS OK-->\n\n\n \n \n <html><head><meta www.baidu.com/', timeout=0.5) # 打印状态码 print(response.status_code) # 捕获异常 except Exception as e: # 打印异常信息 print('异常'+str(e))
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上代码中，模拟进行了50次循环请求，设置超时时间为0.5秒，在0.5秒内服务器未作出相应视为超时，程序会将超时信息打印在控制台中。
说起网络异常信息，requests模块同样提供了三种常见的网络异常类，示例代码如下：
import requests # 导入requests.exceptions模块中的三种异常类 from requests.exceptions import ReadTimeout,HTTPError,RequestException # 循环发送请求50次 for a in range(1, 50): # 捕获异常 try: # 设置超时为0.5秒 response = requests.get('www.baidu.com/', timeout=0.5) # 打印状态码 print(response.status_code) # 超时异常 except ReadTimeout: print('timeout') # HTTP异常 except HTTPError: print('httperror') # 请求异常 except RequestException: print('reqerror')
结果：
200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200 200
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持易盾网络。