Python3 requests库如何实现重定向获取目标URL?
- 内容介绍
- 文章标签
- 相关推荐
本文共计563个文字,预计阅读时间需要3分钟。
前言:有时候,我们在抓取一些页面时,会发现一些URL有重定向,返回301或302状态。那么,我们如何获取真正的URL呢?或者,获取跳转后的URL呢?
这里,我使用requests作为演示,假设我们要获取某个页面真正的URL。
前言:
有时候 我们抓取一些页面,发现一些url 有重定向, 返回 301 ,或者302 这种情况。 那么我们如何获取真实的URL呢? 或者跳转后的URL呢?
这里我使用 requests 作为演示
假设我们要访问 某东的电子商务网站,我只记得网站好像是 jd.com
import requests def request_jd(): url = 'jd.com/' #allow_redirects= False 这里设置不允许跳转 response = requests.get(url=url, allow_redirects=False) print(response.headers) print(response.status_code)
看结果 返回response header 中有一个属性 Location ,代表重定向了 'Location': 'www.jd.com'
我们在浏览器中 chrome network 面板 ,抓包观察。 注意把 preserve log 这个选项勾选上。
本文共计563个文字,预计阅读时间需要3分钟。
前言:有时候,我们在抓取一些页面时,会发现一些URL有重定向,返回301或302状态。那么,我们如何获取真正的URL呢?或者,获取跳转后的URL呢?
这里,我使用requests作为演示,假设我们要获取某个页面真正的URL。
前言:
有时候 我们抓取一些页面,发现一些url 有重定向, 返回 301 ,或者302 这种情况。 那么我们如何获取真实的URL呢? 或者跳转后的URL呢?
这里我使用 requests 作为演示
假设我们要访问 某东的电子商务网站,我只记得网站好像是 jd.com
import requests def request_jd(): url = 'jd.com/' #allow_redirects= False 这里设置不允许跳转 response = requests.get(url=url, allow_redirects=False) print(response.headers) print(response.status_code)
看结果 返回response header 中有一个属性 Location ,代表重定向了 'Location': 'www.jd.com'
我们在浏览器中 chrome network 面板 ,抓包观察。 注意把 preserve log 这个选项勾选上。

