如何获取Python爬虫中重定向后的目标URL？

本文共计268个文字，预计阅读时间需要2分钟。

下面是简化后的内容：

方法（一）直接解析重定向URL

1. 获取初始URL的响应。

2.检查响应头中的Location字段。

3.使用解析出的URL进行重定向请求。

4.获取重定向后的页面内容。

下面给大家分享Python爬虫后获取重定向url的两种方法，具体内容如下所示；

方法（一）

# 获得重定向url from urllib import request # zhidao.baidu.com/question/681501874175782812.html url = "www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596" print(request.urlopen(url).geturl())

方法（二）

# 请求头，这里我设置了浏览器代理 headers = headers = {'User-Agent': 'xx'} # 这里chrome的user-agent获取方式：在浏览器地址栏输入 about://version 即可得到结果 url = "www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596" # 请求网页 response = requests.get(url, headers=headers) # print(response.status_code) # 打印响应的状态码 print(response.url) # 打印重定向后的网址 # 两个结果都是：zhidao.baidu.com/question/681501874175782812.html

到此这篇关于Python爬虫后获取重定向url的两种方法的文章就介绍到这了,更多相关python爬虫获取url内容请搜索易盾网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持易盾网络！