Python3爬虫如何实现发送请求的实例分析？

本文共计2591个文字，预计阅读时间需要11分钟。

使用urllib的request模块，我们可以方便地实现发送请求并获取响应。下面是具体用法：

1. urlopen()：urllib.request模块提供了urlopen()函数，用于构造最基本的HTTP请求，并获取响应。利用它可以模拟浏览器行为。

pythonfrom urllib.request import urlopen

url=http://www.example.comresponse=urlopen(url)

这里，url是请求的网址，response是服务器返回的响应对象。

使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。

1. urlopen()

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（authenticaton）、重定向（redirection)、浏览器Cookies以及其他内容。

下面我们来看一下它的强大之处。这里以Python官网为例，我们来把这个网页抓下来：

importurllib.request response=urllib.request.urlopen('www.python.org') print(response.read().decode('utf-8'))

运行结果如图3-1所示。

这里我们只用了两行代码，便完成了Python官网的抓取，输出了网页的源代码。得到源代码之后呢？我们想要的链接、图片地址、文本信息不就都可以提取出来了吗？

接下来，看看它返回的到底是什么。