如何使用urllib构建第一个Python爬虫？

本文共计3415个文字，预计阅读时间需要14分钟。

最终要开始编写爬虫代码了。首先，我们了解一下Urllib库。它是Python内置的HTTP请求库，无需额外安装即可使用。Urllib包含四个模块：第一个模块是request，它是最基本的使用HTTP协议进行请求的模块。

终于要开始写爬虫代码了

我们首先了解一下 Urllib 库，它是 Python 内置的 HTTP 请求库，也就是说我们不需要额外安装即可使用，它包含四个模块：

第一个模块 request，它是最基本的 HTTP 请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入 URL 还有额外的参数，就可以模拟实现这个过程了。

第二个 error 模块即异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作保证程序不会意外终止。

第三个 parse 模块是一个工具模块，提供了许多 URL 处理方法，比如拆分、解析、合并等等的方法。

第四个模块是 robotparser，主要是用来识别网站的 robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬的，其实用的比较少。

在这里重点对前三个模块进行下讲解。