如何编写一个可复用的Python爬虫下载模块？

本文共计310个文字，预计阅读时间需要2分钟。

使用Python编写网络爬虫的第一课，编写可复用的下载模块，用于获取视频，发现与《用Python写网络爬虫》一书相似，记录了一些笔记。

看用python写网络爬虫第一课之编写可复用的下载模块的视频，发现和《用Python写网络爬虫》一书很像，写了点笔记：

1 #-*-coding:utf-8-*-
2
3 import urllib2
4
5 #下载时遇到的错误经常是临时性的，比如服务器过载时返回的 503 Service Unavailable错误。