如何用Python编写长尾词的爬虫程序？

本文共计895个文字，预计阅读时间需要4分钟。

关于长期从事爬虫行业的程序员，我来谈谈。现在随便编写一个爬虫程序也只是一件分分钟的事，但这次我编辑的是一个有关图文采集的爬虫，从试错到下载保存等系列重点都详细记录在下面的文章中。

对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。

这里应用self.log简单的做了一下运行日志的处理和记录！

几个关键点：

1、常规操作，访问出错重试

这里仅仅是简单的写了访问出错重试，没有排除掉其他访问出错，比较简单粗暴的处理。