如何用Scrapy实现长尾关键词的翻页爬取？

本文共计801个文字，预计阅读时间需要4分钟。

安装Scrapy非常简单，官方文档也有详细的说明。具体请参考：[Scrapy 安装指南](http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.)。这里不详细说明。

在Scrapy框架中，Spider具有以下功能：

1. 定义初始爬取的URL

安装

Scrapy的安装很简单，官方文档也有详细的说明 scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html 。这里不详细说明了。

在scrapy框架中，spider具有以下几个功能

1. 定义初始爬取的url

2. 定义爬取的行为，是否跟进链接

3. 从网页中提取结构化数据

所谓的跟进链接，其实就是自动爬取该页的所有链接，然后顺着对应的链接延伸开来不断爬取，这样只需要提供一个网站首页，理论上就可以实现网站全部页面的爬取，实现点到面的功能。

如果自己来开发，不仅需要在算法层面，考虑是使用深度优先还是广度优先，还需要处理好提取的url的限制条件等细节工作。在scrapy中，开发过程被大大简化了，我们只需要定义以下几个关键部分的代码，就可以实现翻页效果。