Scrapy框架如何实现异步长尾词网络爬虫？

本文共计1301个文字，预计阅读时间需要6分钟。

Scrapy 是一个基于 Twisted 的异步处理框架，纯 Python 实现的爬虫框架。基本结构包括 5 个组件和 2 个中间件，5 个组件分别为：Scrapy Engine（引擎）、Scheduler（调度器）、Downloader（下载器）、Spiders（爬虫）、Item Pipeline（项目管道）。其中，Scrapy Engine 负责协调其他组件，调度器负责管理请求，下载器负责下载页面，爬虫负责解析数据，项目管道负责处理数据。

什么是Scrapy

• 基于Twisted的异步处理框架
• 纯python实现的爬虫框架
• 基本结构：5+2框架，5个组件，2个中间件

5个组件：

• Scrapy Engine：引擎，负责其他部件通信 进行信号和数据传递；负责Scheduler、Downloader、Spiders、Item Pipeline中间的通讯信号和数据的传递，此组件相当于爬虫的“大脑”，是整个爬虫的调度中心
• Scheduler：调度器，将request请求排列入队，当引擎需要交还给引擎，通过引擎将请求传递给Downloader；简单地说就是一个队列，负责接收引擎发送过来的 request请求，然后将请求排队，当引擎需要请求数据的时候，就将请求队列中的数据交给引擎。