Scrapy与Redis结合实战教程详解，如何入门？

本文共计1218个文字，预计阅读时间需要5分钟。

简介：Scrapy-Redis是一个基于redis的Scrapy组件，用于快速实现Scrapy项目的分布式部署和数据爬取。

Scrapy-Redis特性：- 分布式爬取：你可以启动多个共享同一redis队列的爬虫。- 简化部署：通过Redis实现任务分发和结果存储，简化了分布式爬取的复杂性。

简介

scrapy-redis是一个基于redis的scrapy组件，用于快速实现scrapy项目的分布式部署和数据爬取，其运行原理如下图所示。

Scrapy-Redis特性

分布式爬取

你可以启动多个共享同一redis队列的爬虫实例，多个爬虫实例将各自提取到或者已请求的Requests在队列中统一进行登记，使得Scheduler在请求调度时能够对重复Requests进行过滤，即保证已经由某一个爬虫实例请求过的Request将不会再被其他的爬虫实例重复请求。

分布式数据处理

将scrapy爬取到的items汇聚到同一个redis队列中，意味着你可以根据你的需要启动尽可能多的共享这个items队列的后处理程序。

Scrapy即插即用组件

Scheduler调度器 + Duplication重复过滤器、Item Pipeline、基础Spider爬虫

Scrapy-Redis示例

本文将以爬取京东所有图书分类下的图书信息为例对Scrapy-Redis的用法进行示例。