本文共计1285个文字，预计阅读时间需要6分钟。

Redis分布式部署 - 概念：可以将一组程序执行分布在多台机器上（分布式集群），从而实现数据的分布式爬取。1. Scrapy框架是否可以自己实现分布式？另一面：由于多台机器上部署的Scrapy会各自独立，因此可能会存在各自为政的情况。

redis分布式部署

- 概念：可以将一组程序执行在多台机器上（分布式机群），使其进行数据的分布爬取。

1.scrapy框架是否可以自己实现分布式？

　　　　　　其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）

　　　　　　其二：多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。（多台机器无法共享同一个管道）

2.基于scrapy-redis组件的分布式爬虫

- scrapy-redis组件中为我们封装好了可以被多台机器共享的调度器和管道，我们可以直接使用并实现分布式数据爬取。