Scrapy-Redis分布式爬虫如何实现详解？

本文共计1030个文字，预计阅读时间需要5分钟。

1. Scrapy-Redis是什么？Scrapy-Redis是一个基于Redis的分布式爬虫组件，它是Scrapy框架的扩展。通过利用Redis的分布式特性，Scrapy-Redis可以将多台主机的爬虫任务协同起来，共同完成一个爬取任务，从而提高爬取效率。

1.什么是Scrapy-Redis

• Scrapy-Redis是scrapy框架基于redis的分布式组件，是scrapy的扩展；分布式爬虫将多台主机组合起来，共同完成一个爬取任务，快速高效地提高爬取效率。
• 原先scrapy的请求是放在内存中，从内存中获取。scrapy-redisr将请求统一放在redis里面，各个主机查看请求是否爬取过，没有爬取过，排队入队列，主机取出来爬取。爬过了就看下一条请求。