RedisSpider

Scrapy-Redis中RedisSpider和RedisCrawlSpider如何深入理解与运用？

本文共计1212个文字，预计阅读时间需要5分钟。在《Scrapy-Redis入门实战》一文中，我们利用scrapy-redis实现了京东图书爬虫的分布式部署和数据爬取。但存在以下问题：每个爬虫实例在启动时，都必须从start_urls开始爬