如何批量执行Scrapy爬虫文件？

本文共计558个文字，预计阅读时间需要3分钟。

Scrapy 批量运行爬虫文件的两种方法：

1.使用 CrawProcess 实现

访问：https://doc.scrapy.org/en/latest/topics/practices.

2.修改 craw 源码，自定义命令的方式实现

（1）打开 scrapy.commands.crawl.py 文件查看

Scrapy批量运行爬虫文件的两种方法：

1、使用CrawProcess实现

doc.scrapy.org/en/latest/topics/practices.html

2、修改craw源码+自定义命令的方式实现

（1）我们打开scrapy.commands.crawl.py文件可以看到：

def run(self, args, opts): if len(args) < 1: raise UsageError() elif len(args) > 1: raise UsageError("running 'scrapy crawl' with more than one spider is no longer supported") spname = args[0] self.crawler_process.crawl(spname, **opts.spargs) self.crawler_process.start()

这是crawl.py文件中的run()方法，在此可以指定运行哪个爬虫，要运行所有的爬虫，则需要更改这个方法。