如何通过两种方式向Scrapy Spider有效传递参数？

本文共计392个文字，预计阅读时间需要2分钟。

有时需要根据项目的实际需求向spider传递参数以控制其行为，例如，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以向spider传递两种参数方法。

第一种方法：

有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。

第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：

scrapy crawl myspider -a category=electronics

然后在spider里这样写：

import scrapy class MySpider(scrapy.Spider): name = 'myspider' def __init__(self, category=None, *args, **kwargs): super(MySpider, self).__init__(*args, **kwargs) self.start_urls = ['www.example.com/categories/%s' % category] # ...

也就是在spider的构造函数里加上带入的参数即可。