Scrapy的settings配置如何调整以优化性能？

本文共计673个文字，预计阅读时间需要3分钟。

Scrapy 设置（settings）定义了Scrapy组件的工作方式。可控制核心（core）、扩展（extension）、pipeline及spider组件。例如，设置Json Pipeline、LOG_LEVEL等。参考文档：http://scrapy-chs.readthedocs.io/

Settings

Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。比如 设置Json Pipeliine、LOG_LEVEL等。

参考文档：​​scrapy-chs.readthedocs.io/zh_CN/1.0/topics/settings.html#topics-settings-ref​​

内置设置参考手册

• ​​BOT_NAME​​

• 默认: 'scrapybot'
• 当您使用 startproject 命令创建项目时其也被自动赋值。

• ​​CONCURRENT_ITEMS​​

• 默认: 100
• Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值。

• ​​CONCURRENT_REQUESTS​​

• 默认: 16
• Scrapy downloader 并发请求(concurrent requests)的最大值。