使用Scrapy进行Python爬虫时，有哪些关键注意事项需留意？

本文共计519个文字，预计阅读时间需要3分钟。

在学途中，若遇难题，将其全部整理出来，长期保存，亦是宝贵经验之谈。小编写了这么久的Scrapy框架，在自学整理和与小伙伴们交流反馈中，也积累了不少心得。

在学习中，如果遇到问题把它们都收集整理出来，长期保存之后也是一份经验之谈。小编跟大家讲了这么久的scrapy框架，在自己学习的整理和小伙伴们的交流反馈中也累积了不少心得。想着有些小伙伴在python学习的时候有点丢三落四的毛病，特意整理出来scrapy在python爬虫使用中需要注意的事项，大家一起看看吧。

1.如果需要大批量分布式爬取，建议采用Redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结构（deque），并配合其它数据库存储，例如MySQL或者MongoDB，爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重，使用redis的set数据结构，通过settings文件正确设置后，即便停止scrapy爬虫，当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。

2.当涉及到代理IP，Headers头中间请求信息处理的时候，可以通过中间件Middleware来实现。Spider中间件是介入到Scrapy的spider处理机制的钩子框架，可以添加代码来处理发送给 Spiders的response及spider产生的item和request。