如何利用Scrapy框架高效实现长尾关键词的爬取？

本文共计1604个文字，预计阅读时间需要7分钟。

导读：如何使用Scrapy框架实现爬虫的4步曲？CrawSpider模板是什么？如何设置下载中间件？如何实现Scrapyd远程部署和监控？想了解更多，下面让我们一起来探讨如何整体实现吧！

Scrapy安装：bashpip install scrapy

　　导读：如何使用scrapy框架实现爬虫的4步曲？什么是CrawSpider模板？如何设置下载中间件？如何实现Scrapyd远程部署和监控？想要了解更多，下面让我们来看一下如何具体实现吧！

Scrapy安装（mac）

pip install scrapy

注意：不要使用commandlinetools自带的python进行安装，不然可能报架构错误；用brew下载的python进行安装。

Scrapy实现爬虫

新建爬虫

scrapy startproject demoSpider，demoSpider为项目名。

确定目标

编写items.py，如添加目标字段：person = scrapy.Field()

制作爬虫

scrapy genspider demo "baidu.com"，创建demo爬虫文件，指定爬取域。