Scrapy框架的爬虫原理是如何实现高效长尾关键词抓取的？

本文共计433个文字，预计阅读时间需要2分钟。

Python爬虫包包含两个重要部分：正则表达式和Scrapy框架的应用。正则表达式在所有语言中都是通用的，网络上有丰富的资源可供查找。以下是手绘的Scrapy框架原理图，帮助理解；此外，以下是一段操作说明。

Python 爬虫包含两个重要的部分：正则表达式和Scrapy框架的运用， 正则表达式对于所有语言都是通用的，网络上可以找到各种资源。

如下是手绘Scrapy框架原理图，帮助理解

如下是一段运用Scrapy创建的spider：使用了内置的crawl模板，以利用Scrapy库的CrawlSpider。相对于简单的爬取爬虫来说，Scrapy的CrawlSpider拥有一些网络爬取时可用的特殊属性和方法：

$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl

运行genspider命令后，下面的代码将会在example/spiders/country_or_district.py中自动生成。