Scrapy框架CrawlSpider如何实现原理及具体案例应用？

本文共计1445个文字，预计阅读时间需要6分钟。

提问：如果想通过爬虫程序去爬取某网站的数据，有哪些实现方法？

方法一：基于Scrapy框架中的Spider的递归爬取（Request模块回调）方法二：基于CrawlSpide

提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？

方法一：基于Scrapy框架中的Spider的递归爬去进行实现的(Request模块回调)

方法二：基于CrawlSpider的自动爬去进行实现(更加简洁和高效)

一、简单介绍CrawlSpider

　　CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是”LinkExtractors链接提取器“。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。