Python如何编写高效的网络爬虫？

本文共计1680个文字，预计阅读时间需要7分钟。

Spider类定义了如何爬取某个（或某些）网站。它包括了爬取的动作（例如：是否跟进链接）以及如何从网页内容中提取结构化数据（例如：爬取item）。简而言之，Spider就是您定义的爬取动作和解析逻辑。

Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

​​class scrapy.Spider​​是最基本的类，所有编写的爬虫必须继承这个类。

主要用到的函数及调用顺序为：

​​__init__()​​: 初始化爬虫名字和start_urls列表

​​start_requests() 调用make_requests_from url()​​:生成Requests对象交给Scrapy下载并返回response

​​parse()​​: 解析response，并返回Item或Requests（需指定回调函数）。Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。

源码参考

#所有爬虫的基类，用户定义的爬虫必须从这个类继承
class Spider(object_ref):

#定义spider名字的字符串(string)。