Scrapy框架学习笔记第一章有哪些内容？

本文共计1134个文字，预计阅读时间需要5分钟。

Scrapy框架是使用纯Python实现的一个用于爬取网站数据、提取结构性数据的通用应用框架。其使用非常广泛。框架的强大之处在于，用户只需定义几个模块即可轻松实现一个爬虫。

Scrapy 框架

• Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
• 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
• Scrapy 使用了 Twisted​​['twɪstɪd]​​(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy架构图(绿线是数据流向)：

• ​​Scrapy Engine(引擎)​​​: 负责​​Spider​​、​​ItemPipeline​​、​​Downloader​​、​​Scheduler​​中间的通讯，信号、数据传递等。
• ​​Scheduler(调度器)​​​: 它负责接受​​引擎​​发送过来的Request请求，并按照一定的方式进行整理排列，入队，当​​引擎​​需要时，交还给​​引擎​​。