Python Scrapy框架进阶精讲文章如何深入理解？

本文共计4768个文字，预计阅读时间需要20分钟。

目录

一、前言及为什么要使用Scrapy框架？

二、Scrapy框架的概念

三、Scrapy的安装

四、Scrapy的实战运用及这一串代码干了什么？

五、Scrapy的CSS选择器教学

- 按标签名选择 - 按class选择 - 按id选择

目录

• 一、前情提要
• 为什么要使用Scrapy 框架？
• 二、Scrapy框架的概念
• 三、Scrapy安装
• 四、Scrapy实战运用
• 这一串代码干了什么？
• 五、Scrapy的css选择器教学
• 按标签名选择
• 按 class 选择
• 按 id 选择
• 按层级关系选择
• 取元素中的文本
• 取元素的属性

一、前情提要

为什么要使用Scrapy 框架？

前两篇深造篇介绍了多线程这个概念和实战
多线程网页爬取
多线程爬取网页项目实战

经过之前的学习，我们基本掌握了分析页面、分析动态请求、抓取内容，也学会使用多线程来并发爬取网页提高效率。