Python爬虫架构及运行流程解析原理是怎样的？

本文共计625个文字，预计阅读时间需要3分钟。

1. 前言：Python开发网络爬虫获取网页数据的基本流程为：

+ 发起请求：通过URL向服务器发起request请求，可以使用额外的header信息。 + 获取响应内容：服务器响应后，获取响应内容存储在response对象中。 + 处理数据：对获取到的数据进行解析、提取等操作，实现数据提取目的。

1 前言

Python开发网络爬虫获取网页数据的基本流程为：

发起请求

通过URL向服务器发起request请求，请求可以包含额外的header信息。

获取响应内容

服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。

解析内容

如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析，如果是二进制的数据，则可以保存到文件做进一步处理。

保存数据

可以保存到本地文件，也可以保存到数据库（MySQL，Redis，MongoDB等）。