如何用Python编写简单脚本爬取51job上的职位信息？

本文共计2930个文字，预计阅读时间需要12分钟。

概述：Python与爬虫的渊源，始于初识，逐渐深入，相信许多朋友都是从爬虫入门学习Python的。究其原因，不外乎两方面：其一，Python对爬虫的支持度较好，类库丰富。

概述

不知从何时起，Python和爬虫就如初恋一般，情不知所起，一往而深，相信很多朋友学习Python，都是从爬虫开始，其实究其原因，不外两方面：其一Python对爬虫的支持度比较好，类库众多。其二Pyhton的语法简单，入门容易。所以两者形影相随，不离不弃，本文主要以一个简单的小例子，简述Python在爬虫方面的简单应用，仅供学习分享使用，如有不足之处，还请指正。

涉及知识点

本例主要爬取51job发布的工作职位，用到的知识点如下：

• 开发环境及工具：主要用到Python3.7 ，IDE为PyCharm
• requests类库：本类库封装了python的内置模块，主要用于网络的请求和获取数据，可以支持不同形式的请求。
• BeautifulSoup库：主要用于解析获取的数据，包括Html，Xml，Json等不同的格式。
• 数据持久化：主要是将内存中的数据，保存到数据库或者文件中。
  

爬虫的基本步骤

爬虫的基本步骤，如下图所示：

爬取目标

如有要爬取相关内容，首先要对爬取的目标进行分析，了解其目录结构，才能进行解析。