Python爬虫入门，哪些基础知识是必须掌握的？

本文共计442个文字，预计阅读时间需要2分钟。

前端相关技术包括：- HTML和CSS选择器- CSS标签内容获取- Xpath表达式- 常用HTML解析模块和方法- BeautifulSoup模块- lxml.etree模块- Xpath解析- Requests-HTML模块- 常用网络请求模块- requests模块的get()方法

前端相关

HTML之CSS选择器

CSS标签内容获取

Xpath表达式

常用解析HTML模块以及方法

Beautiful Soup模块

lxml.etree模块-Xpath解析

Requests-HTML模块

常用网络请求模块

requests模块-get()方法

requests模块-post()方法

Requests-HTML模块-get()方法

Requests-HTML模块-post()方法

urlib3模块-requests()方法

相关模块介绍

urllib3

Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库，许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库里所没有的重要特性：

线程安全

连接池

客户端SSL/TLS验证

文件分部编码上传

协助处理重复请求和HTTP重定位

支持压缩编码

支持HTTP和SOCKS代理

100%测试覆盖率

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

这篇文档介绍了BeautifulSoup4中所有主要特性,并且有小例子.让我来向你展示它适合做什么,如何工作,怎样使用,如何达到你想要的效果,和处理异常情况.

具备requests的功能以外，还新增了一些更加强大的功能，用起来比requests更爽！

• 支持JavaScript
• 支持CSS选择器（又名jQuery风格, 感谢PyQuery）
• 支持Xpath选择器
• 可自定义模拟User-Agent（模拟得更像真正的web浏览器）
• 自动追踪重定向
• 连接池与cookie持久化
• 支持异步请求

推荐使用requests-html代替requests