如何用Python编写基础网页爬虫程序？

本文共计3815个文字，预计阅读时间需要16分钟。

简单网页爬虫 + 使用requests库 + 使用requests获取网页源代码 + requests与正则表达式 + 多线程爬虫 + 多进程库 + 开发多线程爬虫 + 爬虫算法的“

简单的网页爬虫

• ​​requests的使用​​

• ​​使用requests获取网页的源代码​​
• ​​requests与正则结合​​

• ​​多线爬虫​​

• ​​多进程库​​
• ​​开发多线程爬虫​​

• ​​爬虫算法的开发​​

• ​​深度优先搜索​​
• ​​广度优先搜索​​
• ​​算法的选择​​

• ​​小测试​​

requests的使用

​​​requests​​是​​Pytho​​n的一个第三方​​HTTP​​（​​Hypertext Transfer Protocol​​，超文本传输协议）库，它比​​Python​​自带的网络库​​urllib​​更加简单、方便和人性化。使用​​requests​​可以让​​Python​​实现访问网页并获取源代码的功能。