如何用Python编写网络爬虫高效抓取图片素材？

本文共计849个文字，预计阅读时间需要4分钟。

IT共享之家，关注，回复，资料，可获取Python学习福利，【一、项目背景】在素材网找到合适图片，需要一页一页向下翻，现在学会Python就可以‘

“​IT共享之家​”，进行关注​

​回复“​资料​”可获赠Python学习福利​

​​

​ 在素材网想找到合适图片需要一页一页往下翻，现在学会python就可以用程序把所有图片保存下来，慢慢挑选合适的图片。​

​​

​1、根据给定的网址获取网页源代码。​

​2、利用正则表达式把源代码中的图片地址过滤出来。​

​3、过滤出来的图片地址下载素材图片。​

​​

1、网址如下：

www.51miz.com/

​2、涉及的库：​requests​、​lxml​​

​​

​首先需要解决如何对下一页的网址进行请求的问题。可以​点击下一页的按钮，观察到网站的变化分别如下所示：

www.51miz.com/so-sucai/1789243.html
www.51miz.com/so-sucai/1789243/p_2/
www.51miz.com/so-sucai/1789243/p_3/

​我们可以发现图片页数是1789243/p{}，p{}花括号数字表示图片哪一页。​

​​

​1、打开觅知网，在搜索中输入你想要的图片素材（以鼠年素材图片为例）。