如何用Python根据用户需求输入内容与页数进行网页爬取？

本文共计1086个文字，预计阅读时间需要5分钟。

本次小改向大家庭介绍的是基于用户需求的爬取内容。主要步骤如下：

1.提示用户输入想爬取的内容及页数。

2.根据用户输入，获取网址列表。

3.模拟浏览器向服务器发送请求。

本次小编向大家介绍的是根据用户的需求输入想爬取的内容及页数。

主要步骤：

1.提示用户输入爬取的内容及页码。
2.根据用户输入，获取网址列表。
3.模拟浏览器向服务器发送请求，获取响应。
4.利用xpath方法找到图片的标签。
5.保存数据。
代码用面向过程的形式编写的。

关键字：requests库，xpath,面向过程

现在就来讲解代码书写的过程：

1.导入模块

import parsel # 该模块主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配 import requests # 爬虫主要的包 from urllib.request import urlretrieve # 本文用来下载图片 import os # 标准库，本文用来新建文件夹

每个模块的作用都已经备注了。