如何使用Python进行网页爬取？

本文共计2912个文字，预计阅读时间需要12分钟。

1. 前言+学习爬虫，最佳方式是自己编写爬虫程序。爬取目标网站上的数据，理论上讲是简单的，无非就是分析页面中的资源链接、然后下载、最后保存。但实际操作中却会遇到“

1. 前言

学习爬虫，最好的方式就是自己编写爬虫程序。

爬取目标网站上的数据，理论上讲是简单的，无非就是分析页面中的资源链接、然后下载、最后保存。

但是在实施过程却会遇到一些阻碍。

很多网站为了阻止爬虫程序爬取数据，会对资源路径进行加密、或隐藏等保护操作。

编写爬虫程序的第一关键逻辑就解析资源路径。

2. 静态资源路径

什么是静态资源路径？

在下载下来的源代码中可以直接分析并找出资源路径。

向服务器请求 入口（主）页面 时，服务器就已经把主页面中需要展示的资源路径一并返回给请求者。

爬虫任务：爬取王者荣耀网站上的英雄资料。

3.1 下载入口网页

找到王者荣耀英雄资料的入口链接：pvp.qq.com/web201605/herolist.shtml，打开谷歌浏览器，下载并显示出所有的英雄的图片。

3.2 编写正则表达式

为了下载入口页中的所有英雄图片资源，则需要使用一个统一的规则找到所的资源路径（url），正则表达式是一个不错的选择。

编写正则表达式之前，先分析图片路径的描述规则。

在浏览器中选择任意一张图片，然后右击，再在弹出来的快捷菜单中选择“检查”，便可以看到此图片的路径。