如何用Python编写示例代码来爬取代理IP？

本文共计691个文字，预计阅读时间需要3分钟。

要编写爬虫获取大量数据，可能会遇到IP被封的问题。可以通过设置延迟访问的方式来缓解这个问题。然而，如果访问次数过多，仍然存在IP被封的风险。此时，我们需要使用动态IP地址。

要写爬虫爬取大量的数据，就会面临ip被封的问题，虽然可以通过设置延时的方法来延缓对网站的访问，但是一旦访问次数过多仍然会面临ip被封的风险，这时我们就需要用到动态的ip地址来隐藏真实的ip信息，如果做爬虫项目，建议选取一些平台提供的动态ip服务，引用api即可。目前国内有很多提供动态ip的平台，普遍价格不菲，而对于只想跑个小项目用来学习的话可以参考下本篇文章。

简述

本篇使用简单的爬虫程序来爬取免费ip网站的ip信息并生成json文档，存储可用的ip地址，写其它爬取项目的时候可以从生成的json文档中提取ip地址使用，为了确保使用的ip地址的有效性，建议对json文档中的ip现爬现用，并且在爬取时对ip有效性的时间进行筛选，只爬取时长较长、可用的ip地址存储。

实现

使用平台www.xicidaili.com/nn/来作为数据源，通过对www.baidu.com/的相应来判断ip的可使用性。引用lxml模块来对网页数据进行提取，当然也可以使用re模块来进行匹配提取，这里只使用lxml模块对数据进行提取。
访问www.xicidaili.com/nn/数据源，并且启动Fiddler对浏览器数据进行监听，我这里浏览器采用的是Proxy SwitchyOmega插件来配合Fiddler进行使用，在Fiddler找到/nn/*数据查看User-Agent信息并复制下来作为我们访问的头文件。