如何应对Python中常见的反爬虫策略？
- 内容介绍
- 文章标签
- 相关推荐
本文共计501个文字，预计阅读时间需要3分钟。
1、使用代理+适用情况：限制IP地址情况，也可解决因‘频繁点击’而需输入验证码登上的情况。+最佳方法：维护一个代理IP池，网上有很多免费的代理IP，但质量参差不齐。
1、使用代理
适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况。
这种情况最好的办法就是维护一个代理IP池，网上有很多免费的代理IP，良莠不齐，可以通过筛选找到能用的。对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。
proxies = {'XX.XX.XX.XX:XXXX'} Requests： import requests response = requests.get(url=url, proxies=proxies) Urllib2： import urllib2 proxy_support = urllib2.ProxyHandler(proxies) opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler) urllib2.install_opener(opener) # 安装opener，此后调用urlopen()时都会使用安装过的opener对象 response = urllib2.urlopen(url)
2、时间设置
适用情况：限制频率情况。
本文共计501个文字，预计阅读时间需要3分钟。
1、使用代理+适用情况：限制IP地址情况，也可解决因‘频繁点击’而需输入验证码登上的情况。+最佳方法：维护一个代理IP池，网上有很多免费的代理IP，但质量参差不齐。
1、使用代理
适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况。
这种情况最好的办法就是维护一个代理IP池，网上有很多免费的代理IP，良莠不齐，可以通过筛选找到能用的。对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。
proxies = {'XX.XX.XX.XX:XXXX'} Requests： import requests response = requests.get(url=url, proxies=proxies) Urllib2： import urllib2 proxy_support = urllib2.ProxyHandler(proxies) opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler) urllib2.install_opener(opener) # 安装opener，此后调用urlopen()时都会使用安装过的opener对象 response = urllib2.urlopen(url)
2、时间设置
适用情况：限制频率情况。