在Python网络爬虫中，如何有效避免重复请求？

本文共计461个文字，预计阅读时间需要2分钟。

大家好，我是小皮。一、前言，前几天在Python砖石群有个叫【某星】的群友问了一个关于Python网络爬虫中重请求的问题，这里拿出来给大家分享一下，一起学习。二、解决过程，这里...

大家好，我是皮皮。

一、前言

前几天在Python钻石群有个叫的粉丝问了一个关于Python网络爬虫中重新请求的问题，这里拿出来给大家分享下，一起学习。

二、解决过程

这里大佬给了一个思路，确实可行。

不过后来她自己又找到了一个更好的方法，找到一个HTTPAdapter可以实现超时重试，大概用法如下：

from requests.adapters import HTTPAdapter

req = requests.Session()

req.mount('', HTTPAdapter(max_retries=3))

response = req.get("​​weibo.com/ajax/statuses/hot_band​​", timeout=10)

最后判断数据 len(hot_dict.get("content")) == 50

大概是可以的。

当时看到这里，也想起来前几天分享的那个题目，关于Python网络爬虫请求的时候，大文件的抓取判断。