在Python网络爬虫中，如何设置`stream=True`参数以优化网络请求构建？

本文共计751个文字，预计阅读时间需要4分钟。

家人们，我是皮皮。一、前言，前些天在Python最强王者交流群【德善堂小儿童推-糕糕老先生】分享了有关Python网络爬虫的问题，这里拿出来给家人们分享一下，一起学习。

二、解决过程

大家好，我是皮皮。

一、前言

前几天在Python最强王者交流群分享了一个关于Python网络爬虫的问题，这里拿出来给大家分享下，一起学习。

二、解决过程

这里大佬提出了思路，的确可行。

给了一份代码，取巧，这里就不展示了。后来给了一份可行的代码，如下所示：

for url in all_url:
resp = requests.get(url, headers=header, stream=True)
content_length = resp.headers.get('content-length')
if content_length and int(content_length) > 10240:
print(url)

程序运行之后，不到1秒就出来结果了，没想到jupyter里边可以自动显示时间，以前也有看到，但是没有留意，Pycharm里边是没有的，这里来看，jupyter还是蛮香，Pycharm还得自己设置打印时间。