如何使用Python爬虫(part12)实现随机UserAgent的获取?
- 内容介绍
- 文章标签
- 相关推荐
本文共计229个文字,预计阅读时间需要1分钟。
学习笔记 + fake_useragent 模块,通常,我都是自己在网上找User-Agent,然后写一个模块,把收集到的User-Agent存储进去,爬虫运行时再import这个模块,随机调用其中的User-Agent。
学习笔记
fake_useragent模块
通常,我都是自己在网上找User-Agent,然后写一个模块,把收集到的User-Agent一股脑塞进这个模块中,爬虫的时候再import这个模块,随机调用模块里的User-Agent。
现在,有一个fake_useragent模块,可以在线随机生成User-Agent供我们使用,似不似很方便?
- 语法
ua = UserAgent()
user_agent = ua.random
- 举个例子
我们向测试网站(httpbin.org/get"
}
[Finished in 4.1s]
可以看到fake_useragent模块的确帮助我们生成了一个User-Agent。
本文共计229个文字,预计阅读时间需要1分钟。
学习笔记 + fake_useragent 模块,通常,我都是自己在网上找User-Agent,然后写一个模块,把收集到的User-Agent存储进去,爬虫运行时再import这个模块,随机调用其中的User-Agent。
学习笔记
fake_useragent模块
通常,我都是自己在网上找User-Agent,然后写一个模块,把收集到的User-Agent一股脑塞进这个模块中,爬虫的时候再import这个模块,随机调用模块里的User-Agent。
现在,有一个fake_useragent模块,可以在线随机生成User-Agent供我们使用,似不似很方便?
- 语法
ua = UserAgent()
user_agent = ua.random
- 举个例子
我们向测试网站(httpbin.org/get"
}
[Finished in 4.1s]
可以看到fake_useragent模块的确帮助我们生成了一个User-Agent。

