如何通过selenium python设置chrome浏览器配置选项?

2026-05-28 22:250阅读0评论SEO问题
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计2888个文字,预计阅读时间需要12分钟。

如何通过selenium python设置chrome浏览器配置选项?

1. 背景及环境:使用Selenium进行网页信息爬取时,默认情况下采用的是一个纯净的Chrome浏览器。然而,在实际操作中,我们通常会在浏览器中安装插件,以扩展功能或实现代理等需求。

1. 背景

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

常用的行为有:

  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。
  • ………

2. 环境

  • python 3.6.1
  • 系统:win7
  • IDE:pycharm
  • 安装过chrome浏览器
  • 配置好chromedriver
  • selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。

阅读全文

本文共计2888个文字,预计阅读时间需要12分钟。

如何通过selenium python设置chrome浏览器配置选项?

1. 背景及环境:使用Selenium进行网页信息爬取时,默认情况下采用的是一个纯净的Chrome浏览器。然而,在实际操作中,我们通常会在浏览器中安装插件,以扩展功能或实现代理等需求。

1. 背景

在使用selenium浏览器渲染技术,爬取网站信息时,默认情况下就是一个普通的纯净的chrome浏览器,而我们平时在使用浏览器时,经常就添加一些插件,扩展,代理之类的应用。相对应的,当我们用chrome浏览器爬取网站时,可能需要对这个chrome做一些特殊的配置,以满足爬虫的行为。

常用的行为有:

  • 禁止图片和视频的加载:提升网页加载速度。
  • 添加代理:用于翻墙访问某些页面,或者应对IP访问频率限制的反爬技术。
  • 使用移动头:访问移动端的站点,一般这种站点的反爬技术比较薄弱。
  • 添加扩展:像正常使用浏览器一样的功能。
  • 设置编码:应对中文站,防止乱码。
  • 阻止JavaScript执行。
  • ………

2. 环境

  • python 3.6.1
  • 系统:win7
  • IDE:pycharm
  • 安装过chrome浏览器
  • 配置好chromedriver
  • selenium 3.7.0

3. chromeOptions

chromeOptions 是一个配置 chrome 启动是属性的类。

阅读全文