如何使用Selenium进行Python爬虫安装与基础调试?

2026-05-21 19:502阅读0评论SEO基础
  • 内容介绍
  • 文章标签
  • 相关推荐

本文共计726个文字,预计阅读时间需要3分钟。

如何使用Selenium进行Python爬虫安装与基础调试?

1. 什么是Selenium?Selenium 是一套完整的Web应用程序测试系统,其核心Selenium Core基于JsUnit,完全由JavaScript编写。这使得Selenium可以运行在任何支持JavaScript的浏览器上,实现Web应用的直接测试运行。


1、什么是Selenium?

1)概念
Selenium 是一套完整的web应用程序测试系统
Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上
Selenium测试直接运行在浏览器中,就像真正的用户在操作一样(模拟人的行为)
支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等

优势
Selenium 测试直接在浏览器中运行,就像真实用户所做的一样
支持多种浏览器:Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中运行。其他测试工具都不能覆盖如此多的平台
可以较好地应对反爬措施

劣势
简单粗暴,但效率不高

2)如何安装
① 安装python的selenium
pip install -i pypi.tuna.tsinghua.edu.cn/simple selenium

②查看pip show selenium


③ 安装浏览器驱动(推荐谷歌浏览器)

步骤一、打开谷歌浏览器,查看自己的版本,设置页面网址:chrome://settings/help


步骤二、进入chrome驱动下载的地址:chromedriver.storage.googleapis.com/index.html注意、注意、注意:下载当前你的谷歌浏览器版本相近的驱动


步骤三、下载驱动(以windows为例)


步骤三、下载后解压,放入自己的路径

例如:C:\Program Files (x86)\Google\Chrome\Application


最后一步、添加环境变量

打开开始菜单->我的电脑(或计算机)->系统属性->高级系统设置->环境变量


如何使用Selenium进行Python爬虫安装与基础调试?

变量里的path,在最后面添加;C:\Program Files (x86)\Google\Chrome\Application或者在最前面添加C:\Program Files (x86)\Google\Chrome\Application,总之变量之间用分号隔开,修改完之后点击确定按钮保存配置

3)配置检查

在spyder中运行 - 注意如果刚配置好,重启spyder(可以根据自己的编辑器进行下面代码的输入测试,比如Sublime或者Prcharm都可以)


如果未安装驱动,会出现报错

简单测试打开网页

以打开百度网页为例,输入以下代码 ( 注意!!!文件的名称不要保存为selenium.py,否则会出现报错)

from selenium import webdriver

print("导入成功")

browser = webdriver.Chrome()
browser.get("www.baidu.com/")

输出的结果如下:


本文共计726个文字,预计阅读时间需要3分钟。

如何使用Selenium进行Python爬虫安装与基础调试?

1. 什么是Selenium?Selenium 是一套完整的Web应用程序测试系统,其核心Selenium Core基于JsUnit,完全由JavaScript编写。这使得Selenium可以运行在任何支持JavaScript的浏览器上,实现Web应用的直接测试运行。


1、什么是Selenium?

1)概念
Selenium 是一套完整的web应用程序测试系统
Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上
Selenium测试直接运行在浏览器中,就像真正的用户在操作一样(模拟人的行为)
支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等

优势
Selenium 测试直接在浏览器中运行,就像真实用户所做的一样
支持多种浏览器:Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Chrome和 Firefox 中运行。其他测试工具都不能覆盖如此多的平台
可以较好地应对反爬措施

劣势
简单粗暴,但效率不高

2)如何安装
① 安装python的selenium
pip install -i pypi.tuna.tsinghua.edu.cn/simple selenium

②查看pip show selenium


③ 安装浏览器驱动(推荐谷歌浏览器)

步骤一、打开谷歌浏览器,查看自己的版本,设置页面网址:chrome://settings/help


步骤二、进入chrome驱动下载的地址:chromedriver.storage.googleapis.com/index.html注意、注意、注意:下载当前你的谷歌浏览器版本相近的驱动


步骤三、下载驱动(以windows为例)


步骤三、下载后解压,放入自己的路径

例如:C:\Program Files (x86)\Google\Chrome\Application


最后一步、添加环境变量

打开开始菜单->我的电脑(或计算机)->系统属性->高级系统设置->环境变量


如何使用Selenium进行Python爬虫安装与基础调试?

变量里的path,在最后面添加;C:\Program Files (x86)\Google\Chrome\Application或者在最前面添加C:\Program Files (x86)\Google\Chrome\Application,总之变量之间用分号隔开,修改完之后点击确定按钮保存配置

3)配置检查

在spyder中运行 - 注意如果刚配置好,重启spyder(可以根据自己的编辑器进行下面代码的输入测试,比如Sublime或者Prcharm都可以)


如果未安装驱动,会出现报错

简单测试打开网页

以打开百度网页为例,输入以下代码 ( 注意!!!文件的名称不要保存为selenium.py,否则会出现报错)

from selenium import webdriver

print("导入成功")

browser = webdriver.Chrome()
browser.get("www.baidu.com/")

输出的结果如下: