如何使用selenium在爬虫中控制Chrome、Firefox等浏览器实现自动化信息抓取？

本文共计392个文字，预计阅读时间需要2分钟。

1. 首先导入selenium所需的包：`from selenium.webdriver import Chrome`

2.创建浏览器对象：`web=Chrome()`

3.打开浏览器：`web.open(网址)`

1. 首先将我们需要的selenium的包导入
from selenium.webdriver import Chrome(如果使用chrome浏览器就导入chrome,如果使用别的浏览器则将名称换掉即可)
2. 创建浏览器对象
web = Chrome()
3. 打开浏览器
web.get("www.baidu.com")(此处以百度举例)
4. 找到某个元素. 点击它
el = web.find_element_by_xpath('此处是xpath的地址')(xpath不了解的可以看我之前的博客)
el.click() # 点击事件

5. 查找某些元素时,我们需要掌握前后端的一些知识,我们可以通过element,class_name,id,tag_name等,主要视情况而定

- 6.当执行点击事件时,我们需要导入Keys
from selenium.webdriver.common.keys import Keys
- 7.浏览器窗口之间的切换
web.switch_to.window(web.window_handles[-1])
表示的是网页栏最后一个网页
web.switch_to.window(web.window_handles[0])
表示的是网页栏第一个网页

以下讲的是当网页中存在iframe的网页内嵌的时候:

我们先找到iframe的网址然后进行切换

web.get("")

# 处理iframe的话. 必须先拿到iframe. 然后切换视角到iframe . 再然后才可以拿数据

iframe = web.find_element_by_xpath('iframe的地址')

web.switch_to.frame(iframe) # 切换到iframe

web.switch_to.default_content() # 切换回原页面

无头浏览器的应用

# 准备好参数配置
opt = Options()
opt.add_argument("--headless")
opt.add_argument("--disable-gpu")

web = Chrome(options=opt) # 把参数配置设置到浏览器中