如何用selenium实现无头Chrome爬取长尾关键词信息？

本文共计904个文字，预计阅读时间需要4分钟。

Python爬虫编写起来非常快，虽然也可以用Java，但Python的简洁和速度优势明显。特别是selenium库，在前端自动化测试中总结过，是一个自动化的测试库。Headless Chrome是一种无界面的浏览器模式，类似于PHANTOMJS。但PHANTOMJS逐渐被淘汰。

python爬虫写起来非常快，虽然也可以用java，但是没有python来的简洁迅速

selenium在前面总结过，是一个自动化测试库。headless chrome是无界面的浏览器模式，和PHANTOMJS类似。但是PHANTOMJS往往会出现莫名的错误，而且速度没有headless chrome快

from selenium.webdriver.chrome.options import Options global DRIVER chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') DRIVER = webdriver.Chrome(chrome_options=chrome_options)

爬虫的代码有一点需要注意，需要操作事件的时候最好不要直接用相应的方法，比如click。最好嵌入js脚本的方式进行调用。