如何使用Scrapy和Selenium结合实现动态网站数据的爬取示例？

本文共计619个文字，预计阅读时间需要3分钟。

Scrapy框架仅能爬取静态网站。若需爬取动态网站，需结合selenium进行js的渲染，才能获取到动态加载的数据。如何通过selenium请求url，而不再通过下载器Downloader去请求这个url的方法是：

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。

如何通过selenium请求url，而不再通过下载器Downloader去请求这个url?

方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将 源 代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的process_request()以及Downloader都跳过了。