编写爬虫时，你是否遭遇过相似困境？

本文共计1174个文字，预计阅读时间需要5分钟。

场景一：找到目标网站，打开F12，观察一幕，查看network面板，抓请求数据，简单简单，有json返回，So Easy！

代码一：搞定的嘛！

---

场景一：

• 找好目标网站
• 兴高采烈的打开F12，观察一番
• 查看network面板，抓请求，简简单单有json返回，So Easy。
• 代码一顿噼里啪啦，搞定！

场景二：

• 找好目标网站
• 兴高采烈的打开F12，观察一番
• 网站没有直接返回数据，而是html啥的,简单，解析html呗。
• xpath,css selector ，re给我盘他。
• 代码一顿噼里啪啦，搞定!

场景三：

• 找好目标网站
• 兴高采烈的打开F12，观察一番
• 请求只返回了js,然后js动态加载到网页中。
• 上家伙，selenium,puppeteer，phanotomjs，给我盘他。
• 代码一顿噼里啪啦，搞定!

到这里就已经能应对90%的情况了。