如何安装Windows下的Node爬虫神器Puppeteer？

本文共计1377个文字，预计阅读时间需要6分钟。

关于爬虫，相信大家对它并不陌生。当渴望获取某些网站的数据并做一些有趣的事时，爬取网页是必不可少的步骤。目前，网络上关于爬虫的教程和资料非常多，尤其是以Python语言为基础的教程。

对于爬虫，相信大家并不陌生。当希望得到一些网站的数据并做一些有趣的事时，必不可少要爬取网页，用到爬虫。而目前网络上也有很多爬虫的教程资料，不过又尤以python语言居多。想来自己是做web的，就希望以js的方式解决问题，于是希望利用nodejs。今天介绍一款node的爬虫利器：Puppeteer。

Puppeteer正如其名“木偶”，它允许我们像牵线木偶一样操纵它。它是一个建立在DevTools协议上的提供控制无头Chrome或Chromium的高级接口的Node库。官网上对其应用举了几个例子：

• - 生成网页的截屏（目前仅支持支持jpeg、png格式）和pdf文件
• - 爬取SPA和异步渲染网页
• - 自动表单提交、键盘输入、UI测试等
• - 创建最新的自动测试环境，也就是说可以使用最新的浏览器特性
• - 捕获站点的时间线以帮助分析性能问题

Puppeteer本质上是一个headless chrome。无头浏览器，相信如果大家做爬虫肯定有所耳闻。其实就是一个没有UI界面的浏览器，它包含了浏览器应该具有的功能，通常做web测试用，不过做爬虫也是没问题的。PhantomJS就提供这样的功能，基于webkit内核，已经有好几年历史了。不过因为Puppeteer有背景（谷歌Chrome团队开发），我最后还是选择了Puppeteer。它们之间的不同点是后者只关注于Chromium或Chrome。这也导致了最坑的一点是总是绑定最新版本的Chromium。