如何用Node高效爬取大量长尾关键词文件？

本文共计955个文字，预计阅读时间需要4分钟。

有位朋友在搞科研工作，经常访问的一个网站叫留学者指南，每次都要亲自访问，显得特别不专业。这次，我打算帮他们写个爬虫脚本，去爬取他们家的信息。

有个朋友在搞留学工作室，经常访问的一个网站叫留学者指南，然而每次都要去访问该网站，显得极其不专业。于是托俺帮忙写脚本去爬他家的东西，我观察了下，这次，我们要爬的东西就有点多了——大概就20多万个文件吧~~~

在20多万个文件中，下载极有可能会被中断，因此需要做下载进度备份，下载进度恢复。