如何用WebMagic爬取豆瓣电影评论并实现长尾词分析？

本文共计685个文字，预计阅读时间需要3分钟。

目标+搭建爬虫平台，爬取某豆瓣电影的评价信息。+准备+WebMagic是一个开源的Java垂直爬虫框架，旨在简化爬虫的开发流程，让开发者专注于逻辑功能的开发。WebMagic的核心非常简单。

目的

搭建爬虫平台，爬取某豆瓣电影的评论信息。

准备

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。

下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：gitee.com/flashsword20/webmagic

试运行

搭建好后打开项目， 在us.codecraft.webmagic.processor.example包下有几个可运行的例子，我们可以直接运行体验（BaiduBaikePageProcessor 百度百科的这个比较稳定）。

爬到结果说明没问题。

自定义爬虫

接下来我们自己编写一个爬取豆瓣评论的爬虫。