Java爬虫中如何实现数据异步加载处理？

本文共计1942个文字，预计阅读时间需要8分钟。

这是Java爬虫系列文章的第三篇，在上篇中我们介绍了如何爬取需要登录的网站。中间，我们简要讲解了爬虫遇到登录问题的解决方法。在这篇文章中，我们将一起探讨爬虫的登录问题。

这是 Java 爬虫系列博文的第三篇，在上一篇Java 爬虫如何爬取需要登录的网站，该怎么办？ 中，我们简单的讲解了爬虫时遇到登录问题的解决办法，在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题，这也是爬虫中常见的问题。

现在很多都是前后端分离项目，这会使得数据异步加载问题更加突出，所以你在爬虫时遇到这类问题不必惊讶，不必慌张。对于这类问题的解决办法总体来说有以下两种：

1、内置一个浏览器内核

内置浏览器就是在抓取的程序中，启动一个浏览器内核，使我们获取到 js 渲染后的页面，这样我们就跟采集静态页面一样了。这种工具常用的有以下三种：

• Selenium
• HtmlUnit
• PhantomJs

这些工具都能帮助我们解决数据异步加载的问题，但是他们都存在缺陷，那就是效率不高而且不稳定。

2、反向解析法

什么是反向解析法呢？我们 js 渲染页面的数据是通过 Ajax 的方式从后端获取的，我们只需要找到对应的 Ajax 请求连接就 OK，这样我们就获取到了我们需要的数据，反向解析法的好处就是这种方式获取的数据都是 json 格式的数据，解析起来也比较方便，另一个好处就是相对页面来说，接口的变化概率更小。同样它有两个不足之处，一个是在 Ajax 时你需要有耐心有技巧，因为你需要在一大推请求中找到你想要的，另一个不足的地方就是对 JavaScript 渲染的页面束手无策。