如何利用js逆向技术破解网络爬虫，实现长尾词高效采集？

本文共计1859个文字，预计阅读时间需要8分钟。

1+ 引用 + 上个月写过某网站（请原帖作者帮我听听狗叫声）的爬虫，这两天需要重新采集一次，使用的是scrapy-redis框架，本来以为二次爬取可以轻松完成，没想到爬虫启动没几秒就出现了大量的‘

1 引言

数月前写过某网站（请原谅我的掩耳盗铃）的爬虫，这两天需要重新采集一次，用的是scrapy-redis框架，本以为二次爬取可以轻松完成的，可没想到爬虫启动没几秒，出现了大堆的重试提示，心里顿时就咯噔一下，悠闲时光估计要结束了。
仔细分析后，发现是获取店铺列表的请求出现问题，通过浏览器抓包，发现请求头参数中相比之前多了一个X-Shard和x-uab参数，如下图所示：

X-Shard倒是没什么问题，一看就是兴趣点的经纬度，但x-uab看过之后就让人心里苦了，js加密啊，只能去逆向解密了。

2 js逆向求解

最直接的思路是根据“x-uab”关键字在所有关键中查找（chrome浏览器-source中按ctrl + shift + F快捷键），结果如下所示：

接下来，打个断点调试一下：在数字那里点一下，数字位置出现蓝点，表示添加断点成功，然后刷新获取店铺列表的页面，程序会在断点处停下。