如何破解反爬虫技术，让爬虫与反爬之战不再无休止？

本文共计2946个文字，预计阅读时间需要12分钟。

在现实生活里，许多人实际上都与爬虫打交道。比如，临近节假日时，为确保能买到回家的火车票，有人会选择使用抢票软件。这个软件就是利用网络爬虫登录铁路售票网站，自动抢购车票。

现实生活中，其实很多人都与爬虫“打过交道”。

比如，逢年过节之时，为确保能买到回家火车票，有人会选择使用“抢票软件”，这个软件就是利用网络爬虫来登录铁路售票网络，并爬取票务信息，然后辅以批量化、自动化和高速化的购票流程处理，从而能以毫秒级的刷新来获取人工购票难以企及的信息和速度优势。显然，这种“充钱加塞”的方式显然对正常渠道的购票者有失公平。

就连最高人民法院旗下的“中国裁判文书网”也难逃爬虫侵扰，以至于用户怨声载道。

2019年，最高人民法院发布的《关于“中国裁判文书网”网站建设建议的答复》提到，“大量技术公司通过爬虫系统无限制地访问非法获取裁判文书数据，造成网站负荷过大，大量正常用户请求堵塞，访问出现速度慢或部分页面无法显示等现象。”

再比如，2019年，国内外不少网站经营者抱怨遭遇了一些搜索引擎爬虫的访问，因访问频率过高，一度令一些网站瘫痪。“短短一上午时间就收到了 46 万次请求，消耗掉服务器 7.42GB 流量。这对平均日活可能都没有过千的小网站来说，已经算得上一次小型的DDoS攻击。”一位遭遇搜索引擎爬虫的网站经营者对此感叹道。

网络爬虫不光消耗“被爬取方”网站的流量，同时能够“抓走”网站页面的数据，因此常引发纷争。

因而，爬虫与反爬技术是一场无休止之战，发起攻击的一方需要思考如何“锋利其矛”，而防守一方则需要考虑如何“牢固其盾”。

爬虫与反爬虫，一场无休止战争

事实上，最早的爬虫起源于搜索引擎。