机器人协议：互联网爬虫的神秘守则是如何制定的？

嘿！你有没有想过每当你打开搜索后来啊页面时那些背后默默抓取网页内容的小程序到底怎么做到既快速又礼貌呢？

A 吗？没错，就是我们常说的“机器人协议”， 当你.… 或者更亲切一点叫做 robots.txt。

C 就是站点管理员用来和爬虫打招呼的一张小纸条。它告诉这些程序哪些地方可以走路，哪些地方要躲着走。

D 看似简单，却把整个互联网抓取生态绑成了一条共同遵守的准则。

它到底是什么？

极度舒适。 E 它其实是一段纯文本文件。放在网站根目录下 用最原始的格式写成：

User-agent:
Disallow:

M 嗯，说起来挺老套，但这段代码就像是给爬虫发的一封“请勿进”的邀请函，说句实话…。

N 哦，你以为这只是一个玩笑？其实大多数主流搜索引擎，比如 GoogleBot、 白嫖。 BingBot 和百度蜘蛛，都自觉遵守它。

P 咱就是说 它像一张通行证，只要你放上这个文件，一旦被发现，你就能得到爬虫们的尊重。

为什么要这么做？

T 主要原因是如果没有规则， 一大堆爬虫会无差别地冲进服务器，把资源抢光，就像连锁超市被抢劫一样，还行。。

S 它能帮你减少服务器压力，让合法访客和搜索引擎都能更流畅地浏览页面，对吧？。

L 当站长们把敏感数据隐藏起来时也能让这些信息不会被随便抓走。

核心指令拆解

• User-agent:* 表示所有遵守协议的爬虫都适用。
• User-agent:Name    // 针对单一爬虫写规则。
• Noindex 不需要， 主要原因是它是针对搜索引擎索引层面的设置，而 robots.txt 是访问层面的控制。
• Crawl-delay:    // 控制请求间隔时间，让服务器喘口气。

X 那么具体怎么写呢？先从最常见开始：

User-agent: *
Disallow:
Crawl-delay: 10
Sitemap: /sitemap.xml

Z 看这里 “Disallow:” 后面留空说明没限制，也就是全站可抓取。

K 不过如果你想限制特定路径， 可以加上斜杠后跟路径名，比方说：，呃...

User-agent:
Disallow:/admin/
Disallow:/tmp/
Allow:/tmp/public.html
Sitemap:/sitemap.xml
Crawl-delay:5

L 嗯，那啥子“Allow”干嘛用啊？就是给你想让其访问的一页开门。比如上面那句让 /tmp/public.html 能被抓取， 什么鬼？ 但其它 /tmp/ 都不能。

注意点：先匹配 User‑agent，再看 Disallow 或 Allow 的优先级哦！如果两者冲突，一般 Disallow 优先，以免误抓敏感文件。

实际案例

• /login/ 与 /checkout/ 一律禁止访问， 让登录与结账环节保持平安性.
• /api/secret/* 同样禁用，以免泄露接口细节.
• /public-info.html 可以开放，让访客轻松获取公共信息.
• Sitemap 指向完整站点地图，提高重要页面被收录几率.

这家伙... M 在实际部署中，你可能还会遇到这种情况：

User-agent:* 
Disallow:/private/
Allow:/private/public_info.html
Sitemap:/sitemap.xml
Crawl-delay :15
// 小贴士：每次改完后用 Google Search Console 的 URL 检测工具确认生效。

律法视角