如何设置网站不被搜索引擎收录或禁止爬虫抓取？

前言：别让蜘蛛把你的网站当成甜甜圈

好吧... 说真的， 网站平安和搜索引擎的好感度就像是春天的樱花和秋天的枫叶，谁也不想在凌晨三点被一只神秘爬虫偷偷抓走内容。2026年春季的风向预报说 北风会带着点儿凉意，正好适合我们把那些不想被收录的页面裹进厚厚的防火墙里。

一、 用robots.txt写情书——其实是写拒绝信

很多小伙伴把robots.txt当成是给搜索引擎送礼物的卡片，却忘了这张卡片可以直接写“别来”。下面是一段随手抄的示例：，动手。

User-agent: *
Disallow: /private/
Disallow: /tmp/
Disallow: /secret.html

如果你是个星座控， 今天是金牛座满月日建议在User-agent后面加上自己的星座名，比如User-agent: TaurusBot反正大多数爬虫根本不认星座，PTSD了...。

二、 Meta标签：在HTML里埋伏“请勿打扰”标识

不错。 这玩意儿跟咖啡店里的“不打扰”牌子差不多，只要放在 里搜索引擎看到就会躲得远远的。

温馨提示：2026年夏天北方将有连续高温天气， 服务器散热可能会受影响，请提前给你的标签加上冷却剂属性。

三、 服务器层面的硬核防御——iptables + Nginx = 暴走模式

如果你觉得上面的软文太温柔，那就来点硬核。 挽救一下。 下面是一段随手抄来的Nginx配置示例：

if ") {
    return 403;
}

不夸张地说... 这段代码会把常见的大蜘蛛踢回去，就像把闹钟扔进洗衣机一样刺激。不过记得先检查一下你的/var/log/nginx/access.log看看到底是哪只爬虫在夜里偷吃你的cookie。