如何获取2022年最新Robots.txt文件编写指南？

本文共计2660个文字，预计阅读时间需要11分钟。

Robots.txt文件是网站的一个文件，它告诉搜索引擎爬虫哪些内容可以抓取，哪些内容不可以抓取。例如，你可以用它来禁止搜索引擎抓取某些敏感页面或重复内容。主流搜索引擎（包括Google、Bing和Yahoo）都支持Robots.txt文件。

什么是Robots.txt文件？它有什么作用？

Robots.txt 是网站里的一个文件，它告诉搜索引擎抓取工具（蜘蛛）禁止或允许抓取网站的哪些内容。主流搜索引擎（包括 Google、Bing 和 Yahoo）都能够识别并尊重 Robots.txt的要求。

如需查看网站是否有Robots文件，请访问网址：域名/robots.txt，譬如xxx.com/robots.txt,
下图的示例，是一个 WordPress网站安装完Rank math SEO插件自动生成的robots文件及其内容。

本文原文出自专注于外贸建站的LOYSEO：loyseo.com/robots-txt/

Robots.txt 是怎么运作的？

要想知道Robots.txt文件是如何发挥作用的，就要了解搜索引擎的工作机制：①爬行②抓取③索引（也可以叫做收录）。

• 爬行：搜索引擎的蜘蛛在爬网的过程中，通过从其他网站中获取到了你的网址，那么它就会记录下这个网址。还有，你也可以通过搜索引擎的站长工具，譬如在Google Search Console中提交你的网站地图（Sitemap），告知搜索引擎你的网站网址。