搜索引擎的基础概念和类型有哪些？

简单点搜索引擎就是个大搜集员、大分类员、大整理员。它啥都搜集，啥都分类，然后把这些信息存起来方便你随时去查。就像图书馆一样，只不过图书馆里的书是文字信息，而搜索引擎里的东西是各种各样的网页、图片、视频等等，我好了。。

它最主要的工作就是：搜集信息、分类信息、然后出来。

不过呢，这其中还有很多细节咱们以后再聊。

你知道吗？现在有很多不同的搜索引擎啊！ 它们各有特点，各有优势，不忍直视。。

比如：

• 谷歌 : 咱就是说最火的那个！几乎每个人的手机上都有它。 它厉害的地方在于它的算法非常强大，能找到最相关的后来啊。
• 百度 : 在中国大陆特别流行！ 百度对中文搜索特别擅长。
• 必应 : 微软出品的搜索引擎。 它的界面比较简洁美观，而且经常会有一些有趣的广告和推荐。
• DuckDuckGo: 这个挺特别的！ 它不追踪你的搜索记录和个人信息。 你懂的隐私保护啊！

robots.txt 文件就像给蜘蛛发的一封信一样。
告诉它们哪些页面可以访问,哪些页面不能访问。
比如说,你可以告诉蜘蛛不要爬取你的后台管理页面或者敏感数据页面。
这很重要哦!

在网站根目录下创建一个名为 robots.txt 的文件。 文件名一定要是 robots.txt ，不能写成 robots 或者 Robots 之类的。 大小写也必须正确! 在 robots.txt 文件里添加一些指令来告诉蜘蛛哪些页面可以访问,哪些页面不能访问。 比方说： 允许访问首页和内容页面的指令 ，禁止访问后台页面的指令 ，将心比心...。

重要提示

如果你设置了错误的 robots.txt 文件或者其他相关文件, 就有 谨记... 可能导致搜索引擎无法收录你的网站或者某些重要的页面. 这真的挺麻烦的!

• 收录下降: 这是最直接的影响. 如果某些重要的页面被屏蔽了, 就可能导致整个网站无法被索引. 比如我之前写的《错误的文件设置对SEO的影响》里面就讲到了这个问题。 如果你随便写了一个错误的规则, 就可能导致整个网站无法被收录!
• 排名下降: 收录, 也无法获得流量, 所以间接影响排名。
• 用户体验差: 如果用户无法找到想要的页面或者遇到其他问题, 就容易造成用户流失. 这也会间接影响 SEO的效果。