搜索引擎的基础概念和类型有哪些？

简单点搜索引擎就是个大搜集员、大分类员、大整理员。它啥都搜集，啥都分类，然后把这些信息存起来方便你随时去查。就像图书馆一样，只不过图书馆里的书是文字信息，而搜索引擎里的东西是各种各样的网页、图片、视频等等，我好了。。

它最主要的工作就是：搜集信息、分类信息、然后出来。

不过呢，这其中还有很多细节咱们以后再聊。

你知道吗？现在有很多不同的搜索引擎啊！ 它们各有特点，各有优势，不忍直视。。

比如：

• 谷歌 : 咱就是说最火的那个！几乎每个人的手机上都有它。 它厉害的地方在于它的算法非常强大，能找到最相关的后来啊。
• 百度 : 在中国大陆特别流行！ 百度对中文搜索特别擅长。
• 必应 : 微软出品的搜索引擎。 它的界面比较简洁美观，而且经常会有一些有趣的广告和推荐。
• DuckDuckGo: 这个挺特别的！ 它不追踪你的搜索记录和个人信息。 你懂的隐私保护啊！

robots.txt 文件就像给蜘蛛发的一封信一样。
告诉它们哪些页面可以访问,哪些页面不能访问。
比如说,你可以告诉蜘蛛不要爬取你的后台管理页面或者敏感数据页面。