如何通过Hadoop技术构建高效的倒排索引系统？

本文共计2485个文字，预计阅读时间需要10分钟。

写在前面：博主是一名大数据初学者，灵感来源于《爱丽丝梦游仙境》中的Alice和自己对知识的追求。

作为一名互联网小白，写博客一方面是为了记录自己的学习历程，另一方面是希望能懂。

写在前面： 博主是一名大数据的初学者，昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白，​​写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新​​​。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！个人小站:alices.ibilibili.xyz/尽管当前水平可能不及各位大佬，但我还是希望自己能够做得更好，因为​​一天的生活就是一生的缩影​​​。我希望​​在最美的年华，做最好的自己​​！

在正式开始之前，我们先来看看一个倒排索引的例子。 而具体什么是倒排索引？这里引用一下维基百科上的定义：

倒排索引（英语：Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。有两种不同的反向索引形式：

• 一条记录的水平反向索引（或者反向档案索引）包含每个引用单词的文档的列表。

• 一个单词的水平反向索引（或者完全反向索引）又包含每个单词在一个文档中的位置。

后者的形式提供了更多的兼容性（比如短语搜索），但是需要更多的时间和空间来创建。

倒排索引在搜索引擎中比较常见，百度，谷歌等大型互联网搜索引擎提供商均在搜索引擎业务中构建了倒序索引。本篇文章，就用一个简单的demo教大家如何使用Hadoop实现倒序索引。