關(guān)于倒排索引

搜索引擎通常檢索的場景是：給定幾個(gè)關(guān)鍵詞，找出包含關(guān)鍵詞的文檔。
怎么快速找到包含某個(gè)關(guān)鍵詞的文檔就成為搜索的關(guān)鍵。這里我們借助單詞——文檔矩陣模型，通過這個(gè)模型我們可以很方便知道某篇文檔包含哪些關(guān)鍵詞，某個(gè)關(guān)鍵詞被哪些文檔所包含。
單詞-文檔矩陣的具體數(shù)據(jù)結(jié)構(gòu)可以是倒排索引、簽名文件、后綴樹等。

倒排索引源于實(shí)際應(yīng)用中需要根據(jù)屬性的值來查找記錄，lucene是基于倒排索引實(shí)現(xiàn)的。這種索引表中的每一項(xiàng)都包括一個(gè)屬性值和具有該屬性值的各記錄的地址。
由于不是由記錄來確定屬性值，而是由屬性值來確定記錄的位置，因而稱為倒排索引(inverted index)。
帶有倒排索引的文件我們稱為倒排索引文件，簡稱倒排文件(inverted file)。
倒排索引一般表示為一個(gè)關(guān)鍵詞，然后是它的頻度（出現(xiàn)的次數(shù)），位置（出現(xiàn)在哪一篇文章或網(wǎng)頁中，及有關(guān)的日期，作者等信息），它相當(dāng)于為互聯(lián)網(wǎng)上幾千億頁網(wǎng)頁做了一個(gè)索引，好比一本書的目錄、標(biāo)簽一般。讀者想看哪一個(gè)主題相關(guān)的章節(jié)，直接根據(jù)目錄即可找到相關(guān)的頁面。不必再從書的第一頁到最后一頁，一頁一頁的查找。

倒排索引由兩個(gè)部分組成：單詞詞典和倒排文件。

倒排文件

所有單詞的倒排列表順序的存儲(chǔ)在磁盤的某個(gè)文件里，這個(gè)文件即被稱為倒排文件，倒排文件是存儲(chǔ)倒排索引的物理文件。

單詞詞典

單詞詞典是由文檔集合中出現(xiàn)過的所有單詞構(gòu)成的字符串集合，單詞詞典內(nèi)每條索引項(xiàng)記載單詞本身的一些信息以及指向“倒排列表”的指針。
單詞詞典是倒排索引中非常重要的組成部分，它是用來維護(hù)文檔集合中所有單詞的相關(guān)信息，同時(shí)用來記載某個(gè)單詞對(duì)應(yīng)的倒排列表在倒排文件中的位置信息。在支持搜索時(shí)，根據(jù)用戶的查詢?cè)~，去單詞詞典里查詢，就能夠獲得相應(yīng)的倒排列表。
對(duì)于一個(gè)規(guī)模很大的文檔集合來說，可能包含了幾十萬甚至上百萬的不同單詞，
快速定位某個(gè)單詞直接決定搜索的響應(yīng)速度，所以我們需要很高效的數(shù)據(jù)結(jié)構(gòu)對(duì)單詞詞典進(jìn)行構(gòu)建和查找。
常用的數(shù)據(jù)結(jié)構(gòu)包含哈希加鏈表和樹形詞典結(jié)構(gòu)。

Lucene倒排索引原理

Lucerne使用的是倒排文件索引結(jié)構(gòu)。該結(jié)構(gòu)及相應(yīng)的生成算法如下： 　　

設(shè)有兩篇文章1和2：

文章1的內(nèi)容為：Tom lives in Guangzhou,I live in Guangzhou too. 　　

文章2的內(nèi)容為：He once lived in Shanghai.

<1>取得關(guān)鍵詞

由于lucene是基于關(guān)鍵詞索引和查詢的，首先我們要取得這兩篇文章的關(guān)鍵詞，通常我們需要如下處理措施： 　　

a.我們現(xiàn)在有的是文章內(nèi)容，即一個(gè)字符串，我們先要找出字符串中的所有單詞，即分詞。英文單詞由于用空格分隔，比較好處理。中文單詞間是連在一起的需要特殊的分詞處理。 　 　

b.文章中的”in”, “once” “too”等詞沒有什么實(shí)際意義，中文中的“的”“是”等字通常也無具體含義，這些不代表概念的詞可以過濾掉 　　

c.用戶通常希望查“He”時(shí)能把含“he”，“HE”的文章也找出來，所以所有單詞需要統(tǒng)一大小寫。 　　

d.用戶通常希望查“l(fā)ive”時(shí)能把含“l(fā)ives”，“l(fā)ived”的文章也找出來，所以需要把“l(fā)ives”，“l(fā)ived”還原成“l(fā)ive” 　　

e.文章中的標(biāo)點(diǎn)符號(hào)通常不表示某種概念，也可以過濾掉 　　

在lucene中以上措施由Analyzer類完成。 經(jīng)過上面處理后，

文章1的所有關(guān)鍵詞為：[tom] [live] [guangzhou] [i] [live] [guangzhou] 　 　

文章2的所有關(guān)鍵詞為：[he] [live] [shanghai]

<2>建立倒排索引

有了關(guān)鍵詞后，我們就可以建立倒排索引了。上面的對(duì)應(yīng)關(guān)系是：“文章號(hào)”對(duì)“文章中所有關(guān)鍵詞”。倒排索引把這個(gè)關(guān)系倒過來，變成: “關(guān)鍵詞”對(duì)“擁有該關(guān)鍵詞的所有文章號(hào)”。

文章1，2經(jīng)過倒排后變成

關(guān)鍵詞????????? 文章號(hào) 　　 guangzhou??????? 1 　　 he?????????????? 2 　　 i??????????????? 1 　　 live???????????? 1,2 　　 shanghai???????? 2 　　 tom????????????? 1 　　

通常僅知道關(guān)鍵詞在哪些文章中出現(xiàn)還不夠，我們還需要知道關(guān)鍵詞在文章中出現(xiàn)次數(shù)和出現(xiàn)的位置，通常有兩種位置：

a.字符位置，即記錄該詞是文章中第幾個(gè)字符（優(yōu)點(diǎn)是關(guān)鍵詞亮顯時(shí)定位快）；

b.關(guān)鍵詞位置，即記錄該詞是文章中第幾個(gè)關(guān)鍵詞（優(yōu)點(diǎn)是節(jié)約索引空間、詞組（phase）查詢快），lucene中記錄的就是這種位置。 　　

加上“出現(xiàn)頻率”和“出現(xiàn)位置”信息后，我們的索引結(jié)構(gòu)變?yōu)?#xff1a; 　　

1 2 3 4 5 6 7 8

關(guān)鍵詞??????????? 文章號(hào)[出現(xiàn)頻率]????????????? 出現(xiàn)位置 　　 guangzhou?????????? 1[2]????????????????????? 3，6 　　 he????????????????? 2[1]????????????????????? 1 　　 i?????????????????? 1[1]????????????????????? 4 　　 live??????????????? 1[2]????????????????????? 2，5, ????????????????????2[1]????????????????????? 2 　　 shanghai??????????? 2[1]????????????????????? 3 　　 tom???????????????? 1[1]????????????????????? 1

以live 這行為例我們說明一下該結(jié)構(gòu)：live在文章1中出現(xiàn)了2次，文章2中出現(xiàn)了一次，它的出現(xiàn)位置為“2,5,2”這表示什么呢？我們需要結(jié)合文章號(hào)和出現(xiàn)頻率來分析，文章1中出現(xiàn)了2次，那么“2,5”就表示live在文章1中出現(xiàn)的兩個(gè)位置，文章2中出現(xiàn)了一次，剩下的“2”就表示live是文章2中第 2個(gè)關(guān)鍵字。 　　

以上就是lucene索引結(jié)構(gòu)中最核心的部分。我們注意到關(guān)鍵字是按字符順序排列的（lucene沒有使用B樹結(jié)構(gòu)），因此lucene可以用二分搜索算法快速定位關(guān)鍵詞。

<3>實(shí)現(xiàn)

實(shí)現(xiàn)時(shí)，lucene將上面三列分別作為詞典文件（Term Dictionary）、頻率文件(frequencies)、位置文件 (positions)保存。其中詞典文件不僅保存有每個(gè)關(guān)鍵詞，還保留了指向頻率文件和位置文件的指針，通過指針可以找到該關(guān)鍵字的頻率信息和位置信息。 　　

Lucene中使用了field的概念，用于表達(dá)信息所在位置（如標(biāo)題中，文章中，url中），在建索引中，該field信息也記錄在詞典文件中，每個(gè)關(guān)鍵詞都有一個(gè)field信息(因?yàn)槊總€(gè)關(guān)鍵字一定屬于一個(gè)或多個(gè)field)。

<4>壓縮算法

為了減小索引文件的大小，Lucene對(duì)索引還使用了壓縮技術(shù)。

首先，對(duì)詞典文件中的關(guān)鍵詞進(jìn)行了壓縮，關(guān)鍵詞壓縮為<前綴長度，后綴>，例如：當(dāng)前詞為“阿拉伯語”，上一個(gè)詞為“阿拉伯”，那么“阿拉伯語”壓縮為<3，語>。

其次大量用到的是對(duì)數(shù)字的壓縮，數(shù)字只保存與上一個(gè)值的差值（這樣可以減小數(shù)字的長度，進(jìn)而減少保存該數(shù)字需要的字節(jié)數(shù)）。例如當(dāng)前文章號(hào)是16389（不壓縮要用3個(gè)字節(jié)保存），上一文章號(hào)是16382，壓縮后保存7（只用一個(gè)字節(jié)）。

<5>應(yīng)用原因

下面我們可以通過對(duì)該索引的查詢來解釋一下為什么要建立索引。 　　

假設(shè)要查詢單詞 “l(fā)ive”，lucene先對(duì)詞典二元查找、找到該詞，通過指向頻率文件的指針讀出所有文章號(hào)，然后返回結(jié)果。詞典通常非常小，因而，整個(gè)過程的時(shí)間是毫秒級(jí)的。 　　

而用普通的順序匹配算法，不建索引，而是對(duì)所有文章的內(nèi)容進(jìn)行字符串匹配，這個(gè)過程將會(huì)相當(dāng)緩慢，當(dāng)文章數(shù)目很大時(shí)，時(shí)間往往是無法忍受的。

?

整理自?

Lucene 工作原理之倒排索引

Lucene倒排索引

轉(zhuǎn)載于:https://www.cnblogs.com/duanxz/p/3559103.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的倒排索引原理和实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。