原文鏈接 http://www.cnblogs.com/dewin/archive/2009/11/24/1609905.html

?

Lucene是一個(gè)高性能的java全文檢索工具包，它使用的是倒排文件索引結(jié)構(gòu)。

該結(jié)構(gòu)及相應(yīng)的生成算法如下：
　　
　　0）設(shè)有兩篇文章1和2
　　文章1的內(nèi)容為：Tom lives in Guangzhou,I live in Guangzhou too.
　　文章2的內(nèi)容為：He once lived in Shanghai.
　　
　　1)由于lucene是基于關(guān)鍵詞索引和查詢的，首先我們要取得這兩篇文章的關(guān)鍵詞，通常我們需要如下處理措施
　　a.我們現(xiàn)在有的是文章內(nèi)容，即一個(gè)字符串，我們先要找出字符串中的所有單詞，即分詞。英文單詞由于用空格分隔，

　　比較好處理。中文單詞間是連在一起的需要特殊的分詞處理。
　　b.文章中的”in”, “once” “too”等詞沒有什么實(shí)際意義，中文中的“的”“是”等字通常也無具體含義，這些不代表概念的詞可以過濾掉
　　c.用戶通常希望查“He”時(shí)能把含“he”，“HE”的文章也找出來，所以所有單詞需要統(tǒng)一大小寫。
　　d.用戶通常希望查“l(fā)ive”時(shí)能把含“l(fā)ives”，“l(fā)ived”的文章也找出來，所以需要把“l(fā)ives”，“l(fā)ived”還原成“l(fā)ive”
　　e.文章中的標(biāo)點(diǎn)符號(hào)通常不表示某種概念，也可以過濾掉
　　在lucene中以上措施由Analyzer類完成
　　
　　經(jīng)過上面處理后
　　 文章1的所有關(guān)鍵詞為：[tom] [live] [guangzhou] [live] [guangzhou]
　　 文章2的所有關(guān)鍵詞為：[he] [live] [shanghai]
　　
　　2) 有了關(guān)鍵詞后，我們就可以建立倒排索引了。上面的對(duì)應(yīng)關(guān)系是：“文章號(hào)”對(duì)“文章中所有關(guān)鍵詞”。

倒排索引把這個(gè)關(guān)系倒過來，變成：“關(guān)鍵詞”對(duì)“擁有該關(guān)鍵詞的所有文章號(hào)”。文章1，2經(jīng)過倒排后變成
　　關(guān)鍵詞?????????????? 文章號(hào)
　　guangzhou???????? 1
　　he???????????????????? 2
　　i??????????????????????? 1
　　live??????????????????? 1,2
　　shanghai??????????? 2
　　tom?????????????????? 1
　　
　　通常僅知道關(guān)鍵詞在哪些文章中出現(xiàn)還不夠，我們還需要知道關(guān)鍵詞在文章中出現(xiàn)次數(shù)和出現(xiàn)的位置，

通常有兩種位置：

　　a)字符位置，即記錄該詞是文章中第幾個(gè)字符（優(yōu)點(diǎn)是關(guān)鍵詞亮顯時(shí)定位快）；

　　b)關(guān)鍵詞位置，即記錄該詞是文章中第幾個(gè)關(guān)鍵詞（優(yōu)點(diǎn)是節(jié)約索引空間、詞組（phase）查詢快），lucene 中記錄的就是這種位置。
　　
　　加上“出現(xiàn)頻率”和“出現(xiàn)位置”信息后，我們的索引結(jié)構(gòu)變?yōu)?#xff1a;


　　關(guān)鍵詞???????????? 文章號(hào)[出現(xiàn)頻率]???????????????????? 出現(xiàn)位置
　　guangzhou??????? 1[2]??????????????????????????????????????? 3，6
　　he???????????????????? 2[1]?????????????????????????????????????? 1
　　i??????????????????????? 1[1]?????????????????????????????????????? 4
　　live??????????????????? 1[2],2[1]???????????????????????????????? 2，5，2
　　shanghai??????????? 2[1]?????????????????????????????????????? 3
　　tom?????????????????? 1[1]??????????????????????????????????????? 1
　　
　　以live 這行為例我們說明一下該結(jié)構(gòu)：live在文章1中出現(xiàn)了2次，文章2中出現(xiàn)了一次，

它的出現(xiàn)位置為“2,5,2”這表示什么呢？我們需要結(jié)合文章號(hào)和出現(xiàn)頻率來分析，文章1中出現(xiàn)了2次，

那么“2,5”就表示live在文章1中出現(xiàn)的兩個(gè)位置，文章2中出現(xiàn)了一次，剩下的“2”就表示live是文章2中第 2個(gè)關(guān)鍵字。
　　
　　以上就是lucene索引結(jié)構(gòu)中最核心的部分。我們注意到關(guān)鍵字是按字符順序排列的（lucene沒有使用B樹結(jié)構(gòu)），

因此lucene可以用二元搜索算法快速定位關(guān)鍵詞。
　　
　　實(shí)現(xiàn)時(shí) lucene將上面三列分別作為詞典文件（Term Dictionary）、頻率文件(frequencies)、位置文件 (positions)保存。

其中詞典文件不僅保存有每個(gè)關(guān)鍵詞，還保留了指向頻率文件和位置文件的指針，通過指針可以找到該關(guān)鍵字的頻率信息和位置信息。
　　
　　 Lucene中使用了field的概念，用于表達(dá)信息所在位置（如標(biāo)題中，文章中，url中），

在建索引中，該field信息也記錄在詞典文件中，每個(gè)關(guān)鍵詞都有一個(gè)field信息(因?yàn)槊總€(gè)關(guān)鍵字一定屬于一個(gè)或多個(gè)field)。
　　
　　為了減小索引文件的大小，Lucene對(duì)索引還使用了壓縮技術(shù)。首先，對(duì)詞典文件中的關(guān)鍵詞進(jìn)行了壓縮，

關(guān)鍵詞壓縮為<堉?綴長(zhǎng)度，后綴>，例如：當(dāng)前詞為“阿拉伯語(yǔ)”，上一個(gè)詞為“阿拉伯”，那么“阿拉伯語(yǔ)”壓縮為<3，語(yǔ)>。

其次大量用到的是對(duì)數(shù)字的壓縮，數(shù)字只保存與上一個(gè)值的差值（這樣可以減小數(shù)字的長(zhǎng)度，進(jìn)而減少保存該數(shù)字需要的字節(jié)數(shù)）。

例如當(dāng)前文章號(hào)是16389（不壓縮要用3個(gè)字節(jié)保存），上一文章號(hào)是16382，壓縮后保存7（只用一個(gè)字節(jié)）。
　　
　　 下面我們可以通過對(duì)該索引的查詢來解釋一下為什么要建立索引。
　　假設(shè)要查詢單詞 “l(fā)ive”，lucene先對(duì)詞典二元查找、找到該詞，通過指向頻率文件的指針讀出所有文章號(hào)，然后返回結(jié)果。

詞典通常非常小，因而，整個(gè)過程的時(shí)間是毫秒級(jí)的。
　　而用普通的順序匹配算法，不建索引，而是對(duì)所有文章的內(nèi)容進(jìn)行字符串匹配，

這個(gè)過程將會(huì)相當(dāng)緩慢，當(dāng)文章數(shù)目很大時(shí)，時(shí)間往往是無法忍受的。

?

正向索引與倒排索引的關(guān)系與區(qū)別 ? 正向索引是經(jīng)過搜索引擎對(duì)頁(yè)面文本分詞、消噪、去重、提取關(guān)鍵詞后,得到的能夠反映頁(yè)面主體內(nèi)容的一個(gè)關(guān)鍵詞組成的集合。 同時(shí)記錄每一個(gè)關(guān)鍵詞在頁(yè)面上的出現(xiàn)頻率、出現(xiàn)次數(shù)、格式、位置。這樣，每個(gè)頁(yè)面都可以被記錄為一個(gè)關(guān)鍵詞的元組， 其中包含每個(gè)關(guān)鍵詞的詞頻、格式、位置等權(quán)重信息。 正向索引不能直接用于排名。如果只存在正向索引，排名程序需要掃描所有索引庫(kù)中的文件，找出包含關(guān)鍵詞的文件， 再進(jìn)行相關(guān)性計(jì)算，這樣的計(jì)算量無法滿足實(shí)時(shí)返回排名結(jié)果的要求。 所以搜索引擎會(huì)將正向索引數(shù)據(jù)倉(cāng)庫(kù)重新構(gòu)造為倒排索引，把文件對(duì)應(yīng)到關(guān)鍵詞的映射轉(zhuǎn)換為關(guān)鍵詞到文件的映射。 在倒排索引中關(guān)鍵詞是主鍵，每個(gè)關(guān)鍵詞都對(duì)應(yīng)著一系列文件，這些文件中都出現(xiàn)了這個(gè)關(guān)鍵詞。 這樣當(dāng)用戶搜索某個(gè)關(guān)鍵詞時(shí)，排序程序在倒排索引中定位到這個(gè)關(guān)鍵詞就可以馬上找出所有包含這個(gè)關(guān)鍵詞的文件。

轉(zhuǎn)載于:https://www.cnblogs.com/ihongyan/p/4804890.html

總結(jié)

以上是生活随笔為你收集整理的【转】Lucene 工作原理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。