準備工作：?

CREATE?? TABLE issues (?
??? ID???????? NUMBER,?
??? summary?????? VARCHAR(120),?
??? description?? CLOB,?
??? author???? VARCHAR(80),?
??? ot_version VARCHAR(10)?
);?


INSERT INTO issues?
???? VALUES (1, 'Jane', 'Text does not make tea',?
???????????? 'Oracle Text is unable to make morning tea', 1);?

INSERT INTO issues?
???? VALUES (2, 'John', 'It comes in the wrong color',?
???????????? 'I want to have Text in pink', 1);?

INSERT INTO issues?
???? VALUES (3, 'Mike', 'I come from china', '所以我講中文', 1);?
--下面兩句話很難解析的?
INSERT INTO issues?
???? VALUES (4, 'Mike', 'I come from china', '吉林省長春市的人民', 1);?

INSERT INTO issues?
???? VALUES (5, 'Mike', 'I come from china',?
???????????? '我們要積極地主動作好計劃生育工作', 1);?

-- define datastore preference for issues?

BEGIN?
?? --ctx_ddl.drop_preference ('issue_lexer');?
?? ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');?
?? ctx_ddl.create_preference ('issue_lexer', 'CHINESE_LEXER');?
END;?
/?

-- index issues 沒有指定任何lexer?
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT;?

--進行查詢?
SELECT *?
? FROM issues?
WHERE contains (author, '中文', 1) > 0;?

會返回no rows selected。?

說明：不使用lexer參數，oracle Text無法對中文進行有效檢索。?

接下來我們 使用oracle和網上各位仁兄推薦的CHINESE_LEXER看看，執行下列語句：?
DROP?? INDEX issue_index;?

-- index issues?
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT?
? PARAMETERS ('lexer issue_lexer');?

SELECT *?
? FROM issues?
WHERE contains (author, '中文', 1) > 0;?

會 返回一條記錄。?

再執行下列查詢語句：?
SELECT *?
? FROM issues?
WHERE contains (author, '作好', 1) > 0;?

SELECT *?
? FROM issues?
WHERE contains (author, '吉林', 1) > 0;?

都沒有任何返回結果。?

執行下列語句：?
SELECT *?
? FROM issues?
WHERE contains (author, '中文', 1) > 0;?

有一個返回結果。?

說明：CHINESE_LEXER對中文分詞進行了優化，能夠識別大部分中文單 詞，但是畢竟有很多單詞難以區分。比如說，‘我們要積極地主動作好計劃生育工作’被oracle 解釋為：“我們要 積極 地主 動作 好? 計劃生育 工作”;'吉林省長春市的人民'解釋為：“吉林省 長春市 的 人民”。不過效率方面自然很高。?

再看看 CHINESE_VGRAM_LEXER：?
執行下列語句?
BEGIN?
?? ctx_ddl.drop_preference ('issue_lexer');?
?? ctx_ddl.set_attribute ('issue_store', 'output_type', 'CLOB');?
?? ctx_ddl.create_preference ('issue_lexer', 'CHINESE_VGRAM_LEXER');?
END;?
/?

-- index issues 沒有指定任何lexer?
CREATE INDEX issue_index ON issues(author) INDEXTYPE IS ctxsys.CONTEXT?
? PARAMETERS ('lexer issue_lexer');?

--進行查詢?
SELECT *?
? FROM issues?
WHERE contains (author, '中文', 1) > 0;?

SELECT *?
? FROM issues?
WHERE contains (author, '作好', 1) > 0;?

SELECT *?
? FROM issues?
WHERE contains (author, '吉林', 1) > 0;?

SELECT *?
? FROM issues?
WHERE contains (author, '計劃生育', 1) > 0;?

SELECT *?
? FROM issues?
WHERE contains (author, '地主', 1) > 0;??

都 有返回結果。?

說明：CHINESE_VGRAM_LEXER使用的保守分詞方法，不求有功但求無過。對所有的詞都可以查詢到。不過效 率方面就有不足了。?
所有的分詞結果都可以在表DR$ISSUE_INDEX$I中看到。?
例子中 CHINESE_VGRAM_LEXER會創建39行數據，而CHINESE_LEXER只創建23行數據。?
結 論：oracle Text進行中文搜索必須指定lexer 參數。如果追求效率那么使用CHINESE_LEXER,如果追求準確度那么使用CHINESE_VGRAM_LEXER。

總結

以上是生活随笔為你收集整理的Oracle 中文分词CHINESE_VGRAM_LEXER与CHINESE_LEXER比较的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。