一、簡介

分詞原理

Reader讀取數據流

數據經過第一個分詞器將大寫轉換小寫

數據經過第二個分詞器根據空格分割成一個一個的單詞

數據經過第三個分詞器把標點符號，介詞等剔除

經過三次過濾，生成若干語匯單元

常見的分詞器（中文分詞場景不推薦用）

StandardAnalyzer（官方推薦的分詞器）：英文分詞效果比較好，無法對中文進行正確分詞。(單字分詞，對中文分詞會一個字一個字的分)

CJKAnalyzer（中日韓聯合分詞器）：二分法分詞，按兩個字進行切分

smartChineseAnalyzer：對中文支持較好，但擴展性差，擴展詞庫，禁用詞庫和同義詞庫等不好處理

第三方中文分詞器（中文支持效果比較好，中文分詞場景推薦使用）

IK Analyzer：目前較為推薦的中文分詞器

二、IK Analyzer分詞器

使用方式

?

?

?

?

?PS：搜索時使用的分詞器要與索引時使用的分詞器一致！

轉載于:https://www.cnblogs.com/riches/p/11448059.html

總結

以上是生活随笔為你收集整理的搜索引擎学习（四）中文分词器的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。