來源：http://www.gowhich.com/blog/147?utm_source=tuicool&utm_medium=referral

源碼下載的地址：https://github.com/fxsjy/jieba

演示地址：http://jiebademo.ap01.aws.af.cm/

特點

1，支持三種分詞模式：

??? a,精確模式，試圖將句子最精確地切開，適合文本分析；
??? b,全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非?？?#xff0c;但是不能解決歧義；
??? c,搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。

2，支持繁體分詞

3，支持自定義詞典

安裝

1，Python 2.x 下的安裝

全自動安裝 ：easy_install jieba 或者 pip install jieba
半自動安裝 ：先下載http://pypi.python.org/pypi/jieba/ ，解壓后運行python setup.py install
手動安裝 ：將jieba目錄放置于當前目錄或者site-packages目錄
通過import jieba 來引用

2，Python 3.x 下的安裝

目前master分支是只支持Python2.x 的
Python3.x 版本的分支也已經基本可用： https://github.com/fxsjy/jieba/tree/jieba3k

git clone https://github.com/fxsjy/jieba.git git checkout jieba3k python setup.py install

算法實現：

基于Trie樹結構實現高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構成的有向無環圖（DAG)
采用了動態規劃查找最大概率路徑, 找出基于詞頻的最大切分組合
對于未登錄詞，采用了基于漢字成詞能力的HMM模型，使用了Viterbi算法

功能

功能 1)：分詞

??? jieba.cut方法接受兩個輸入參數: 1) 第一個參數為需要分詞的字符串 2）cut_all參數用來控制是否采用全模式
??? jieba.cut_for_search方法接受一個參數：需要分詞的字符串,該方法適合用于搜索引擎構建倒排索引的分詞，粒度比較細
??? 注意：待分詞的字符串可以是gbk字符串、utf-8字符串或者unicode
??? jieba.cut以及jieba.cut_for_search返回的結構都是一個可迭代的generator，可以使用for循環來獲得分詞后得到的每一個詞語(unicode)，也可以用list(jieba.cut(...))轉化為list
代碼示例( 分詞 )

#encoding=utf-8 import jieba seg_list = jieba.cut("我來到北京清華大學", cut_all=True) print "Full Mode:", "/ ".join(seg_list) # 全模式 seg_list = jieba.cut("我來到北京清華大學", cut_all=False) print "Default Mode:", "/ ".join(seg_list) # 精確模式 seg_list = jieba.cut("他來到了網易杭研大廈") # 默認是精確模式 print ", ".join(seg_list) seg_list = jieba.cut_for_search("小明碩士畢業于中國科學院計算所，后在日本京都大學深造") # 搜索引擎模式 print ", ".join(seg_list) Output:
【全模式】: 我/ 來到/ 北京/ 清華/ 清華大學/ 華大/ 大學
【精確模式】: 我/ 來到/ 北京/ 清華大學
【新詞識別】：他, 來到, 了, 網易, 杭研, 大廈??? (此處，“杭研”并沒有在詞典中，但是也被Viterbi算法識別出來了)
【搜索引擎模式】： 小明, 碩士, 畢業, 于, 中國, 科學, 學院, 科學院, 中國科學院, 計算, 計算所, 后, 在, 日本, 京都, 大學, 日本京都大學, 深造

功能 2) ：添加自定義詞典

開發者可以指定自己自定義的詞典，以便包含jieba詞庫里沒有的詞。雖然jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率
用法：

jieba.load_userdict(file_name) # file_name為自定義詞典的路徑 詞典格式和dict.txt一樣，一個詞占一行；每一行分三部分，一部分為詞語，另一部分為詞頻，最后為詞性（可省略），用空格隔開
范例：
自定義詞典： 云計算 5 李小福 2 nr 創新辦 3 i easy_install 3 eng 好用 300 韓玉賞鑒 3 nz 用法示例： #encoding=utf-8 import sys sys.path.append("../") import jieba jieba.load_userdict("userdict.txt") import jieba.posseg as psegtest_sent = "李小福是創新辦主任也是云計算方面的專家;" test_sent += "例如我輸入一個帶“韓玉賞鑒”的標題，在自定義詞庫中也增加了此詞為N類型" words = jieba.cut(test_sent) for w in words: print wresult = pseg.cut(test_sent)for w in result: print w.word, "/", w.flag, ", ",print "\n========"terms = jieba.cut('easy_install is great') for t in terms:print t print '-------------------------' terms = jieba.cut('python 的正則表達式是好用的') for t in terms:print t 之前： 李小福 / 是 / 創新 / 辦 / 主任 / 也 / 是 / 云 / 計算 / 方面 / 的 / 專家 /
加載自定義詞庫后： 李小福 / 是 / 創新辦 / 主任 / 也 / 是 / 云計算 / 方面 / 的 / 專家 /
"通過用戶自定義詞典來增強歧義糾錯能力" --- https://github.com/fxsjy/jieba/issues/14

功能 3) ：關鍵詞提取

jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse

說明

setence為待提取的文本

topK為返回幾個TF/IDF權重最大的關鍵詞，默認值為20
代碼示例 （關鍵詞提取）

import sys sys.path.append('../')import jieba import jieba.analyse from optparse import OptionParserUSAGE = "usage: python extract_tags.py [file name] -k [top k]"parser = OptionParser(USAGE) parser.add_option("-k", dest="topK") opt, args = parser.parse_args()if len(args) < 1:print USAGEsys.exit(1)file_name = args[0]if opt.topK is None:topK = 10 else:topK = int(opt.topK)content = open(file_name, 'rb').read()tags = jieba.analyse.extract_tags(content, topK=topK)print ",".join(tags)

功能 4) : 詞性標注

標注句子分詞后每個詞的詞性，采用和ictclas兼容的標記法
用法示例

>>> import jieba.posseg as pseg >>> words = pseg.cut("我愛北京天安門") >>> for w in words: ... print w.word, w.flag ... 我 r 愛 v 北京 ns 天安門 ns

功能 5) : 并行分詞

原理：將目標文本按行分隔后，把各行文本分配到多個python進程并行分詞，然后歸并結果，從而獲得分詞速度的可觀提升
基于python自帶的multiprocessing模塊，目前暫不支持windows
用法：

jieba.enable_parallel(4) # 開啟并行分詞模式，參數為并行進程數 jieba.disable_parallel() # 關閉并行分詞模式 例子： import urllib2 import sys,time import sys sys.path.append("../../") import jieba jieba.enable_parallel(4)url = sys.argv[1] content = open(url,"rb").read() t1 = time.time() words = list(jieba.cut(content))t2 = time.time() tm_cost = t2-t1log_f = open("1.log","wb") for w in words: print >> log_f, w.encode("utf-8"), "/" ,print 'speed' , len(content)/tm_cost, " bytes/second" 實驗結果：在4核3.4GHz Linux機器上，對金庸全集進行精確分詞，獲得了1MB/s的速度，是單進程版的3.3倍。

其他詞典

占用內存較小的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
支持繁體分詞更好的詞典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下載你所需要的詞典，然后覆蓋jieba/dict.txt 即可或者用jieba.set_dictionary('data/dict.txt.big')

模塊初始化機制的改變:lazy load （從0.28版本開始）

jieba采用延遲加載，"import jieba"不會立即觸發詞典的加載，一旦有必要才開始加載詞典構建trie。如果你想手工初始jieba，也可以手動初始化。

import jieba jieba.initialize() # 手動初始化（可選） 在0.28之前的版本是不能指定主詞典的路徑的，有了延遲加載機制后，你可以改變主詞典的路徑:
jieba.set_dictionary('data/dict.txt.big') 例子：? #encoding=utf-8 import sys sys.path.append("../") import jiebadef cuttest(test_sent): result = jieba.cut(test_sent) print " ".join(result)def testcase(): cuttest("這是一個伸手不見五指的黑夜。我叫孫悟空，我愛北京，我愛Python和C++。") cuttest("我不喜歡日本和服。") cuttest("雷猴回歸人間。") cuttest("工信處女干事每月經過下屬科室都要親口交代24口交換機等技術性器件的安裝工作") cuttest("我需要廉租房") cuttest("永和服裝飾品有限公司") cuttest("我愛北京天安門") cuttest("abc") cuttest("隱馬爾可夫") cuttest("雷猴是個好網站")if __name__ == "__main__": testcase() jieba.set_dictionary("foobar.txt") print "================================" testcase()

總結

以上是生活随笔為你收集整理的python 结巴分词(jieba)学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。