结巴使用自定义词典
源碼下載的地址：https://github.com/fxsjy/jieba
演示地址：http://jiebademo.ap01.aws.af.cm/
?一? ?“結(jié)巴”中文分詞：做最好的 Python 中文分詞組件? 。
支持三種分詞模式：
精確模式，試圖將句子最精確地切開，適合文本分析；
全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非常快，但是不能解決歧義；
搜索引擎模式，在精確模式的基礎(chǔ)上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。
支持繁體分詞
支持自定義詞典
MIT 授權(quán)協(xié)議
?二? ? Jieba中文分詞組件，可用于中文句子/詞性分割、詞性標(biāo)注、未登錄詞識別，支持用戶詞典等功能。該組件的分詞精度達(dá)到了97%以上。下載介紹在Python里安裝Jieba。?
1. 安裝方式一：?
? ?1）下載Jieba? 。官網(wǎng)地址：http://pypi.python.org/pypi/jieba/? ?并解壓。
? ?2）安裝? ? ??D:\>cd D:\Download\jieba-0.39
D:\Download\jieba-0.39>python setup.py install
2. 安裝方式二：
?
三 原理及算法
1）基于Trie樹結(jié)構(gòu)實(shí)現(xiàn)高效的詞圖掃描，生成句子中漢字所有可能成詞情況所構(gòu)成的有向無環(huán)圖（DAG)?
2）采用了動(dòng)態(tài)規(guī)劃查找最大概率路徑, 找出基于詞頻的最大切分組合?
3）對于未登錄詞，采用了基于漢字成詞能力的HMM模型，使用了Viterbi算法
4）從源代碼的角度分為三部分對jieba中文分詞進(jìn)行分析，
第一部分 Jieba分詞的初始化，包括核心詞典和用戶詞典的加載，這一部分涉及最基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)，有：
trie又稱前綴樹或字典樹，jieba中的具體實(shí)現(xiàn)是一個(gè)嵌套的dict，它用于存儲(chǔ)詞典；
? FREQ在jieba中的具體實(shí)現(xiàn)是一個(gè)dict，它存儲(chǔ)詞和詞頻的對應(yīng)關(guān)系；
? min_freq存儲(chǔ)最小的詞頻；
? total存儲(chǔ)所有詞的詞頻的總和。
第二部分 DAG和動(dòng)態(tài)規(guī)劃算法
第三部分 介紹 jieba 中文分詞組件中的HMM模型和Viterbi算法應(yīng)用
?
四 實(shí)踐例子
1. example 1：分詞
#encoding=utf-8
import jieba
seg_list = jieba.cut("偉大的北京天安門",cut_all=True)
print("Full Mode:", "/ ".join(seg_list) ) #全模式
seg_list = jieba.cut("偉大的北京天安門",cut_all=False)
print("Default Mode:", "/ ".join(seg_list) ) #精確模式
seg_list = jieba.cut("這里是偉大的北京天安門") #默認(rèn)是精確模式
print(", ".join(seg_list) )
seg_list = jieba.cut_for_search("這里是偉大的北京天安門，偉大的中華人民共和國！") #搜索引擎模式
print(", ".join(seg_list) )
?jieba.cut方法接受兩個(gè)輸入?yún)?shù): 1) 第一個(gè)參數(shù)為需要分詞的字符串 2）cut_all參數(shù)用來控制是否采用全模式?
??? jieba.cut_for_search方法接受一個(gè)參數(shù)：需要分詞的字符串,該方法適合用于搜索引擎構(gòu)建倒排索引的分詞，粒度比較細(xì)?
???注意：待分詞的字符串可以是gbk字符串、utf-8字符串或者unicode?
??? jieba.cut以及jieba.cut_for_search返回的結(jié)構(gòu)都是一個(gè)可迭代的generator，可以用list(jieba.cut(...))轉(zhuǎn)化為list?，
也可以使用for循環(huán)來獲得分詞后得到的每一個(gè)詞語(unicode)。
?
2. example 2：使用字定義詞典
可以指定自己自定義的詞典，以便包含jieba詞庫里沒有的詞。
雖然jieba有新詞識別能力，但是自行添加新詞可以保證更高的正確率?。
注意：?自定義詞典不要用Windows記事本保存，這樣會(huì)加入BOM標(biāo)志，導(dǎo)致第一行的詞被誤讀。
jieba.load_userdict(file_name)?#?file_name為自定義詞典的路徑?
詞典格式：一個(gè)詞占一行；每一行分三部分，一部分為詞語，一部分為詞頻，最后為詞性（可省略），用空格隔開
驗(yàn)證下來，這里詞典里面的詞頻主要是是為解決歧義而設(shè)置的，用于計(jì)算成詞的組合概率
?，如下userdict.txt
[python]?view plain?copy
云計(jì)算?5??
李小福?2?nr??
創(chuàng)新辦?3?i??
easy_install?3?eng??
好用?300??
韓玉賞鑒?3?nz??
具體代碼：
#encoding=utf-8
import sys
sys.path.append("../")
import jieba
import jieba.posseg as pseg
test_sent = "李小福是創(chuàng)新辦主任也是云計(jì)算方面的專家;"
test_sent += "例如我輸入一個(gè)帶“韓玉賞鑒”的標(biāo)題，在自定義詞庫中也增加了此詞為N類型，python 的正則表達(dá)式是好用的"
print("\n====下面結(jié)果未自定義詞典====")
words = jieba.cut(test_sent)
print("Result words:", "/ ".join(words) )
print("\n====下面是自定義userdict分詞====")
jieba.load_userdict("userdict.txt")
words = jieba.cut(test_sent)
print("Result words:", "/ ".join(words) )
輸出結(jié)果如下，可以看到使用自定義字典的前后差異：
?
這方面的參考有：?"通過用戶自定義詞典來增強(qiáng)歧義糾錯(cuò)能力" --- https://github.com/fxsjy/jieba/issues/14
3. 詞性標(biāo)注
標(biāo)注句子分詞后每個(gè)詞的詞性，采用和ictclas兼容的標(biāo)記法
ICTCLAS 漢語詞性標(biāo)注集? ?詳細(xì)參考? ? ?https://blog.csdn.net/ebzxw/article/details/80306463
用法示例：
import jieba.posseg as pseg
test_sent = "李小福是創(chuàng)新辦主任也是云計(jì)算方面的專家;"
test_sent += "例如我輸入一個(gè)帶“韓玉賞鑒”的標(biāo)題，在自定義詞庫中也增加了此詞為N類型，python 的正則表達(dá)式是好用的"
result = pseg.cut(test_sent)
for w in result:
print(w.word, "/", w.flag, ", ",)
print("\n========")
4. 關(guān)鍵詞提取
? 核心調(diào)用方法：jieba.analyse.extract_tags(sentence,topK)??#需要先import?jieba.analyse?
sentence為待提取的文本 ，?topK為返回幾個(gè)TF/IDF權(quán)重最大的關(guān)鍵詞，默認(rèn)值為20?
? 用法代碼示例：
#encoding=utf-8
import sys
sys.path.append('../')
import jieba
import jieba.analyse
from optparse import OptionParser
USAGE = "usage: python extract_tags.py [file name] -k [top k]"
parser = OptionParser(USAGE)
parser.add_option("-k", dest="topK")
opt, args = parser.parse_args()
#'''
if len(args) < 1:
print(USAGE)
sys.exit(1)
#'''
file_name = args[0]
#file_name=u"story.txt"
if opt.topK is None:
topK = 10
else:
topK = int(opt.topK)
content = open(file_name, 'rb').read()
tags = jieba.analyse.extract_tags(content, topK=topK)
print(",".join(tags) )
5. 并行分詞
原理：將目標(biāo)文本按行分隔后，把各行文本分配到多個(gè)python進(jìn)程并行分詞，然后歸并結(jié)果，從而獲得分詞速度的可觀提升?
基于python自帶的multiprocessing模塊，目前暫不支持windows?
jieba.enable_parallel(4)?#?開啟并行分詞模式，參數(shù)為并行進(jìn)程數(shù)??
jieba.disable_parallel()?#?關(guān)閉并行分詞模式?
實(shí)驗(yàn)結(jié)果：在4核3.4GHz Linux機(jī)器上，對金庸全集進(jìn)行精確分詞，獲得了1MB/s的速度，是單進(jìn)程版的3.3倍。
import urllib2
import sys,time
import sys
sys.path.append("../../")
import jieba
jieba.enable_parallel(4)
url = sys.argv[1]
content = open(url,"rb").read()
t1 = time.time()
words = list(jieba.cut(content))
t2 = time.time()
tm_cost = t2-t1
log_f = open("1.log","wb")
for w in words:
print >> log_f, w.encode("utf-8"), "/" ,
print 'speed' , len(content)/tm_cost, " bytes/second"
6.??Tokenize：返回詞語在原文的起始位置(輸入?yún)?shù)只接受unicode)
#默認(rèn)模式
result = jieba.tokenize(u'永和服裝飾品有限公司')
for tk in result:
print "word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])
#搜索模式
result = jieba.tokenize(u'永和服裝飾品有限公司',mode='search')
for tk in result:
print "word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2])
7.?ChineseAnalyzer for Whoosh搜索引擎
引用： from jieba.analyse import ChineseAnalyzer
用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py
8. 命令行分詞
使用示例：python -m jieba news.txt > cut_result.txt
命令行選項(xiàng)（翻譯）：
使用: python -m jieba [options] filename
結(jié)巴命令行界面。
固定參數(shù):
filename 輸入文件
可選參數(shù):
-h, --help 顯示此幫助信息并退出
-d [DELIM], --delimiter [DELIM]
使用 DELIM 分隔詞語，而不是用默認(rèn)的' / '。
若不指定 DELIM，則使用一個(gè)空格分隔。
-p [DELIM], --pos [DELIM]
啟用詞性標(biāo)注；如果指定 DELIM，詞語和詞性之間
用它分隔，否則用 _ 分隔
-D DICT, --dict DICT 使用 DICT 代替默認(rèn)詞典
-u USER_DICT, --user-dict USER_DICT
使用 USER_DICT 作為附加詞典，與默認(rèn)詞典或自定義詞典配合使用
-a, --cut-all 全模式分詞（不支持詞性標(biāo)注）
-n, --no-hmm 不使用隱含馬爾可夫模型
-q, --quiet 不輸出載入信息到 STDERR
-V, --version 顯示版本信息并退出
如果沒有指定文件名，則使用標(biāo)準(zhǔn)輸入。
--help?選項(xiàng)輸出：
$> python -m jieba --help
Jieba command line interface.
positional arguments:
filename input file
optional arguments:
-h, --help show this help message and exit
-d [DELIM], --delimiter [DELIM]
use DELIM instead of ' / ' for word delimiter; or a
space if it is used without DELIM
-p [DELIM], --pos [DELIM]
enable POS tagging; if DELIM is specified, use DELIM
instead of '_' for POS delimiter
-D DICT, --dict DICT use DICT as dictionary
-u USER_DICT, --user-dict USER_DICT
use USER_DICT together with the default dictionary or
DICT (if specified)
-a, --cut-all full pattern cutting (ignored with POS tagging)
-n, --no-hmm don't use the Hidden Markov Model
-q, --quiet don't print loading messages to stderr
-V, --version show program's version number and exit
If no filename specified, use STDIN instead.
9.延遲加載機(jī)制
jieba 采用延遲加載，import jieba?和?jieba.Tokenizer()?不會(huì)立即觸發(fā)詞典的加載，一旦有必要才開始加載詞典構(gòu)建前綴字典。如果你想手工初始 jieba，也可以手動(dòng)初始化。
import jieba
jieba.initialize() # 手動(dòng)初始化（可選）
在 0.28 之前的版本是不能指定主詞典的路徑的，有了延遲加載機(jī)制后，你可以改變主詞典的路徑:
jieba.set_dictionary('data/dict.txt.big')
例子：?https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py
其他詞典：
占用內(nèi)存較小的詞典文件?https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
支持繁體分詞更好的詞典文件?https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下載你所需要的詞典，然后覆蓋 jieba/dict.txt 即可；或者用?jieba.set_dictionary('data/dict.txt.big')
五 遺留問題
1.? 使用?jieba.load_userdict() 自定義詞典，每一行為詞語、詞頻、詞性。 這里詞頻在代碼里怎么使用，什么變量來表示。詞頻一般設(shè)多大。
---------------------
作者：周雄偉
來源：CSDN
原文：https://blog.csdn.net/ebzxw/article/details/80304761
版權(quán)聲明：本文為博主原創(chuàng)文章，轉(zhuǎn)載請附上博文鏈接！
總結(jié)
- 上一篇： Python第三方库jieba（中文分词
- 下一篇： Beam Search