最近優(yōu)化NER識別過程中，需要分詞邊界信息，現(xiàn)有的開源分詞系統(tǒng)HANLP沒有垂直領(lǐng)域詞典的支持，效果差強人意。趕上pku開源了pkuseg，利用一些時間學(xué)習(xí)一下，記錄一下個人一點見解。
github地址
不得不說pku對于開發(fā)者非常友好，包括訓(xùn)練、場景模型切換（msra/新聞領(lǐng)域、ctb8/混合領(lǐng)域、weibo/網(wǎng)頁領(lǐng)域）、硬編碼詞典加載、模型支持對文件的處理、支持python多進程處理、提供預(yù)訓(xùn)練好的模型。
論文（Jingjing Xu, Xu Sun. Dependency-based Gated Recursive Neural Network for Chinese Word Segmentation. ACL 2016: 567-572）是12年，有興趣的可以去網(wǎng)上看一下，基于CRF來訓(xùn)練的，得分函數(shù)中不僅結(jié)合了unigram和bigram等word feature、重復(fù)出現(xiàn)詞特征，還加入了High Dimensional Edge Features 也就是觀察序列的轉(zhuǎn)換特征，以往傳統(tǒng)的CRF只有隱藏狀態(tài)的轉(zhuǎn)移，代碼中CRF模板（7.c-1c.路.之 316457，第一位為特征在整個特征組的位置，c-1c：前一個字，當前字，316457特征的索引），可以一同探討。CRF優(yōu)化方面論文中提出了基于詞頻自適應(yīng)隨機梯度下降方法，詞頻越高，梯度優(yōu)化步調(diào)放緩。損失函數(shù)方面加入L2正則化。論文另一個創(chuàng)新之處為此模型還可以用于新詞發(fā)現(xiàn)，結(jié)合CRF條件概率（p>0.5）和現(xiàn)有詞典。實驗結(jié)果在各個競賽數(shù)據(jù)集（微軟研究院、香港城市大學(xué)、北京大學(xué)）上取得很好的P值及F值。對于處理速度方面，在個人筆記本上，1045篇新聞文章，10進程，220s（和個人硬件環(huán)境有關(guān)）。以下為測試代碼，主要參考的github文檔。

# seg = pkuseg.pkuseg() # text = '四川人用普通話與川普通電話' # text = '歡迎 新老師生前來就餐' #text = '沿海南方向前進' # text = '黑天鵝和灰犀牛是兩個突發(fā)事件' # text = '統(tǒng)計局局長寧長吉' # text = seg.cut(text) # print(text)#帶有用戶自定義詞典的 # user_dictionary = ['馬桶LV'] # seg = pkuseg.pkuseg(user_dict=user_dictionary) # text = seg.cut('王欣發(fā)布馬桶LVapp') # print(text)# 新聞分詞模型、網(wǎng)絡(luò)文本模型、微博數(shù)據(jù)模型 seg = pkuseg.pkuseg(model_name='../pkuseg/models/test') text = seg.cut('沿海南方向前進') print(text)#對文件進行分詞 # from datetime import datetime # seg = pkuseg.pkuseg(model_name='../pkuseg/models/msra') # start = datetime.now() # pkuseg.test('./data.txt','./data_seg.txt',nthread = 10) # end = datetime.now() # print(end - start)#訓(xùn)練模型 # pkuseg.train('./data_seg.txt','./data_seg.txt','./models',nthread=20)

本人在64G服務(wù)器上訓(xùn)練，訓(xùn)練過程進程，20進程，語料大小為74M，加載完成消耗內(nèi)存61.7%。以下為訓(xùn)練log，僅供參考，還沒有訓(xùn)練完成。
length = 1 : 2646488
length = 2 : 2476114
length = 3 : 294463
length = 4 : 132263
length = 5 : 47769
length = 6 : 28708
length = 7 : 31896
length = 8 : 26539
length = 9 : 29071
length = 10 : 31487
length = 11 : 33062
length = 12 : 33925
length = 13 : 33907
length = 14 : 34027
length = 15 : 34071
getting feature set
file /tmp/tmp64i03_wp/.pkuseg/temp/train.txt converting…
file converting…
file converting…

start training…

reading training & test data…
done! train/test data sizes: 868968/1025

r: 1
iter1 diff=1.00e+100 train-time(sec)=33362.17 f-score=89.92%

總結(jié)

以上是生活随笔為你收集整理的开源分词系统pkuseg学习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。