Jieba分词原理与解析
1 HMM模型
馬爾科夫過程:
以天氣判斷為例:引出隱馬爾科夫模型
?
于是我們可以將這種類型的過程建模為有一個隱藏的馬爾科夫過程和一個與這個隱藏馬爾科夫過程概率相關的并且可以觀察到的狀態集合。這就是本文重點介紹的隱馬爾可夫模型。
隱馬爾可夫模型(Hidden Markov Model) 是一種統計模型,用來描述一個含有隱含未知參數的馬爾可夫過程。
馬爾科夫假設
?
?
2 三個問題
?
?
?
?
源碼架構
├── jieba
│ ├── analyse
│ │ ├── analyzer.py
│ │ ├── idf.txt
│ │ ├── init.py
│ │ ├── textrank.py
│ │ └── tfidf.py
│ ├── _compat.py
│ ├── dict.txt
│ ├── finalseg
│ │ ├── init.py
│ │ ├── prob_emit.p
│ │ ├── prob_emit.py
│ │ ├── prob_start.p
│ │ ├── prob_start.py
│ │ ├── prob_trans.p
│ │ └── prob_trans.py
│ ├── init.py
│ ├── main.py
│ └── posseg
│ ├── char_state_tab.p
│ ├── char_state_tab.py
│ ├── init.py
│ ├── prob_emit.p
│ ├── prob_emit.py
│ ├── prob_start.p
│ ├── prob_start.py
│ ├── prob_trans.p
│ ├── prob_trans.py
│ └── viterbi.py
├── LICENSE
├── MANIFEST.in
├── README.md
├── setup.py
└── test
?
3 Jieba源碼分塊解析
?
?
?
?
?
?
Jieba應用實踐
?
隱馬爾可夫模型(HMM)攻略
HMM的(五個基本要素,三個假設,三個解決的問題)
HMM學習最佳范例七:前向-后向算法3
中文分詞技術(中文分詞原理)
鬼吹燈文本挖掘
https://blog.csdn.net/zhuzuwei/article/details/80775078
?
?
總結
以上是生活随笔為你收集整理的Jieba分词原理与解析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 自然语言处理课程(二):Jieba分词的
- 下一篇: Python xrange() 函数