一、基本內(nèi)容

1.隱馬爾可夫模型

1.1. 假定所有關(guān)心的變量集合為Y,可觀測變量集合為O,其他變量集合為R,

生成式模型考慮聯(lián)合分布P(Y,R,O),判別式模型考慮條件分布P(Y,R|O)，給定一組觀測變量值，推斷就是要由P(Y,R,O)或者P(Y,R|O)得到條件概率分布P(Y,O).

1.2. 概率圖模型大致分為兩類：第一類是使用有向無環(huán)圖表示變量間的依賴關(guān)系，稱為有向圖模型或貝葉斯網(wǎng)；第二類是使用無向圖表示變量間的相關(guān)關(guān)系，稱為無向圖模型或馬爾可夫網(wǎng)

1.3. 隱馬爾可夫模型（Hidden Markov Model,簡稱HMM）是結(jié)構(gòu)最簡單的動態(tài)貝葉斯網(wǎng)，這是一種著名的有向圖模型。

2.馬爾可夫隨機場（Markov Random Field， 簡稱MRF）：是典型的馬爾可夫網(wǎng)，這是一種著名的無向圖模型。

2.1 極大團，勢函數(shù)

2.2 全局馬爾可夫性，推論：局部馬爾可夫性，成對馬爾可夫性

3.條件隨機場（Conditional Random Field, 簡稱CRF）：是一種判別式無向圖模型

4.學習與推斷

變量消去，信念傳播

5.近似推斷

兩類：1.采樣：通過使用隨機化方法完成近似2.使用確定性近似完成近似推斷，典型代表為變分推斷

5.1 MCMC采樣（馬爾可夫鏈蒙特卡羅方法（Markov Chain Monte Carlo））

MCMC方法的關(guān)鍵就在于通過構(gòu)造“平穩(wěn)分布為p的markov chain”來產(chǎn)生sample。

Metropolis-Hastings(MH)算法是MCMC的重要代表。

吉布斯采樣

5.2 變分推斷

盤式記法

總結(jié)

以上是生活随笔為你收集整理的《机器学习》 周志华学习笔记第十四章 概率图模型（课后习题）python实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。