??????? 原文鏈接（系列）：http://blog.csdn.net/yangliuy/article/details/8067261

??????? 概率圖模型（Probabilistic?Graphical Model）系列來自Stanford公開課Probabilistic Graphical Model中Daphne Koller?老師的講解。（https://class.coursera.org/pgm-2012-002/class/index）

主要內(nèi)容包括（轉(zhuǎn)載請(qǐng)注明原始出處http://blog.csdn.net/yangliuy）

1.????貝葉斯網(wǎng)絡(luò)及馬爾可夫網(wǎng)絡(luò)的概率圖模型表示及變形。

2.????Reasoning 及Inference 方法，包括exact inference (variable elimination, clique trees) 和 approximate inference(belief propagation message passing, Markov chain Monte Carlo methods)。

3.????概率圖模型中參數(shù)及結(jié)構(gòu)的learning方法。

4.????使用概率圖模型進(jìn)行統(tǒng)計(jì)決策建模。

第一講. 貝葉斯網(wǎng)絡(luò)基礎(chǔ)

1、貝葉斯網(wǎng)絡(luò)的定義

??????? 貝葉斯網(wǎng)絡(luò)是一個(gè)有向無環(huán)圖，其中結(jié)點(diǎn)代表了隨機(jī)變量，邊代表了隨機(jī)變量之間的概率關(guān)系，其聯(lián)合概率分布可以用貝葉斯鏈?zhǔn)椒▌t來表示

????

???? ? 其中ParG(Xi)表示結(jié)點(diǎn)Xi在圖G中的父節(jié)點(diǎn)對(duì)應(yīng)的隨機(jī)變量。

2、貝葉斯網(wǎng)絡(luò)中概率影響的流動(dòng)（Flow of Probabilistic Influence）

?????? 概率影響的流動(dòng)性反應(yīng)了貝葉斯網(wǎng)絡(luò)中隨機(jī)變量條件獨(dú)立性關(guān)系，如下圖所示

圖中貝葉斯網(wǎng)絡(luò)模型反映如下四個(gè)隨機(jī)變量之間的關(guān)系

?????? Difficulty 課程難度

????? Intelligence 學(xué)生聰明程度

????? Grade 學(xué)生課程成績(jī)

????? SAT 學(xué)生高考成績(jī)

????? Letter 學(xué)生是否可以得到教授工作推薦信

在左邊對(duì)應(yīng)的六種情況下，只有最后一種情況X→W←Y下X的概率不會(huì)影響到Y(jié)的概率。這是因?yàn)閃不是被觀察變量，其值是未知的，因此隨機(jī)變量X的值不會(huì)影響隨機(jī)變量Y的取值。有趣的是，當(dāng)中間W變量成為被觀察變量，上述結(jié)論就會(huì)發(fā)生變化。如下圖所示

??????? 當(dāng)W?Z時(shí)，即W為觀察變量時(shí)，所有判斷會(huì)變得相反。仍然以?X→W← Y 為例，此時(shí)W的值已知，比如已知某個(gè)學(xué)生Grade為B，那么此時(shí)學(xué)生的聰明程度Intelligence和課程難度Difficulty就不再條件獨(dú)立了。比如，這種情況下如果課程比較容易，那邊學(xué)生很聰明的概率較小；反之，若課程很難，則學(xué)生很聰明的概率較大。其他情況可以采用右邊這個(gè)貝葉斯網(wǎng)絡(luò)例子來理解。

3 Active Trails

??????? 經(jīng)過第2部分的分析，我們可以歸納如下結(jié)論

Atrail X1 ─ … ─ Xn is active if:

it has no v-structures

Atrail X1 ─ … ─ Xn is active given Z if:

– for any v-structure Xi-1 → Xi← Xi+1 we have that Xi or one of its descendants ∈Z

– no other Xi is in Z

顯然如果X1 ─ … ─Xn is active，那么X1和Xn就不再條件獨(dú)立。

?

4 Independence in Graph

?? ? ? 這里先總結(jié)D-separate 的情況，如下圖所示

?????

有了2-3部分的基礎(chǔ)，容易得出如下結(jié)論

??????

練習(xí)題

??????

答案選1和3。解析：由于G被觀察，那么2中IGL這條路徑就不再active，因?yàn)榻o定G后，I無法影響L的概率。而4中SJL這個(gè)v結(jié)構(gòu)不是active的，因?yàn)镴是未觀察變量，S不能影響L的概率。 故而2和4都錯(cuò)誤。1和3都是active的。

如果兩個(gè)結(jié)點(diǎn)之間不存在任何Active Trails, 那么我們稱這兩個(gè)結(jié)點(diǎn) d-separation 。有了d-separation 的概念，下面我們給出I-Map的定義

??????

??????? 本課程最后給出了Na?ve Bayes算法的介紹，這個(gè)算法可以參見我的博文數(shù)據(jù)挖掘-基于貝葉斯算法及KNN算法的newsgroup18828文本分類器的JAVA實(shí)現(xiàn)（上）

有給算法的詳細(xì)介紹和實(shí)現(xiàn)。

??????? 好了，第一講到此結(jié)束，下一講我們介紹Template Model及條件概率分布模型CPD。

總結(jié)

以上是生活随笔為你收集整理的Stanford概率图模型： 第一讲 有向图-贝叶斯网络的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。