概率有向图模型
1. 前言
主要參考書籍《深度學習導論及案例分析》、維基百科“貝葉斯網絡”、老笨妞的博客、PRML中文翻譯，重點還是概念的掌握和幾個小理論的推導，比較枯燥。加入了自己的一些簡單理解。
個人感覺概率有向圖模型最大的意義在于：一個特定的有向圖表示將聯合概率分布分解為條件概率分布乘積的形式。
2. 概念
2.1 等價概念
概率有向圖模型、貝葉斯網絡（Bayesian network）、信念網絡（belief network）、有向無環圖模型（directed acyclic graphical model）
2.2 ?一般結構
圖由節點和邊構成。節點一般是指隨機變量，可以是觀察到的，也可以是因變量或者未知參數等，邊就標明了節點之間的條件概率關系，比如常說的P(X|Y)就說明在節點X出發有一條有向邊連接到節點Y。
【更新日志2018-11-14】上述加橫線的描述感覺有點反人類，正常是因連到果，即Y連到X，不過我記得是哪本書說是X連到Y，所以可以暫時把上面那句話當做“常說的P(X|Y)就說明在節點Y出發有一條有向邊連接到節點X”，以后如果再找到這句話的引用之處會貼出來，咳咳。
“因”與“果”：箭頭出發的節點為“因”，被箭頭指向的節點為“果”
所有節點的聯合概率分布可以表示為：
這里面條件概率中的條件指的是xi節點的因，也就是直接相鄰的出發節點。注意中間跨度一個節點再連接到xi的不算。
拿書中的例子來說：
圖好大啊，就這樣吧，懶。如上圖所示的這個貝葉斯網絡所有節點的聯合概率分布就是
其實寫下來簡單：①對于節點X1，沒有節點連接到它，就單獨放；②對于節點X2，只有X1連接到它，那就是第二項；③對于X3，只有X2連到它，那就是第三項；.......；⑥對于X6，有兩個直接連接到它的“因”節點，表達出來就是第六項；⑦對于X7,只有X6連到它，那就是最后一項。最后都乘起來就是聯合概率了
【注意】這里的“因果”是一個單箭頭連接起來的兩個節點，對于經過多個節點的多個箭頭連接起來的兩個節點不是“因果”節點。
2.3 條件局部獨立性
概念：任意節點與其非后代節點都條件獨立于其父節點。
從三中拓撲結構來證明：
(1)串行連接或鏈
其聯合分布為：
根據“條件局部獨立性”可以得出這樣一個結論：給定節點k時，節點 j 和其非后代節點 i 關于節點 j 的父節點 k 條件獨立。
證明如下：
(2)發散連接
其聯合分布為：
根據“條件局部獨立性”可以得出這樣一個結論：給定節點k時，節點 j 和其非后代節點 i 關于節點 j 的父節點 k 條件獨立。
(3)收斂連接（書中圖可能錯了）
其聯合分布為：
根據“條件局部獨立性”可以得出這樣一個結論：節點 i 和節點 j 是先驗獨立的
主要是因為
帶入聯合分布中就得到了
【結論】通過上面三個結構和證明可以得到這樣一個結論（個人總結，對錯可在評論區指出）
①對于串行連接和發散連接，在觀察到中心變量k 時，節點 i 和節點 j 條件獨立
②對于收斂連接，在沒有觀察到中心變量k時，節點 i 和節點 j ，先驗獨立，但是條件獨立不確定。
2.4 d-劃分
假設A、B、C是任意無交集的結點的集合，考慮從A中任意結點到B中任意結點所有可能的路徑（此路徑忽視箭頭方向），如果滿足下列任何一種條件：
①路徑上的箭頭從頭到尾（串行連接）或者尾到尾（發散連接）的方式交匯于一個結點，且此結點在集合C中
②箭頭從頭到頭（收斂連接）的方式交匯于一點，且這個結點和它所有的后繼都不在集合C中
就說所有的路徑被“阻隔”，即C把A從B中d-劃分。
左圖：交匯節點是e和f，對于aec和bfec串行連接，中間節點e沒有被觀察到，說明不獨立。而aef雖然屬于收斂連接，且獨立，但是e的后繼c被觀察到了。對于f節點，發散連接，f 沒被觀察到，不獨立。所以從a到b的路徑并未被節點f阻隔。
右圖：f節點是發散連接且被觀察到了，條件獨立，因而從a到b的路徑被節點f阻隔。對于e節點，收斂連接，未被觀察到，獨立，且其后繼節點c不被觀察的變量內，所以路徑也被e節點阻隔。
2.5 樸素貝葉斯圖結構
樸素貝葉斯(naive Bayes)模型是一種分類方法，可以用圖結構表示，使用條件獨立性假設來簡化模型結構。
假設觀測變量是D維的，即
目標：將x的觀測值分配到K個類別中的一個。
生成模型定義：引入類別標簽上的多項式先驗概率分布P(z|μ)，其中μ的第k個元素表示類別Ck的先驗概率，再引入觀測向量x的條件概率分布P(x|z)。舉個例子，給你一堆不同顏色的帶有編號的球，每種編號的數目不同，而且在同一種顏色中，可能某個編號占據多數，先驗分布P(z|μ)意思就是隨便拿一個球，不觀察顏色的時候瞎猜，猜對的概率是多少，其實也就是(某個編號的球的個數/球總數)，而觀測向量x就是顏色，條件概率分布P(x|z)意思就看了顏色以后，你心里有個譜，知道這個顏色的那個編號多，然后猜對的概率。
關鍵：樸素貝葉斯的關鍵假設就是，以類別z為條件，輸入變量x的分布是獨立的，原因看圖。
發散連接，觀測到z的時候，每個變量條件獨立。但是無法對z求和或積分（意思就是z不是可觀測變量了），那么z就不在阻隔x之間了，它們就不條件獨立了。這就告訴我們，通常邊緣概率密度P(x)是不可以關于x的元素進行分解。意思應該是，只能計算聯合概率密度，即P(x1,x2,...,xD)但是無法拆開計算P(x1)、P（x2）....
再舉一例：
假設每個類別的概率密度分布為高斯分布，根據樸素貝葉斯的假設，表明每個高斯分布的協方差為對角矩陣(因為各個觀測變量獨立了)，且每個類別中常數密度的輪廓線是與坐標軸對其的橢球。邊緣概率密度由對角高斯疊加組成（權系數由類別先驗給出），因此不能對各個分量再進行分解。
2.6 全局馬爾科夫獨立性
幾個概念：
① 在貝葉斯網絡中，如果兩個節點能夠通過一條路徑產生有效的相互影響（也就是說兩個節點不獨立），那么這條路徑就稱為有效路徑（有效跡）
② 如果給定觀察變量Z的時候，兩個節點相互獨立（通過2.3中的三種拓撲結構判斷獨立與否），就稱為這就是所謂的全局獨立性
判斷有效路徑小技巧：
對于串行連接和發散連接，只要兩個節點之間可通過觀測變量連接起來，那么這條路徑就不是有效路徑。
對于收斂連接，如果中間節點屬于觀測變量，而且路徑上的其他節點都不屬于觀測變量，那么它就是有效路徑。
例如在第一幅圖的網絡中，如果令（這里書上可能錯了，因為書中的X和Z都包含第二個節點了，而Z是可觀測變量，它的節點不可能出現在有效路徑中）
顯然在給定Z的時候，X和Y是相互獨立的：節點1和3給定2獨立；節點5和7給定節點6獨立。（好像都是串行連接下的獨立。PS個人認為書中有問題，如有疑問請評論區標注）
2.7馬爾科夫隨機毯(Markov blanket)
考慮聯合概率分布，考慮第i個結點以其它所有節點為條件的條件概率分布
式子的分子分母中，所有與xi無關的因子都能提出來消去，唯一剩余的因子是第i個結點自身的條件概率以及以xi為父節點的節點xk，即第k個結點有兩個父節點，其中一個父節點就是i，而此節點的條件概率分布的條件就是兩個父節點。這樣的由父節點、子節點、同父節點構成的節點集合稱為馬爾科夫毯。如下圖所示：
此圖就是節點xi的馬爾科夫毯，由父節點、子節點、同父節點的集合構成。特點是以圖中所有剩余節點為條件，xi的條件概率分布值依賴于馬爾科夫毯中的變量。
馬爾科夫毯是節點xi與圖中剩余部分隔開的最小節點的集合，需要注意的是只有子節點和父節點是不夠的，因為子節點的觀測不會阻隔某個節點到同父節點的路徑，因而也需要觀測同父節點，按照上面的三個拓撲結構分析此圖就能清晰。
?
3. 解釋消除(explaining away)
概念：原本相互獨立的多個原因在給定觀察結果時，可能不再相互獨立，而是變得相互依賴、相互影響。
書中的例子非常好，這里直接拿過來作為實例了：（我又感覺書畫錯了，書中箭頭是反的）
B代表電池(battery)節點，1代表電池有電，0代表電池沒電
F代表燃料(fuel)節點，1代表油箱還有有，0代表油箱沒油了
G代表油表指針(ggauge)節點，1代表指針說油箱還有油，0代表指針說油箱沒油了
這個有向圖這樣畫的原因是根據常識：油表指針是由電量和實際燃料量決定的。也就是說電量和燃料的變動情況是油表指針變動情況的“因”，指針是“果”
這里要分析的是：①直接猜測F=0（沒油）的概率，② 觀察油表，猜測油箱沒油的概率，③ 電池沒電時候觀察油表，猜測油箱沒油的概率
形象點用條件概率表達，依次為：
先說一下已知條件：
根據貝葉斯網絡結構，得到聯合概率分布
然后就能計算得到知道油表指針空(G=0)的時候，油箱真的空(F=0)的概率為
對于分子
對于分母
?
注意求分母的這個式子中，第二個等號變換到第二個等號說明B和F是獨立的，而獨立原因在于我們并不知道收斂連接中心節點G的狀態（參考拓撲結構3）.
帶入原式就能得到
這比不觀察任何東西，瞎猜油箱滿不滿的概率（P(F=0)=0.1）高是必然的
再來計算一下觀察到油表和電池都為0的時候，沒油的概率
對比著三個計算油箱狀態的方法：①瞎猜②看油表③看油表和電池。發現看油表猜油箱的油比較靠譜，但是當我們發現油表的電池快沒電了，那么油表的可靠度就在下降。
這個例子就是所謂的解釋消除（explaining away），本來相互獨立的多個原因在給定觀察結果時，可能不再獨立，而是相互依賴，相互影響。根據收斂連接，沒給定油表觀察結果的時候，電池和燃料是相互獨立(先驗獨立)的，但是給定油表的觀察結果時，它倆又不獨立了。
總結
- 上一篇： 【caffe-Windows】关于LST
- 下一篇： softmax理论及代码解读——UFLD