http://blog.csdn.net/xianlingmao/article/details/5774435

圖模型(graphical model)是一類用圖來表示概率分布的一類技術(shù)的總稱。

它的主要優(yōu)點(diǎn)是把概率分布中的條件獨(dú)立用圖的形式表達(dá)出來，從而可以把一個(gè)概率分布（特定的，和應(yīng)用相關(guān)的）表示為很多因子的乘積，從而簡(jiǎn)化在邊緣化一個(gè)概率分布的計(jì)算，這里的邊緣化指的是給定n個(gè)變量的概率分布，求取其中m個(gè)變量的概率分布的計(jì)算（m<n)。

圖模型主要有兩大類，一類是貝葉斯網(wǎng)絡(luò)（又稱有向圖模型）；另外一類是馬爾可夫網(wǎng)絡(luò)（又稱無向圖模型）。

談到一個(gè)圖模型，主要有三個(gè)主要的關(guān)注點(diǎn)：

1）圖模型的表示（representation）； 指的是一個(gè)圖模型應(yīng)該是什么樣子的

2）圖模型的推斷（inference）； 指的是已知圖模型的情況下，怎么去計(jì)算一個(gè)查詢的概率，例如已經(jīng)一些觀察節(jié)點(diǎn)，去求其它未知節(jié)點(diǎn)的概率

3）圖模型的學(xué)習(xí)（learning）； 這里又分為兩類，一類是圖的結(jié)構(gòu)學(xué)習(xí)；一類是圖的參數(shù)學(xué)習(xí)。

?

在本文，我們主要關(guān)注圖模型的表示，在以后的文章中，我們會(huì)論述圖模型的其它方面。

一. 有向圖模型的表示

??? 顧名思義，有向圖模型的結(jié)構(gòu)表示是有向圖的形式；通過一個(gè)有向圖來表示一個(gè)概率分布，從而可以利用這個(gè)有向圖模型來進(jìn)行推斷。

對(duì)于有向圖模型，一個(gè)關(guān)鍵就是怎么通過一個(gè)有向圖來表示一個(gè)概率分布呢？

對(duì)于一個(gè)概率分布p(x1,x2,...,xn)，通過概率論中的鏈?zhǔn)椒▌t，我們可以把它寫成因子的形式

p(x1,x2,...,xn) = p(x1)p(x2|x1)P(x3|x1,x2)....p(xn|x1,x2....x_(n-1))

這是一個(gè)概率分布的一般形式，具體到一個(gè)特定的概率分布的時(shí)候，其中會(huì)有很多的隨機(jī)變量是獨(dú)立的或者條件獨(dú)立的，從而可以

把上述式子進(jìn)一步簡(jiǎn)化，例如x3, x1在給定x2的條件下是獨(dú)立的，那么p(x3|x1,x2) = p(x3|x2)。在簡(jiǎn)化后的條件概率分布中，對(duì)于每個(gè)因子，我們這樣來建立一個(gè)有向圖，每個(gè)隨機(jī)變量對(duì)應(yīng)一個(gè)圖的節(jié)點(diǎn)，然后對(duì)于每個(gè)因子，從它的條件部分的每個(gè)隨機(jī)變量節(jié)點(diǎn)連一條邊指向非條件變量節(jié)點(diǎn)，在完成所有的因子之后，就可以形成一個(gè)有向圖模型。這樣講可能太抽象，下面我以一個(gè)具體例子來論述它的原理

假設(shè)有這樣一個(gè)概率分布p(x1,x2,x3) = p(x1)p(x2|x1)p(x3|x1)

那么它的有向圖模型可以表示為

?

?反之，給定一個(gè)有向圖，我們可以從圖直接寫出這個(gè)圖表示的概率分布，大家可以試著從上述圖來寫出它的概率分布。

形式化地，一個(gè)有向圖模型表示的概率分布可以寫為：P(X)= IIp(Xi|Pa(Xi))，其中X表示隨機(jī)變量的向量，II表示乘積，Pa(Xi)表示Xi的父親節(jié)點(diǎn)。

???? 從上述描述可知, 要完整表示一個(gè)概率分布，一方面我們需要知道它的拓?fù)浣Y(jié)構(gòu)，即它的圖形結(jié)構(gòu)；

另外一方面，我們還需要知道概率分布的各個(gè)因子的分布情況，即上述公式中的P(Xi|Pa(Xi))需要知道。

可以用另外一個(gè)圖來表示一個(gè)完整的有向圖模型的形式大概是什么樣子

??? 在上述圖中的每個(gè)節(jié)點(diǎn)，都有一個(gè)條件概率分布表（CPT），這是有向圖模型的參數(shù)，即P(Xi|Pa(Xi))。

?

二. 無向圖模型的表示

????? 無向圖模型和有向圖模型類似，都是為了表示一個(gè)概率分布，同時(shí)需要把變量之間的條件獨(dú)立編碼在圖表示中，從而使得概率分布的表示可以被表示為因子乘積的形式，不同的是無向圖模型是建立在無向圖基礎(chǔ)上，而有向圖模型是建立在有向圖基礎(chǔ)之上。

????? 我們先看一個(gè)例子：

?

上圖是一個(gè)無向圖模型的完整的表示，左側(cè)是它的拓?fù)浣Y(jié)構(gòu)，右側(cè)是它的參數(shù)。

無向圖模型是以最大團(tuán)和定義在團(tuán)上的勢(shì)能函數(shù)（potential function）為核心，具體來說，在這個(gè)例子中，它有四個(gè)團(tuán)，AC , AB, BD ,CD。那么我們需要在四個(gè)團(tuán)上定義相應(yīng)的勢(shì)能函數(shù)，如右側(cè)所示，必須注意勢(shì)能函數(shù)必須為正。

最終這個(gè)無向圖模型表示的概率分布是：P(A,B,C,D)= (1/Z)*/phi(A,C)*/phi(A,B)*/phi(C,D)*/phi(B,D)

其中，Z是歸一化因子，因?yàn)閯?shì)能函數(shù)并沒有歸一化，而要概率是[0，1]，所以需要?dú)w一化；/phi 是表示相應(yīng)的勢(shì)能函數(shù)（這里因?yàn)椴荒鼙硎緮?shù)學(xué)符號(hào)，故而用了latex中的符號(hào)表示）。

所以一個(gè)無向圖模型表示的概率分布形式化地可以表示為：

P(X)=(1/Z)*II_{i=1}^{n}/phi(Ci(x))，其中Ci表示的第i個(gè)團(tuán)（都是利用了latex中符號(hào)表示數(shù)學(xué)公式。

?

三.小結(jié)

不管是有向圖模型還是無向圖模型，我們都需要關(guān)注它的兩個(gè)方面，一方面是確定它的結(jié)構(gòu)；一方面是確定它的參數(shù)，對(duì)于有向圖模型，需要去確定它的條件概率表，對(duì)于無向圖模型，需要確定每個(gè)團(tuán)的勢(shì)能函數(shù)。

因此，在下一篇博文中，我們將關(guān)注圖模型的參數(shù)學(xué)習(xí)和結(jié)構(gòu)學(xué)習(xí)。

有向圖模型與無向圖模型的對(duì)比：

1 共同之處

將復(fù)雜的聯(lián)合分布分解為多個(gè)因子的乘積

2 不同之處

有向圖模型因子是概率分布、無需全局歸一

無向圖模型因子是勢(shì)函數(shù)，需要全局歸一

3 優(yōu)缺點(diǎn)

無向圖模型中勢(shì)函數(shù)設(shè)計(jì)不受概率分布約束，

設(shè)計(jì)靈活，但全局歸一代價(jià)高

有向圖模型無需全局歸一、訓(xùn)練相對(duì)高效

總結(jié)

以上是生活随笔為你收集整理的图模型（graphical model, GM)的表示的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。