Multinomial distribution

將二元分布的二元情況擴展到多元，即可得到對應的多元分布。

首先先將伯努利分布擴展到多元假設對于離散變量xx，可能有KK個取值，那么xx一次的觀測值被表示為一個向量，且滿足∑Kk=1xk=1∑k=1Kxk=1，僅有一個維的值為11，其它都為00。 故xx的概率質量函數為：

p(x|μ)=ΠKk=1μxkkp(x|μ)=Πk=1Kμkxk

μμ也為一個KK維向量。且$p(x{k}=1)=\mu_k ,\sum{k=1}^K\mu_k=1$。對應的方差為

E[x|μ]=∑xp(x|μ)x=(μ1,...,μK)T=μE[x|μ]=∑xp(x|μ)x=(μ1,...,μK)T=μ

經過NN次觀察得到數據集DD，則對應的似然函數為

p(D|μ)=ΠNn=1ΠKk=1μxnkk=ΠKk=1μ(∑nxnk)k=ΠKk=1μmkkp(D|μ)=Πn=1NΠk=1Kμkxnk=Πk=1Kμk(∑nxnk)=Πk=1Kμkmk

其中mk=∑nxnkmk=∑nxnk表示觀測NN次，其中觀測值為第kk個的次數。它也是該分布的充分估計量。通過最大似然法估計μμ，考慮到似然函數和μμ的約束，所以利用了拉格朗日乘子法：

∑kmklnμk+λ∑Kk=1(μk?1)∑kmklnμk+λ∑k=1K(μk?1).

通過對上式求導可得

μk=?mkλμk=?mkλ

由∑Kk=1μk=1∑k=1Kμk=1，可得λ=?Nλ=?N,所以μk=mkNμk=mkN。

m1,m2,…,mKm1,m2,…,mK的分布即為multinomial分布，paf為：

Multi(m1,m2,...,mK|μ,N)=Cm1NCm2N?m1...CmKmKΠKk=1μmkkMulti(m1,m2,...,mK|μ,N)=CNm1CN?m1m2...CmKmKΠk=1Kμkmk

Dirichlet分布

和Beta分布相同，狄利克雷分布也是在多元情況下用來描述μμ的先驗分布，所以它也具有共軛性質，具有和似然函數相同的形式，它的pdf為：

Dir(μ|a)=Γ(a0)Γ(a1)...Γ(aK)ΠKk=1μak?1kDir(μ|a)=Γ(a0)Γ(a1)...Γ(aK)Πk=1Kμkak?1

上式中a0=∑Kk=1aka0=∑k=1Kak。aa也是一個向量，它是描述狄利克雷分布的超參數。

將似然概率和先驗概率相乘，可得

p(μ|D,a)∝p(D|μ)p(μ|a)∝ΠKk=1μak+mk?1kp(μ|D,a)∝p(D|μ)p(μ|a)∝Πk=1Kμkak+mk?1

可知后驗概率仍舊是狄利克雷分布，故可得?p(μ|D,a)=Dir(μ|a)=Γ(a0+N)Γ(a1+m1)...Γ(aK+mK)ΠKk=1μak+mk?1kp(μ|D,a)=Dir(μ|a)=Γ(a0+N)Γ(a1+m1)...Γ(aK+mK)Πk=1Kμkak+mk?1

可以將akak視為對于xk=1xk=1的次數的簡單的先驗估計。

from:?http://bucktoothsir.github.io/blog/2015/11/17/multinomialanddirichlet/

總結

以上是生活随笔為你收集整理的多元分布和狄利克雷分布的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。