問題背景

很多時(shí)候，無法確定一個(gè)概率分布的具體密度函數(shù)，因而在對(duì)這種分布進(jìn)行后續(xù)操作（例如，作為貝葉斯學(xué)派求后驗(yàn)概率）時(shí)難度很大，無法進(jìn)行。這時(shí)候則需要對(duì)這種無法精確知道分布函數(shù)的概率進(jìn)行近似處理成已知的概率分布，從而方便計(jì)算或操作。拉普拉斯近似便是一種簡(jiǎn)單且廣泛應(yīng)用的近似方法，并且是很多采樣方法的基礎(chǔ)思想。

拉普拉斯近似

該方法的目的是找到一組定義在連續(xù)變量變量上的高斯近似，假設(shè)任一單一連續(xù)變量z，假設(shè)分布p(z)的定義為：

p(z)=1Zf(z) 其中 Z是歸一化系數(shù)，為Z=∫f(z)dz（聯(lián)系 softmax）， Z是未知的。拉普拉斯方法的目的是尋找一個(gè)高斯分布q(z)來近似 p(z)，它的中心位于 q(z)的眾數(shù)位置，即尋找一個(gè)點(diǎn) z0使得 p′(z0)=0，也等價(jià)于： df(z)dz|z=z0=0 考慮高斯分布的密度函數(shù)形式，它的對(duì)數(shù)有著變量的二次形式，故 lnf(z)進(jìn)行泰勒展開有： lnf(z)=lnf(z0)?12A(z?z0)2+Rn 其中 A=?d2dz2lnf(z)|z=z0 忽略余式 Rn，并在兩邊同時(shí)取指數(shù)有： f(z)=f(z0)exp{?A2(z?z0)2} 對(duì)比標(biāo)準(zhǔn)高斯分布函數(shù)，可以得到歸一化的高斯分布 q(z)： q(z)=(A2π)12exp{?A2(z?z0)2} 從這個(gè)式子可以看見（1）最后的近似高斯與原先 p(z)的歸一化系數(shù) Z無關(guān)，（2）A>0時(shí)近似才有定義。也就是說 z=z0處 p(z0)具有波峰，對(duì)應(yīng) f(z0)局部最大值，并且 f(z0)的二階導(dǎo)數(shù)小于0。

多維近似

將單變量的拉普拉斯近似進(jìn)行推廣，去近似M維空間上z的概率分布p(z)=f(z)Z，這里z和Z是向量，同理在駐點(diǎn)z0有：

lnf(z)=lnf(z0)?12(z?z0)TA(z?z0) 其中 A是 M?M的 Hessian矩陣，定義為： A=???lnf(z)|z=z0 其中 ?為梯度算子，同理，兩邊取指數(shù)有： f(z)=f(z0)exp{?12(z?z0)TA(z?z0)} 最后考慮多維高斯分布形式，有： q(z)=|A|122πM2exp{?12(z?z0)TA(z?z0)}=N(z|z0,A?1) 同樣， A需要是正定的。

歸一化系數(shù)的近似

前面說到在進(jìn)行拉普拉斯近似的時(shí)候，歸一化系數(shù)Z是不需要知道的，但在某些時(shí)候需要用到Z，我們同樣可以都它進(jìn)行近似。因?yàn)?#xff1a;

Z=∫f(z)dz 利用前面的對(duì) f(z)的泰勒展開，可得： Z=f(z0)∫exp{?12}(z?z0)TA(z?z0)dz 也就是： Z=f(z0)2πM2A12 這里從2式到3式使用了概率積分為1的性質(zhì)，所以后面的積分是多維高斯密度函數(shù)中歸一化系數(shù)的倒數(shù)。

總結(jié)

拉普拉斯近似只需要尋找到眾數(shù)z0，然后該點(diǎn)處的黑塞矩陣，z0可以用優(yōu)化算法得到，但往往在實(shí)際中，會(huì)存在多峰情況的分布，那么可以對(duì)不同的波峰進(jìn)行拉普拉斯近似。在應(yīng)?拉普拉斯?法時(shí)，真實(shí)概率分布的歸?化常數(shù)Z不必事先知道。根據(jù)中?極限定理，我們可以預(yù)見模型的后驗(yàn)概率會(huì)隨著觀測(cè)數(shù)據(jù)點(diǎn)的增多?越來越近似于?斯分布，因此我們可以預(yù)見在數(shù)據(jù)點(diǎn)相對(duì)較多的情況下，拉普拉斯近似會(huì)更有?。

總結(jié)

以上是生活随笔為你收集整理的拉普拉斯近似的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。