Laplace近似就是使用正態(tài)分布來近似連續(xù)變量概率密度函數(shù)。

lnf(z)?lnf(z0)?12A(z?z0)2A=?d2dz2lnf(z)∣z=z0

1 非共軛的先驗(yàn)概率

在很多時(shí)候在我們建立的概率模型中的先驗(yàn)概率是不存在共軛后驗(yàn)的，
例如，考慮一個(gè)模型

Xi～g(xi|θ)=θ(θ+1)x(θ?1)i(1?xi)，θ>0 ，對(duì)于這個(gè)模型來說，并沒有任何的prior可以找到共軛分布，因?yàn)? θ>0 所以把 θ 的先驗(yàn)選作Gamma分布。
這時(shí)后驗(yàn)分布，

這時(shí)， p(θ|x)很難計(jì)算。

２ Laplace近似

設(shè)θ^是pdf h(θ)的最大值點(diǎn)，所以它也是q(θ)=logh(θ)的最大值點(diǎn)，那么，對(duì)q(θ)二階泰勒展開可得：

其中a~=θ^，b~2={?q¨(θ^)}?1，注意等式右面的第二部分形式恰好是N(a~,b~2)的對(duì)數(shù)形式，因此h(θ)≈N(a~,b~2)。
Laplace近似形式很簡(jiǎn)單，對(duì)近似的函數(shù)的要求就是二階可導(dǎo)，且最最大點(diǎn)處 peaks well，而且近似過程中我們也只需要知道最大點(diǎn)θ^和q¨(θ^)。
例子：




假設(shè)，n=20,Σi=1logXi=?4.59,a=1,b=1，解上述方程可得θ^=6.69,?q¨(6.69)=0.785，因此ξ(θ|x)≈Normal(6.69,1/0.785)

3 找出θ^

在上面的這里例子中求解θ^很簡(jiǎn)單，但是并不是所有的模型中都可以直接計(jì)算出的，這里可以使用數(shù)值方法，例如牛頓法：
初始值：θ=θ0
迭代：

4 正態(tài)分布對(duì)后驗(yàn)概率估計(jì)的質(zhì)量

現(xiàn)在我們已經(jīng)可以對(duì)一個(gè)后驗(yàn)概率使用Laplace近似了，那么我們得到的結(jié)果和要近似的分布之間差異到底有多大呢？
結(jié)論：當(dāng)模型是”regular”，prior光滑，n足夠大，

對(duì)共軛后驗(yàn)的正態(tài)近似

當(dāng)n足夠大的時(shí)候，有著共軛后驗(yàn)的分布也和正態(tài)分布近似。

總結(jié)

以上是生活随笔為你收集整理的Laplace近似后验概率的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。