貝葉斯統計：Tweedie公式及其證明

Tweedie公式是貝葉斯統計中用來研究正態分布的均值問題的最重要的公式之一，不管是在經典的對正態均值進行區間估計、假設檢驗等領域中，還是在現代貝葉斯統計用均值的特殊先驗構造其shrinkage estimator的領域中，Tweedie公式都是重要的基礎工具，所以這一篇我們一起學習一下這個公式及其證明。

Tweedie公式 考慮$y|\mu ～N(\mu ,{\sigma }^2)$，其中${\sigma }^2$已知，$\mu$服從先驗概率密度$f(\mu )$，$y$的先驗邊緣概率為
$$m(y)={\int }_{?\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }{e}^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}d\mu$$

而$\mu$的后驗均值為
$$E[\mu |y]=y+\frac{d\ln m(y)}{dy}$$

證明
先計算score function $\frac{d\ln m(y)}{dy}$,
$$\begin{array}{rl}\frac{d\ln m(y)}{dy}& =\frac{1}{m(y)}\frac{d}{dy}m(y)\\ & =\frac{1}{m(y)}\frac{d}{dy}{\int }_{?\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }{e}^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}d\mu \\ & =\frac{1}{m(y)}{\int }_{?\infty }^{+\infty }\frac{f(\mu )}{\sqrt{2\pi }\sigma }\frac{d}{dy}{e}^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}d\mu \\ & =\frac{1}{m(y)}{\int }_{?\infty }^{+\infty }(\mu ?y)\frac{f(\mu )e^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma }dy\end{array}$$

然后計算后驗均值
$$\begin{array}{rl}E[\mu |y]& ={\int }_{?\infty }^{+\infty }\mu \frac{f(\mu )e^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & ={\int }_{?\infty }^{+\infty }[y+(\mu ?y)]\frac{f(\mu )e^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & =y{\int }_{?\infty }^{+\infty }\frac{f(\mu )e^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy+{\int }_{?\infty }^{+\infty }(\mu ?y)\frac{f(\mu )e^{?\frac{(y?\mu {)}^2}{2{\sigma }^2}}}{\sqrt{2\pi }\sigma m(y)}dy\\ & =y+\frac{d\ln m(y)}{dy}\end{array}$$

證畢

總結

以上是生活随笔為你收集整理的贝叶斯统计：Tweedie公式及其证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。