3.3 貝葉斯估計

矩估計和極大似然估計方法的優點是比較客觀客觀，基本由隨機采樣數據決定。缺點是需要在大樣本情況下估計才比較準確。不能把人類知識用于估計。例如，某公司研發新產品，需要估計合格率，這是典型的伯努利分布。按照矩估計和極大似然估計方法，需要試生產大量產品后才能獲得比較好的估計，這在實踐中十分昂貴和耗時。該公司的研發人員根據同類產品的歷史經驗和理論分析或仿真，可以對新產品的合格率有個比較可靠的估計，即使新產品還沒有生產。這些知識是十分寶貴的，如果不能充分利用則實在可惜。如果很好的利用了這些知識，則可能只需少量樣本即可獲得很好的估計，貝葉斯估計就是這樣一種方法。

貝葉斯估計有個核心概念：先驗。先驗是先于試驗即在試驗之前，注意不是實驗。在統計估計中，試驗指通過對總體分布進行不斷抽樣，根據抽樣來獲得對總體分布的知識。例如要估計黑箱中黑球白球的比例，通過不斷取球，根據取出的球中黑球白球比例來估計真實比例。總之抽樣獲得的知識就是經驗，所以在統計估計中先驗指在抽樣之前。先驗知識指在抽樣之前就存在的關于總體分布的知識：總體分布和分布參數，這些知識如何獲得的？有可能是前人研究類似分布獲得的知識，也有可能是通過理論分析獲得的知識等等。還是以估計新產品合格率為例，先驗知識就是研發人員根據同類產品和經驗，或者對新產品進行理論研究獲得的關于合格率的知識。注意人們關于這個合格率，其實并不是一個固定的值，而是一個分布。例如如果根據先驗知識，知道新產品合格率會比較高，則會認為合格率為0.8的概率會遠大于0.1的概率，如合格率在 $[0.8,1]$ 的概率為0.7，在 $[0,0.1]$ 的概率為0.1。在抽樣之前，關于合格率分布的密度函數就是先驗分布，這是貝葉斯估計的核心概念。矩估計和極大似然估計都是假設合格率是一個固定值而不是分布，只是我們不知道這個真實值而已。是否利用先驗知識和被估計值是否是概率分布，這是貝葉斯估計和矩估計和極大似然估計最大區別，為此貝葉斯估計被稱為貝葉斯學派，矩估計和極大似然估計等稱為頻率學派。兩個學派各有優缺點，歷史上這兩種方法爭論不休。

知道了先驗分布就很容易理解貝葉斯估計了。根據條件概率公式

$$p(A|B)=p(A,B)/p(B)$$

$p(A|B)$ 表示事件B發生條件下事件A發生的概率，$p(A,B)$ 表示事件A，B同時發生的概率。同理可得

$$p(B|A)=p(A,B)/p(A)$$

故 $p(A|B)p(B)=p(B|A)p(A)$ 即

$$p(B|A)=p(B)[p(A|B)/p(A)]$$

這就是著名的貝葉斯公式，貝葉斯估計就是依據該公式。

怎么理解貝葉斯公式呢？$p(B)$ 是事件B發生概率，$p(B|A)$ 是事件A發生條件下事件B發生概率，他們之間的關系由 $p(A|B)/p(A)$ 決定，這個表達式體現了事件A對事件B的影響。如果 $p(A|B)/p(A)=1$ 則 $p(B|A)=p(B)$ ，這說明事件A對事件B沒有影響，他們是獨立的。根據 $p(A|B)/p(A)=1$ 得 $p(A,B)=p(A)p(B)$ ,A,B事件確實是獨立的。如果 $p(A|B)/p(A)>1$ 則 $p(B|A)>p(B)$ ，這說明事件A對事件B的發生有促進作用。由 $p(A|B)/p(A)>1$ 得 $p(A|B)>p(A)$ ，這說明事件B對事件A的發生有促進作用，所以事件A，B是相互促進的，和生活常識相符。同理如果 $p(A|B)/p(A)<1$ 則 $p(B|A)<p(B)$ ，這說明事件A對事件B的發生有抵消作用。由 $p(A|B)/p(A)<1$ 得 $p(A|B)<p(A)$ ，這說明事件B對事件A的發生有抵消作用，所以事件A，B是相互抵消的。

貝葉斯公式中事件A，B可以是任意事件，對于貝葉斯估計來說，事件A就是對總體隨機抽樣獲得 $n$ 個樣本 $A:{\mathbf{x}}_{data}=(x_1,?,x_n)$ ，是經驗。事件B就是要估計的參數向量 $B=\theta$ 。$p(B)=p(\theta )$ 是參數向量的概率分布，是未試驗之前給出的，就是先驗分布，在貝葉斯估計中記為 $\pi (\theta )$ 。$p(B|A)=p(\theta |{\mathbf{x}}_{data})$ 是采樣數據后參數向量的概率分布，稱為后驗分布，在貝葉斯估計中記為 $\pi (\theta |{\mathbf{x}}_{data})$ 。后驗分布就是有了數據后對參數向量的先驗分布進行更新后得到的，包含了先驗知識和采樣信息。$p(A|B)=p({\mathbf{x}}_{data}|\theta )$ 是假設參數向量 $\theta$ 已知情況下采樣到數據 ${\mathbf{x}}_{data}$ 的概率，就是極大似然估計方法中的似然函數！這點十分重要，建立了和極大似然估計的關系。$p(A)=p({\mathbf{x}}_{data})$ 就是采樣到數據 ${\mathbf{x}}_{data}$ 的邊緣概率。所以貝葉斯估計的公式為

$$\pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})}$$

對連續型隨機變量有

$$p({\mathbf{x}}_{data})={\int }_{\theta }\pi (\theta )p({\mathbf{x}}_{data}|\theta )d\theta$$

貝葉斯估計公式看起來很簡單，但實際求解非常復雜。一般來說，計算 $p({\mathbf{x}}_{data})$ 是不太可能的，因為需要計算積分，需要精心選擇合適的先驗分布才有可能計算積分。

對于伯努利分布來說，需要估計隨機變量取 1 的概率 $p$ ，如果 $p=\theta$ 的先驗分布假設為Beta分布，Beta分布的概率密度函數為：

$$beta(\theta ;(\alpha ,\beta ))=\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1};0<\theta <1$$

其中 $\alpha ,\beta$ 是分布參數，需要我們利用先驗知識獲得 $\theta$ 的分布，然后選擇最優的 $\alpha ,\beta$ 來擬合該分布。

Beta分布的兩個重要性質，分布眾數（函數極值點）為 $\frac{\alpha ?1}{\alpha +\beta ?2}$ ，分布均值為 $\frac{\alpha }{\alpha +\beta }$ ；$beta(\theta ;(\alpha =1,\beta =1))=1$ 是均勻分布。

假設隨機抽樣 $n$ 個樣本，$m$ 次隨機變量取 1，則似然函數為

$$p({\mathbf{x}}_{data}|\theta )={\theta }^m(1?\theta {)}^{n?m}$$

抽樣數據的邊緣密度為

$$\begin{gathered} p({\mathbf{x}}_{data})={\int }_{\theta }\pi (\theta )p({\mathbf{x}}_{data}|\theta )d\theta \\ ={\int }_{\theta }\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1}{\theta }^m(1?\theta {)}^{n?m}d\theta \\ =\frac{B(\alpha +m,\beta +n?m)}{B(\alpha ,\beta )} \end{gathered}$$

注意邊緣分布與參數 $\theta$ 無關！

所以參數的后驗分布為

$$\begin{gathered} \pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})} \\ =\frac{\frac{1}{B(\alpha ,\beta )}{\theta }^{\alpha ?1}(1?\theta {)}^{\beta ?1}{\theta }^m(1?\theta {)}^{n?m}}{\frac{B(\alpha +m,\beta +n?m)}{B(\alpha ,\beta )}} \\ =beta(\theta ;(\alpha +m,\beta +n?m)) \end{gathered}$$

后驗分布也是Beta分布，和先驗分布屬于同類分布。當后驗分布和先驗分布屬于同族分布時，此時稱先驗分布為共軛先驗分布。采用共軛先驗分布可以簡化計算。

有了后驗分布就可以進行各種估計了，可以進行點估計和區間估計。

點估計有后驗分布的眾數（后驗密度最大點）、后驗分布的中位數、后驗分布的均值。其中后驗均值的計算公式為 ${\int }_{\theta }\theta \pi (\theta |{\mathbf{x}}_{data})d\theta$ 。那么這三種估計哪一種最好呢？各有優缺點，實踐中都可以采用，后驗分布的均值在平均意義下是最優的。如果后驗分布是中心對稱且中心點是極大值，則這三種點估計是同一值。

區間估計可以計算參數在任意區間的概率 $p={\int }_{\theta \in \Omega }\theta \pi (\theta |{\mathbf{x}}_{data})d\theta$ ，很可惜由于后驗概率很復雜，該積分式一般沒有解析值，只能數值計算或查表。歷史上貝葉斯本人可能就是因為沒有計算出Beta分布區間概率的準確值，在生前遲遲沒有公開發表貝葉斯估計論文，直到死后兩年才發表。或者計算最高后驗概率密度區間(highest posterior density HPD)，即希望在置信水平 $1?\alpha$ 下，置信區間的長度越短越好。當參數的后驗密度函數 $\pi (\theta |{\mathbf{x}}_{data})$ 曲線是單峰對稱的，則峰值兩側各取 $\alpha /2$時，置信區間的長度為最短，此置信區間為 HPD 置信區間。當后驗密度曲線為單峰非對稱時， 則 HPD 置信區間求起來相對復雜。最高后驗概率密度區間的意義可以這樣理解，被估計參數的真值有 $1?\alpha$ 概率落在該區間，雖然貝葉斯估計認為被估計值不存在真值，只存在一個分布，但這種理解非常符合人的直覺。

貝葉斯估計從一定意義上說也遵循大數定理和中心極限定理。即隨著抽樣樣本數量的增加，后驗分布函數曲線越來越集中，只形成一個尖峰，后驗分布方差越來越小，當樣本無窮多時，方差趨近 0 。而且，隨著抽樣樣本數量的增加，先驗分布對后驗分布的影響越來越小，當樣本無窮多時，先驗分布影響趨于 0。這個十分符合直觀，因為樣本無窮多時，根據大數定理和中心極限定理，樣本信息足夠估計參數，完全不需要先驗知識，先驗知識只在樣本比較少的時候才有用，樣本越少，先驗知識越重要，樣本越多先驗知識越不重要，畢竟先驗知識主觀成分比較大，抽樣樣本數據更有說服力。樣本無窮多時分布極值點必然和極大似然估計結果一致。

還是以伯努利分布為例，后驗分布為

$$\pi (\theta |{\mathbf{x}}_{data})=beta(\theta ;(\alpha +m,\beta +n?m))$$

后驗分布均值為 $E(\theta )=\frac{\alpha +m}{\alpha +\beta +n}$，分布眾數為 $\frac{\alpha +m?1}{\alpha +\beta +n?2}$，后驗方差為 $Var(\theta )=\frac{(\alpha +m)(\beta +n?m)}{(\alpha +\beta +n{)}^2(\alpha +\beta +n+1)}$ 。

后驗分布均值可變換為

$$\begin{gathered} E(\theta )=a\frac{m}{n}+(1?a)\frac{\alpha }{\alpha +\beta } \\ a=\frac{n}{\alpha +\beta +n} \end{gathered}$$

可見后驗分布均值是樣本均值 $\frac{m}{n}$ 和先驗均值 $\frac{\alpha }{\alpha +\beta }$ 的加權平均，權重為 $a$ ，可見后驗均值綜合了樣本信息和先驗信息。顯然當 $n$ 越來越大時權重 $a$ 越來越接近 1，后驗均值越來越接近樣本均值，樣本均值就是極大似然估計值，與先驗分布無關。當樣本數量少時，權重 $a$ 小，先驗知識很重要。從另一個角度看先驗分布 $beta(\theta ;(\alpha ,\beta ))$ ，可以認為是進行了虛擬試驗，總共試驗了 $\alpha +\beta$ 次，其中 $\alpha$ 次取值為1 即成功次數。

后驗方差可變換為

$$Var(\theta )=\frac{E(\theta )(1?E(\theta ))}{\alpha +\beta +n+1}$$

顯然當 $n$ 越來越大時方差越來越小，無窮多時，方差趨近 0，這表示估計參數值幾乎收斂到一個點，失去了隨機性，估計值是百分之百準確的。 $n$ 小時，方差較大，估計準確度不高。

當樣本分布為高斯分布時 $N(\mu ,{\sigma }_0^2)$ ，其中 $\mu$ 未知，${\sigma }_0^2$ 已知。若 $\mu$ 的先驗分布為高斯分布 $N({\mu }_b,{\sigma }_b^2)$ 。根據貝葉斯估計公式，可以計算得到 $\mu$ 的后驗分布也是高斯分布，$N({\mu }_p,{\sigma }_p^2)$ 。

$$\begin{gathered} {\mu }_p=\frac{\bar{x}{h}_0+{\mu }_b{h}_1}{h_0+h_1} \\ ({\sigma }_p^2{)}^{?1}=h_0+h_1 \\ {h}_0=({\sigma }_0^2/n{)}^{?1} \\ {h}_1=({\sigma }_b^2{)}^{?1} \end{gathered}$$

可見，在方差已知情況下高斯分布的共軛先驗分布為高斯分布。后驗均值是樣本均值 $\bar{x}$ 和先驗均值的加權平均，后驗方差是樣本平均方差和先驗方差的調和平均。顯然當 $n$ 越來越大時 $h_0$ 越來越大，后驗均值越來越接近樣本均值，樣本均值就是極大似然估計值，與先驗分布無關。當樣本數量少時，先驗知識很重要。當 $n$ 越來越大時方差越來越小，無窮多時，方差趨近 0，這表示估計參數值幾乎收斂到一個點，失去了隨機性，估計值是百分之百準確的。 $n$ 小時，方差較大，估計準確度不高。

關于點估計中后驗分布眾數，也稱為極大后驗估計MAP。根據后驗公式

$$\pi (\theta |{\mathbf{x}}_{data})=\frac{\pi (\theta )p({\mathbf{x}}_{data}|\theta )}{p({\mathbf{x}}_{data})}$$

由于數據邊緣分布 $p({\mathbf{x}}_{data})$ 是對參數積分所得，與參數 $\theta$ 無關。故后驗分布最大值等價于 $\pi (\theta )p({\mathbf{x}}_{data}|\theta )$ 最大值，是似然函數和先驗分布的乘積。兩邊取對數得

$$logp({\mathbf{x}}_{data}|\theta )+log\pi (\theta )$$

故極大后驗估計與極大似然估計十分相似，只是多了先驗分布對數。當先驗分布是常數分布時，極大后驗估計與極大似然估計結果一致。從廣義上看，$log\pi (\theta )$ 是正則項。似然函數 $logp({\mathbf{x}}_{data}|\theta )$ 是樣本信息，$log\pi (\theta )$ 是先驗知識。

現在分析貝葉斯學派和頻率學派的優缺點。進行參數估計，貝葉斯學派利用了三種信息：先驗知識獲得先驗分布；采樣的樣本信息；和一個不太明顯的信息：樣本總體分布假設，比如假設樣本分布滿足高斯分布或拉普拉斯分布，而不是其他分布，這也是需要先驗知識的。頻率學派利用了其中兩種信息：采樣的樣本信息；樣本總體分布假設。

貝葉斯學派最大爭議是先驗分布，由于選擇先驗分布具有主觀性，表現出一定的隨意性，導致分析失去部分客觀性。不同的先驗分布對后驗分布有影響，甚至有時候，兩個『接近的』先驗分布會導致很不同的后驗分布。所以確定合理的先驗分布是貝葉斯學派的核心。如果先驗知識能定出合理的先驗分布，此時貝葉斯估計比頻率學派能獲得更好結果，特別是樣本數量少時。當先驗很弱或樣本數量很大，不需要勉強采用貝葉斯估計。后驗分布難以計算也是貝葉斯實際應用中的攔路虎。貝葉斯學派的優點是利用后驗分布進行參數估計十分符合人們的直覺。

頻率學派的缺點是完全忽略先驗知識，當有很多先驗知識時這會顯得十分不明智，特別是樣本很少時。頻率學派進行參數估計時難以理解，不太符合人們直覺。優點是客觀性比較高，但選擇合適的樣本總體分布假設，實際上也有一定的主觀性，所以不存在完全客觀的統計推斷方法。

計算后驗分布的難題，現在采用馬爾可夫鏈蒙特卡洛模擬 MCMC 可部分解決，具體內容讀者可查閱相關教材。

關于先驗分布的選擇，我們再強調一下。當我們不存在任何先驗知識時，但還是希望用貝葉斯估計。那怎么確定先驗分布呢？此時先驗分布稱為無信息先驗分布。

還是以伯努利分布為例，我們對參數 $p$ 一無所知，顯然最合理的先驗分布為均勻分布，即 $(0,1)$ 內均勻分布，$beta(\theta |(\alpha =1,\beta =1))$ 就是均勻分布。利用該分布可以獲得合理的后驗分布，比極大似然估計更合理，相當于在正式試驗前進行了兩次虛擬試驗，其中成功了一次。

高斯分布的均值的先驗分布是什么呢？由于均值可以取任意實數，所以一個合理的先驗分布是取整個實數域上的均勻分布，顯然此時先驗分布在定義域內積分為無窮大，不滿足先密度函數在定義域內積分為 1 的要求。嚴格來說不能作為先驗分布。但實在找不出其他更合理的先驗分布，怎么辦？幸好，采用整個實數域上的均勻分布計算的后驗分布居然是一個真正概率分布，我們真正關心的是后驗分布，所以我們此時定義這種先驗分布為廣義先驗分布。

更有趣的是，高斯分布方差 ${\sigma }^2$ 的平方根標準差 $\sigma$ 先驗分布是什么呢？也是 $(0,\infty )$ 的均勻分布嗎？其實不是，$\pi (\sigma )={\sigma }^{?1}$ 更合理，神奇吧！關于各種設置先驗分布的知識讀者可查閱相關教材。

總結

以上是生活随笔為你收集整理的3.3 参数估计：贝叶斯估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。