本章干貨十足：

開篇集中討論“無偏、有效、相合、漸近正態(tài)”四大性質，整理它們的聯(lián)系與差異；

不同方法解決EM例題，引入“雙硬幣模型”說明EM算法的應用場景和基本思路。

本章的主題是參數(shù)估計，分為兩種方法：一是點估計，二是區(qū)間估計。其中“點估計”的方法包括：矩估計、極大似然估計以及貝葉斯估計等，占據(jù)了較多篇幅。其實除了估計方法，更重要的是理解估計量的性質，例如：無偏性、有效性、相合性、漸近正態(tài)性等。書中把估計的方法和性質結合起來講，我準備把估計量的性質單獨拿出來講，以便比較各種性質之間的差異。

一、估計及其性質

“估計”在中文里既可以作名詞，也可以作動詞。用英文的話，可以表示成不同的單詞：

estimate：所謂的“估計”（動詞）就是根據(jù)樣本預測總體分布中的未知參數(shù)。例如，已知總體服從正態(tài)分布

，但總體均值 未知，我們通過某個函數(shù)“估計”總體均值， 。

estimator：“估計量”（名詞）

實際上是一個統(tǒng)計量，它是通過一個不含未知參數(shù)的樣本函數(shù)計算出來的結果。一般使用 表示總體的參數(shù)， 表示參數(shù)的估計量。

estimation：“估計法”（名詞）表示尋找函數(shù)

的過程，可以理解為一種估計方法。例如：Maximum Likelihood Estimation，最大似然估計法。

隨著樣本不同，同一估計法得到的結果可能是不一樣的，因此“估計量”也是一個隨機變量。對于同一個參數(shù)，有不同的估計方法，而且看起來都是合理的。如何比較它們的優(yōu)劣呢？

（1）均方誤差 MSE Mean Square Error

評價一個估計量的好壞，很自然地會想到：衡量“估計量”與“真實值”之間的距離，距離越小表示估計量的性能越好。也就是所謂的“均方誤差”函數(shù)：

也就是距離平方的期望值，如果將其進一步展開：

注意：

和 均為數(shù)值， 表示參數(shù)的真實值， 表示估計量的數(shù)學期望。

由此看見，均方誤差由兩部分組成：一是估計量的方差（Variances） ，即

；二是估計量的系統(tǒng)偏差（Bias）的平方，即 。

從“馬同學”處借來此圖，它可以幫助理解“方差”與“偏差”：

備注：靶心表示“真實值”，紅叉表示“估計值”

“方差”衡量估計值的分散程度，“偏差”衡量估計值的期望與真實值的距離。

左上圖：估計值落在靶心四周，此時“方差”較大但“偏差”較小；

右上圖：估計值落在靶心鄰近，此時“方差”、“偏差”均較小；

左下圖：估計值離靶心較遠，呈分散狀，此時“方差”、“偏差”均較大；

右下圖：估計值離靶心較遠，落點集中，此時“偏差”較大但“方差”較小。

（2）無偏性

有了前面的鋪墊，無偏性就很好理解，表示估計量“偏差”一項為0，即沒有系統(tǒng)性的偏差。以一把秤為例，產生誤差的原因有二：一是稱本身結構有問題，測量的結果總是偏高或偏低，這屬于系統(tǒng)性誤差；二是由于操作上或其他隨機因素，導致測量的結果有時偏大，有時偏小，把這些誤差平均起來結果為0。前者是“偏差”項，后者是“方差”項。

若

，則稱 為 的“無偏估計”。

無偏性的特點：

估計量的無偏性是固定n個樣本就具有的性質，屬于“小樣本性質”；

無偏性不具有不變性，若 為 的無偏估計，一般而言，其非線性函數(shù) 不是 的無偏估計。書中例6.1.2說明了這一性質。因此無偏性無法簡單地從一個參數(shù)推廣至其他參數(shù)。

（3）有效性

對于同一參數(shù)可能存在多個無偏估計，又該如何選擇呢？根據(jù)MSE的定義，當兩個估計量都具有無偏性時，它們的誤差完全由“方差”一項決定，即

此時當然是“方差”越小越好，即越“有效”。

值得注意的是：比較“有效性”的前提條件是估計量具有“無偏性”。

一個重要的定義：

設

為 的無偏估計，如果對另外任意一個 的無偏估計 ，在參數(shù)空間上都有

則稱

為 的“一致最小方差無偏估計”，記作UMVUE （Uniform Minimum Variance Unbiased Estimator），也簡單記作MVU估計。

UMVUE是書中的重點內容，用了整一節(jié)展開論述。除了它的定義，書中還介紹了若干UMVUE的判別方法：

定理6.4.1 UMVUE的充要條件：必須與任一0的無偏估計不相關。

充分性原則：若充分統(tǒng)計量和UMVUE存在，則UMVUE一定可以表示為充分統(tǒng)計量的函數(shù)（對非充分統(tǒng)計量的函數(shù)求充分統(tǒng)計量的條件期望）。

Cramer-Rao不等式，我們最后再深入討論它。

（4）相合性和漸近正態(tài)性

根據(jù)格里紋科定理，隨著樣本數(shù)量不斷增大，經驗分布函數(shù)逼近真實分布函數(shù)，估計量與真實值逐漸重合。它的定義如下：

設

是未知參數(shù) 的一個估計量，n是樣本容量，若對于任意 ，有 ，則稱 為參數(shù) 的“相合估計”。

相合性是一個估計量的最基本要求，如果不具備相合性，無論樣本數(shù)量多大，也不能把估計結果提升至預定的精度，這樣的估計量就沒有存在的價值了。

所謂“漸近正態(tài)性”，不但給出估計結果，也給出了估計量的分布。其定義如下：

設

是未知參數(shù) 的相合估計量，若存在趨于0的非負常數(shù)序列 ，使得 收斂于標準正態(tài)分布，則稱設 服從“漸近正態(tài)分布”，記作 。

對比“相合性”和“漸近正態(tài)性”，類似于“大數(shù)定律”與“中心極限定理”的關系。

它們的特點：

相合性和漸近正態(tài)性是針對 而言，屬于“大樣本性質”；

相合性往往可以通過函數(shù)推廣（不變性），即估計量的函數(shù)仍具備相合性。

相合性的判別方法：

設 是未知參數(shù) 的一個估計量，若 ， ，則 是 的相合估計。

若 分別是 的相合估計， 是 的連續(xù)函數(shù)，則 是 的相合估計。

（5）小結

陳希孺的書對于估計量的各種性質（稱為“點估計的優(yōu)良性準則”）進行了集中而深入的討論，他認為：“每種準則在某種情況下都有其局限性”，要結合實際問題考慮是否取用某一準則。以無偏性為例：對于商店里面的秤，具有無偏性很重要，因為這對商家、顧客都是公平的。盡管某一次交易存在多給或少給，但長期來看雙方都不吃虧。但對于另一種情況：實驗室估計生成原料中某種成分的含量p，無論是高估還是低估，都會有損產品質量。因為估計的正、負偏差并不能抵消， 此時無偏性就不那么重要了。又比如茆詩松書中的例6.4.1，從MSE的角度來看，某些無偏估計的性能還不如有偏估計。

四個性質里面，無偏性與相合性為主要性質，有效性與漸近正態(tài)性是在前兩個性質基礎上衍生的性質。

二、點估計方法

（1）矩估計

矩估計（替換原理）可以歸結為：

• 用樣本矩去替代總體矩（原點矩、中心矩均可）
• 用樣本矩的函數(shù)替代相應的總體矩的函數(shù)
• 盡量采用低階矩估計未知參數(shù)

我們回顧一下樣本矩與總體矩的定義：

• k階總體矩：
• k階樣本矩：

無偏性討論：

容易證明，用樣本矩替代總體矩具有無偏性：

但除非是線性函數(shù)，否則用樣本矩的函數(shù)替代相應總體矩的函數(shù)不具有無偏性：

線性函數(shù)：

非線性函數(shù)：

與 存在差異。

相合性討論：

根據(jù)相合性判別法則1（上節(jié)）：

顯然成立（前面以證明即使n有限時也成立）。

，因此 是 的相合估計。

根據(jù)相合性判別法則2：

既然

是 的相合估計，只要 為連續(xù)函數(shù)，則可證明 是 的相合估計。

（2）最大似然估計

在總體分布類型已知的情況下，常用最大似然估計法求未知參數(shù)。

似然函數(shù)

離散總體

連續(xù)總體

若用概率函數(shù)（即可表示分布列，也可表示密度函數(shù)）

表示 ，則似然函數(shù)為

注意函數(shù)里面的分號“；”，分號前面的是樣本變量，分號后面是待定參數(shù)。參數(shù)估計時，我們根據(jù)抽樣結果（樣本觀測值），推斷待定參數(shù)的值。因此

可以看作已知數(shù)， 只是參數(shù) 的函數(shù)。

似然函數(shù)的含義：樣本

等n個事件獨立同時發(fā)生的概率，即 ，而且這個概率是在參數(shù)為 的情況下發(fā)生的。

在參數(shù)空間

里面，找到使得似然函數(shù) 取得最大值的參數(shù) 。

即

，則稱 是 的”最大似然估計“。

求解步驟

注意：參數(shù)

即可表示單個參數(shù)，又可表示多個參數(shù)構成的向量。

第一步：寫出似然函數(shù)

第二步：利用對數(shù)函數(shù)單調性，轉換為對數(shù)似然函數(shù)

第三步：求導數(shù)使得一階導數(shù)為0，二階導數(shù)為負

特殊情況：當似然函數(shù)為單調函數(shù)，見例6.3.5

樣本來自均勻分布

，似然函數(shù)為 。

注意

為示性函數(shù)，當 位于 范圍內時， ，否則 。

為了使似然函數(shù)更大，必須所有的

（否則似然函數(shù)為0），即 。

在此范圍內尋找似然函數(shù)

的最大值，因此有 。

相關性質：

由于”最大似然估計法“得到的結果（估計量）為一個含有未知參數(shù)的代數(shù)方程，不一定有顯式解，因此研究它的無偏性、相合性比較困難。

因此書中直接給出結論：

最大似然估計具有”不變性“，若稱 是 的最大似然估計，則 是 的最大似然估計；

最大似然估計具有漸近正態(tài)性。

EM算法

書中舉了一個例子6.3.7，演示EM算法的基本步驟，但例子并不典型，即使不使用EM算法也能求解。

非EM解法：

依題意得對數(shù)似然函數(shù)

若一階導數(shù)為0，可得下列三次方程：

求解高次方程的辦法很多，最簡單的是用wolframalpha

得到3個數(shù)值解： -0.429，0.6067，1.325 。依題意，參數(shù)的取值范圍在(0,1)之間，立刻可以排除其中2個，因此0.6067為參數(shù)估計量。

EM解法：

引入中間變量z1,z2，建立z與已知樣本、未知參數(shù)的關系，本例有

，

2. E步，根據(jù)樣本及參數(shù)估算值，基于完全數(shù)據(jù)求對數(shù)似然函數(shù)的期望

首先，當y和

已知，z的數(shù)學期望為

此時，基于完全數(shù)據(jù)的對數(shù)似然函數(shù)期望為

注意

為待定參數(shù)， 為已知的估算值。

3. M步，通過迭代法求參數(shù)，對

求一階導數(shù)，建立參數(shù)迭代公式。

整理后得到

的迭代式，然后迭代求解。

關于EM例子的一點思考：

書中的例子，注重EM算法步驟的講解，但忽略了與實際問題的聯(lián)系。為什么要用EM算法？它能解決哪些特殊的問題？什么是中間變量z，它有什么含義呢？

”雙硬幣模型“

假設袋子里有A、B兩種硬幣，已知它們擲出正面的概率不一樣。隨機抽出一枚，連續(xù)投擲10次，把試驗結果記錄下來。然后再隨機抽出一枚，連續(xù)投擲10次，如此重復5輪。

求：硬幣A擲出正面的概率

？硬幣B擲出正面的概率？

假如已知每輪試驗抽到是硬幣A還是B，問題變得非常簡單，很容易列出最大似然函數(shù)：

n1: 硬幣A為正面的次數(shù)，n2：硬幣A為反面的次數(shù)，n3：硬幣B為正面的次數(shù)，n4：硬幣B為反面的次數(shù)。

遺憾的是，由于不知道每輪抽出的是A還是B，因此n1,n2,n3,n4未知，在缺少它們的情況下，最大似然估計無法進行。

EM算法解決”雙硬幣“問題的思路：

第一步：假設兩種硬幣擲出正面的概率為

第二步：既然問題的關鍵在于每輪抽出的是A還是B，而這個參數(shù)的隱藏的，不妨先對它進行估算。這一步稱為Expectation。

已知第i輪出現(xiàn)正面的次數(shù)為

，其中 ?？捎嬎愠龅?i 輪抽出硬幣A的概率 ，抽出硬幣B的概率

注意推導過程，靈活運用貝葉斯公式：

從而估算出第 i 輪抽出A的概率為

，B的概率為

第三步：基于對隱藏參數(shù)（本輪是A還是B）的預測，通過最大似然法修正概率

和 ，這一步稱為Maximization。

迭代計算直至收斂。

篇幅所限，關于EM算法及雙硬幣模型的內容詳見

August：人人都懂EM算法?zhuanlan.zhihu.com

（3）貝葉斯估計

最大似然估計法基于兩方面信息對未知參數(shù)進行估計，一是總體信息，如總體屬于何種分布；二是樣本信息，即抽樣得到的觀測值。而貝葉斯估計在前兩者的基礎上，增加一項：先驗信息，即未知參數(shù)的先驗分布。

先驗分布與后驗分布

最大似然估計把總體依賴于參數(shù)的密度函數(shù)記為

，而貝葉斯估計則記為 ，其中X表示包含多個樣本的向量。

假設參數(shù)

服從先驗分布 ，貝葉斯估計的目的：求在樣本信息的條件下，參數(shù)的后驗分布 。

從一個條件分布出發(fā)，求另一個條件分布，可以使用貝葉斯公式：

注意：無需對括號前面的

等感到困擾，它們都表示括號里發(fā)生的概率?？梢园阉鼈內繐Q成p，就得到熟悉的貝葉斯公式。

共軛先驗分布

書中介紹“共軛先驗分布”是確定先驗分布的常用方法。

在茆詩松的《貝葉斯統(tǒng)計》中有較完整的介紹，其中很重要的一點是：共軛先驗分布是對某一分布中的參數(shù)而言的，離開指定參數(shù)及其分布去談共軛先驗分布是沒有意義的。

因此，它可以看作一系列經驗總結，但不能隨意推廣。

三、區(qū)間估計

參數(shù)的點估計給出一個具體的數(shù)值，而區(qū)間估計給出參數(shù)的一個區(qū)間范圍。

（1）分位數(shù)

復習一下分位數(shù)的概念，本書使用的p分位數(shù)，是指下側p分位數(shù)。也就是說，密度函數(shù)從負無窮到分位點

的積分結果為p。下圖顯示了兩種分位數(shù)的區(qū)別：

書中常見的一些分位點，它們都表示位于x軸上的一個實數(shù)：

表示位于此點右側的概率為 ，它的分布為對稱分布 ，而位于 左側的概率也為 ；

表示位于此點左側的概率為 ，它的分布為非對稱的卡方分布，而位于 右側的概率也為 。

（2）置信區(qū)間與置信水平

置信區(qū)間

表示參數(shù)的區(qū)間范圍，置信水平 表示參數(shù)位于置信區(qū)間的可能性，常見的概念有：

• 置信區(qū)間：
• 同等置信區(qū)間：
• 單側置信下限：
• 同等置信下限：
• 單側置信上限：
• 同等置信上限：

等尾置信區(qū)間：

，表示置信區(qū)間以外，左右兩側的概率都為 。此時 為 同等置信區(qū)間。

一般來說，

, ，稱為0.95或95%置信區(qū)間。

（3）樞軸量法

所謂“樞軸量”是一個樣本和參數(shù)的函數(shù)，記作

。它本身是符合某種已知分布的（標準正態(tài)分布或三大抽樣分布），從而將“待定參數(shù)” 的分布與已知抽樣分布聯(lián)系起來，達到參數(shù)估計的目的。

在上一章末尾整理了正態(tài)總體與其他分布聯(lián)系的8個公式，就是構造樞軸量的有力工具。

樞軸量法三步：

構造樞軸量G

建立G的置信區(qū)間：

不等式變形，得到參數(shù)置信區(qū)間：

樞軸量法題型列表：

其中

（4）大樣本置信區(qū)間

當樞軸量難以確定，但樣本量充分大的時候，可以利用漸進分布構造置信區(qū)間。例如用正態(tài)分布近似二項分布。

（5）樣本量的確定

一般來說，樣本量越大，估計的精度越高。但更多的樣本意味著更多的時間、人力、物力等成本，因此根據(jù)估計精度反推所需的樣本數(shù)量（樣本量的確定）是個常見的問題。

總結

以上是生活随笔為你收集整理的平方的观测值表概率_茆诗松的概率论与数理统计（第六章）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。