UA MATH566 統計理論2 C-R不等式

• 單個參數的情形
• 多個參數的情形

點估計基礎那一篇討論到UMVUE了，這一講試圖給出無偏估計方差的一個下界。在統計理論1中推導的Fisher信息其實就是一個下界，但這一講會更詳細給出相關結論。

概念1 Cramer-Rao分布族（正則分布族）$\{f(x,\theta ),\theta \in \Theta \}$
為了讓C-R不等式成立，需要一些條件，滿足這些條件的分布族被稱為C-R分布族：

$\theta \in \Theta$，$\Theta$是開集，并且$f(x,\theta )=f(x,{\theta }^{{}^{\prime }})?\theta ={\theta }^{{}^{\prime }}$

記分布族的對數似然為$L(\theta )=\ln f(x,\theta )$，假設對數似然二階可導

記得分函數$S(x,\theta )=?L(\theta )$，并假設$S(x,\theta )\in L^2(\mathcal{X},\mathcal{B}(\mathcal{X}),P_X)$

假設分布族$F_{\theta }$的支撐$Sup{p}_{\theta }=\{x:f(x,\theta )\}>0$與$\theta$無關

假設$f(x,\theta )$關于$\theta$可導

常見的非正則分布族的分布有均勻分布、帶位移的指數分布等。

單個參數的情形

假設$\Theta ?\mathbb{R}$，則此時的得分函數是一維的
$$S(x,\theta )=\frac{?L(\theta )}{?\theta }=\frac{1}{f(x,\theta )}\frac{?f(x,\theta )}{?\theta }$$
且滿足
$$E[S(X,\theta )]=0,E[S(X,\theta ){]}^2=I(\theta )$$

定理1 $f(x,\theta )$是Cramer-Rao分布族，$\hat{g}(X)$與$\hat{\theta }(X)$分別是$g(\theta )$與$\theta$的無偏估計，其中$g(\theta )$可導，則
$$Var(\hat{\theta })\ge I^{?1}(\theta ),Var(\hat{g}(X))\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$

證明 很明顯取$g(\theta )=\theta$就是更簡單那種情況，所以我們來證明一下第二個不等式和它的取等條件。根據Cauchy-Schwarz不等式，$Var(X)Var(Y)\ge [Cov(X,Y){]}^2$，令$X=\hat{g}(X)$，$Y=S(X,\theta )$，計算
$$\begin{gathered} Cov(\hat{g}(X),S(X,\theta ))=E[\hat{g}(X)S(X,\theta )]?E[\hat{g}(X)]E[S(X,\theta )]=E[\hat{g}(X)S(X,\theta )] \\ =\int \hat{g}(x)S(x,\theta )f(x,\theta )dx=\frac{?}{?\theta }\int \hat{g}(x)f(x,\theta )dx=g^{\prime }(\theta ) \end{gathered}$$
第三個等號先把得分函數的公式帶入，然后把求導和求積分交換次序得到第四個等號，然后那個積分就是$\hat{g}(X)$的期望，因為它是無偏估計，所以期望就是$g(\theta )$。因此
$$\begin{gathered} Var(\hat{g}(X))Var(S(X,\theta ))=Var(\hat{g}(X))I(\theta )\ge [Cov(X,Y){]}^2=[g^{\prime }(\theta ){]}^2 \\ ?Var(\hat{g}(X))\ge [g^{\prime }(\theta ){]}^2{I}^{?1}(\theta ) \end{gathered}$$
根據Cauchy-Schwarz不等式取等的條件，上式取等需要$?a(\theta )$，
$$S(X,\theta )=a(\theta )\hat{g}(X),a.s.$$

稱$[g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$為Cramer-Rao下界（CRLB），它與Fisher信息成反比，說明樣本中信息越多時，估計量的方差就越有可能降到更低。對于簡單隨機樣本$X_1,?,X_n$，他們的Fisher信息量是$nI(\theta )$（因為$S(X,\theta )$關于$X$的可加性），因此Cramer-Rao下界為
$$CRLB=\frac{1}{n}[g^{\prime }(\theta ){]}^2{I}^{?1}(\theta )$$
這個式子說明樣本量提高也能降低估計量的方差的下界。

基于CRLB還可以定義估計量的效率，
$$e(\hat{g})=\underset{n\to \infty }{\lim }\frac{CRLB}{Var(\hat{g}(X))}$$
如果$e(\hat{g})=1$，稱$\hat{g}(X)$為漸近有效的無偏估計。

多個參數的情形

在多維的情況下，得分函數是
$$S(x,\theta )=?L(\theta )$$
且滿足
$$E[S(X,\theta )]=0,E[S(X,\theta )S^T(X,\theta )]=I(\theta )$$
$I(\theta )$是Fisher信息矩陣。

定理2 $f(x,\theta )$是Cramer-Rao分布族，$\hat{g}(X)$與$\hat{\theta }(X)$分別是$g(\theta )$與$\theta$的無偏估計，其中$g(\theta )$可導，它的Jacobi矩陣記為$Dg(\theta )$，則
$$Var(\hat{g}(X))\ge Dg(\theta )I^{?1}(\theta )[Dg(\theta ){]}^T$$

證明 思路和定理1證明類似，也是需要根據Cauchy-Schwarz不等式。計算
$$\begin{gathered} Cov(\hat{g}(X),S(X,\theta ))=E[\hat{g}(X)S^T(X,\theta )]?E[\hat{g}(X)]E[S(X,\theta )]=E[\hat{g}(X)S^T(X,\theta )] \\ =\int \hat{g}(x)S^T(x,\theta )f(x,\theta )dx=?\int \hat{g}(x)f(x,\theta )dx=Dg(\theta ) \end{gathered}$$
因此
$$\begin{gathered} Var(\hat{g}(X))\ge [Cov(X,Y)]Var(S(X,\theta ){)}^{?1}[Cov(X,Y){]}^T \\ ?Var(\hat{g}(X))\ge Dg(\theta )I^{?1}(\theta )[Dg(\theta ){]}^T \end{gathered}$$
根據Cauchy-Schwarz不等式取等的條件，上式取等需要$?a(\theta )$，
$$S(X,\theta )=a(\theta )\hat{g}(X),a.s.$$

總結

以上是生活随笔為你收集整理的UA MATH566 统计理论2 C-R不等式简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。