日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔！

生活随笔

當前位置： 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

UA STAT687 线性模型II 最小二乘理论3 广义最小二乘

發布時間：2025/4/14 编程问答 21 豆豆
生活随笔 收集整理的這篇文章主要介紹了 UA STAT687 线性模型II 最小二乘理论3 广义最小二乘 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

UA STAT687 線性模型II 最小二乘理論3 廣義最小二乘

  • GLS
  • GLS的統計性質

GLS

這一講我們放松對隨機誤差的方差形式的假設，考慮模型
y=Xβ+?,E?=0,Cov(?)=σ2Σ>0y=X\beta + \epsilon,E\epsilon=0,Cov(\epsilon)=\sigma^2\Sigma>0y=Xβ+?,E?=0,Cov(?)=σ2Σ>0

我們先假設Σ\SigmaΣ是一個已知的滿秩矩陣，在之后介紹最小二乘統一理論和可行估計的時候再討論Σ\SigmaΣ未知以及Σ\SigmaΣ不滿秩的情況。

定義y~=Σ?1/2y\tilde y = \Sigma^{-1/2}yy~?=Σ?1/2y，X~=Σ?1/2X\tilde X = \Sigma^{-1/2}XX~=Σ?1/2X，u=Σ?1/2?u=\Sigma^{-1/2}\epsilonu=Σ?1/2?，則
y~=X~β+u,Eu=0,Cov(u)=σ2I\tilde y =\tilde X \beta+u,Eu=0,Cov(u)=\sigma^2I y~?=X~β+u,Eu=0,Cov(u)=σ2I

這就變成了普通最小二乘模型，記β?\beta^*β?為廣義最小二乘解，
β?=(X~′X~)?X~′y~=(X′Σ?1X)?X′Σ?1y\beta^*=(\tilde X'\tilde X)^{-}\tilde X'\tilde y=(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} yβ?=(X~′X~)?X~′y~?=(X′Σ?1X)?X′Σ?1y

并且c′βc'\betac′β的可估性與Σ\SigmaΣ無關，當c∈C(X′)c \in C(X')c∈C(X′)時，c′βc'\betac′β是可估函數；稱c′β?c'\beta^*c′β?是c′βc'\betac′β的廣義最小二乘估計（GLS），如果Σ\SigmaΣ是對角矩陣，就稱稱c′β?c'\beta^*c′β?是c′βc'\betac′β的加權最小二乘估計（WLS）。如果XXX列滿秩，則β\betaβ可估，稱β?\beta^*β?是β\betaβ的GLS估計。

GLS的統計性質

下面是GLS的幾條統計性質：

  • c′βc'\betac′β是可估函數，則c′β?c'\beta^*c′β?是其唯一的BLUE，Var(c′β?)=σ2c′(X′Σ?1X)?cVar(c'\beta^*)=\sigma^2c'(X'\Sigma^{-1}X)^{-}cVar(c′β?)=σ2c′(X′Σ?1X)?c
  • σ2\sigma^2σ2的無偏估計為σ2?=e?′Σ?1e?n?r\sigma^{2*}=\frac{e^{*'}\Sigma^{-1}e^{*}}{n-r}σ2?=n?re?′Σ?1e??，其中e?=y?Xβ?e^*=y-X\beta^*e?=y?Xβ?
  • ?～N(0,σ2Σ)\epsilon \sim N(0,\sigma^2\Sigma)?～N(0,σ2Σ)，則c′β?c'\beta^*c′β?也是MLE；c′β?c'\beta^*c′β?與σ2?\sigma^{2*}σ2?互相獨立；c′β?c'\beta^*c′β?是可估函數c′βc'\betac′β唯一的UMVUE；σ2?\sigma^{2*}σ2?是σ2\sigma^2σ2唯一的UMVUE。

    • 我們簡單計算一下1和2，BLUE和3的證明非常標準化，可以參考MATH 571A系列與前兩篇博客。

    第一條：

    Var(c′β?)=c′Var(β?)c=c′[σ2(X′Σ?1X)?X′Σ?1ΣΣ?1X(X′Σ?1X)?]c=σ2c′(X′Σ?1X)?cVar(c'\beta^*) = c'Var(\beta^*) c \\= c'[\sigma^2(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1} \Sigma \Sigma^{-1}X(X'\Sigma^{-1} X)^{-}] c \\ = \sigma^2c'(X'\Sigma^{-1}X)^{-}cVar(c′β?)=c′Var(β?)c=c′[σ2(X′Σ?1X)?X′Σ?1ΣΣ?1X(X′Σ?1X)?]c=σ2c′(X′Σ?1X)?c

    第二條：
    e?=y?Xβ?=MXye^*=y-X\beta^* = M_Xye?=y?Xβ?=MX?y

    其中MXM_XMX?是Σ\SigmaΣ定義的仿射坐標下到span(X)⊥span(X)^{\perp}span(X)⊥的投影矩陣，MX=I?X(X′Σ?1X)?X′Σ?1M_X = I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1}MX?=I?X(X′Σ?1X)?X′Σ?1，
    Ee?=0,Var(e?)=σ2MXΣMXT=σ2(I?X(X′Σ?1X)?X′Σ?1)Σ(I′?Σ?1X(X′Σ?1X)?X′)=σ2[Σ?X(X′Σ?1X)?X′]=σ2MXΣEe^{*}=0,\ Var(e^*)=\sigma^2 M_X \Sigma M_X^T \\= \sigma^2 (I - X(X'\Sigma^{-1} X)^{-}X'\Sigma^{-1})\Sigma (I'-\Sigma^{-1}X(X'\Sigma^{-1} X)^{-}X') \\ =\sigma^2[ \Sigma-X(X'\Sigma^{-1} X)^{-}X' ]= \sigma^2 M_X \SigmaEe?=0,?Var(e?)=σ2MX?ΣMXT?=σ2(I?X(X′Σ?1X)?X′Σ?1)Σ(I′?Σ?1X(X′Σ?1X)?X′)=σ2[Σ?X(X′Σ?1X)?X′]=σ2MX?Σ

    根據UA STAT687 線性模型II 最小二乘理論1 普通最小二乘法介紹的公式
    E(e?′Σ?1e?)=tr(σ2MX)=(n?r)σ2E(e^{*'}\Sigma^{-1} e^{*})=tr(\sigma^2 M_X)=(n-r)\sigma^2E(e?′Σ?1e?)=tr(σ2MX?)=(n?r)σ2

    總結

    以上是生活随笔為你收集整理的UA STAT687 线性模型II 最小二乘理论3 广义最小二乘的全部內容，希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。