文章目錄

• • 那什么什么是加權最小二乘法？
  • 異方差的修正

在需要人為地改變觀測量的權重的應用場合中，都會涉及到加權最小二乘法的應用。

那什么什么是加權最小二乘法？

加權最小二乘法的概念：
加權最小二乘是對原模型進行加權，是該模型成為 一個新的不存在異方差性的模型，然后對該新模型使用普通最小二乘法估計其參數(shù)進行優(yōu)化。

相關概念梳理：

異方差性的解釋：隨機誤差的方差不全相等。異方差性是相對于同方差而言的，同方差是為了保證回歸參數(shù)估計量具有良好的統(tǒng)計特性。也就是線性回歸函數(shù)中的隨機誤差項（擾動項）必須滿足同方差性，即方差都相同。

異方差性存在的影響：如果隨機誤差項的均值為零，則彼此獨立，但是方差不等，即使最小二乘估計具有無偏性和一致性，但卻不是最優(yōu)線性無偏估計。因此回歸模型的預測值會波動較大。

無偏性：
如果總體參數(shù)為seta，seta1為估計量，如果E(seta1)=seta，那么seta1為seta的無偏估計量。

一致性：
樣本數(shù)目越大，估計量就越來越接近總體參數(shù)的真實值。如果seta1在seta周圍震蕩，那么滿足無偏性卻不滿足一致性。

有效性：
指估計量與總體參數(shù)的離散程度，如果兩個估計量都是無偏的，那么離散程度較小的估計量相對來說是有效的，離散程度用方差來衡量。

如果線性回歸模型存在異方差性，則用傳統(tǒng)的最小二乘法估計模型，所得到的參數(shù)估計不是有效估計量，也無法對參數(shù)模型參數(shù)進行有關顯著性檢驗。這時異方差性就破壞了古典的模型，用正常的無權重最小二乘就不能進行正確估計。

異方差的修正

如果模型檢驗出存在異方差性，就用加權最小二乘法進行估計。
加權最小二乘法的基本思想：
對原模型進行加權，使之變成一個新的不存在異方差性的模型，然后再采用 OLS 估計其參數(shù)。

附注：本文不涉及具體公式的推導，二是從概念上進行理解。

總結

以上是生活随笔為你收集整理的加权最小二乘法的理解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。