1 多元線性回歸模型

1 多元回歸模型與回歸方程

多元回歸模型：
y=β?0?+β?1?x?1?+β?2?x?2?+...+β?k?x?k?+ε?
多元回歸方程：
E(y)=β?0?+β?1?x?1?+β?2?x?2?+...+β?k?x?k??

2 估計的多元回歸方程

估計的多元回歸方程：
y?^?=β?0??^?+β?1??^?x?1?+β?2??^?x?2?+...+β?k??^?x?k??

3 參數的最小二乘估計

回歸方程中的參數根據最小二乘法求得，即殘差平方和最小，即
Q=∑(y?i??y?i??^?)?2?=∑(y?i??β?0??^??β?1??^?x?1??β?2??^?x?2??...?β?k??^?x?k?)?

2 回歸方程的擬合優度

1 多重判定系數

與一元回歸中相同，多重回歸系數是回歸平方和占總平方和的比例。但自變量的個數的增加時，會使預測誤差變小，從而減小殘差平方和SSE，R?2??也會變大。即如果模型中增加自變量，即使這個自變量在統計上不顯著，R?2??也會變大。因此提出用樣本量n?和自變量的個數k 去調整R?2??，計算出調整的多重判定系數，公式為：
R?2?α?=1?(1?R?2?)(n?1n?k?1?)?
R?2??的平方根稱為多重相關系數，也稱復相關系數，度量因變量同k?個自變量的關系。

2 估計標準誤差

同一元回歸一樣，多元回歸中的估計標準誤差也是對誤差項ε 的方差σ?2??的一個估計值，計算公式為：
s?e?=∑(y?i??y?i??^?)?2?n?k?1???????????????????????√?=SSEn?k?1???????????????????√?=MSE????????????√??
含義：根據自變量x?1?,x?2?,...,x?k??來預測因變量y?時的平均預測誤差。

3 顯著性檢驗

1 線性關系檢驗

主要檢驗因變量同多個自變量的線性關系，在k 個自變量中，只要有一個自變量與因變量的關系顯著即可。步驟為：
(1) 提出假設
H?0?:β?1?=β?2?=...=β?k?=0?
H?1?:β?1?,β?2?,...,β?k??至少有一個不等于0
(2) 計算統計量
F=SSR/kSSE/(n?k?1)?～F(k,n?k?1)?
(3) 作出統計決策
若F>F?α??，則拒絕原假設；若F<F?α??，則不拒絕原假設；

2 回歸系數檢驗和推斷

方法同一元回歸類似：
(1) 提出假設。對任意參數β?i?(i=1,2,...,k)?，有
H?0?:β?i?=0H?1?:β?i?≠0?
(2) 計算統計量
t?i?=β?i??^?s?β?i??^???～t(n?k?1)?
(3) 做出統計決策

4 多重共線性

1 多重共線性及其所產生的問題

當回歸模型中兩個或兩個以上的自變量彼此相關時，則稱回歸模型中存在多重共線性。
多重共線性產生的問題：
(1) 變量之間高度相關時，可能會使回歸結果造成混亂，甚至會把分析引入歧途。
(2) 多重共線性可能對參數估計值的正負號產生影響。

2 多重共線性的判別

如果出現以下情況，則可能存在多重共線性：
(1) 模型中各對自變量之間顯著相關
(2) 當模型中線性關系檢驗(F檢驗)顯著時，幾乎所有回歸系數β?i??的t?檢驗卻不顯著
(3) 回歸系數的正負號與預期的相反

3 多重共線性問題的處理

根據多重共線性的嚴重程度，選擇相應的方法：
(1) 將一個或多個相關的自變量從模型中剔除，使保留的自變量盡可能不相關
(2) 如果要在模型中保留所有的自變量，那就應該：
a.避免根據t 統計量對單個參數β?進行檢驗
b.對因變量y?值的推斷（估計或預測）限定在自變量樣本值的范圍內

5 利用回歸方程進行預測

多依賴于軟件

6 變量選擇與逐步回歸

如果在建立模型之前就能對所收集到的自變量進行一定的篩選，去掉那些不必要的自變量，這樣，不僅使建立模型變得容易，也使得模型更具有可操作性，也更容易解釋。

1 變量選擇過程

選擇自變量的原則通常是對統計量進行顯著性檢驗，根據是：將一個或一個以上的自變量引入回歸模型中時，是否使殘差平方和（SSE）有顯著減少。殘差平方和是否減少可引入統計量F。
變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優子集

2 向前選擇

向前選擇法是從模型中沒有自變量開始，然后按照下列步驟選擇自變量來擬合模型。
(1) 對k 個自變量分別擬合對因變量y?的一元線性回歸模型，找出F統計量最高的模型及其自變量，將其引入模型。
(2) 在已引入x i  的基礎上，考慮剩下k?1?個線性回歸模型，選出最優，反復進行，直至模型外的自變量均無統計顯著性為止。

3 向后剔除

與向前選擇法相反，其基本過程為：
(1) 先對因變量擬合包括所有k個自變量的線性回歸模型，然后考慮去掉一個自變量的模型，使得模型的SSE值減小最小的自變量從模型中剔除。
(2) 對剩下的變量進行擬合，再重復(1)，直至剔除一個自變量不會使SSE顯著減小為止。

4 逐步回歸

向前選擇法和向后剔除法的結合，逐步回歸過程就是向前選擇方法不停地添加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經不能導致SSE顯著減少。

總結

以上是生活随笔為你收集整理的第十二章 多元线性回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。