數學建模：線性回歸模型

1.多重線性回歸模型

1.1 引入

線性回歸分類

• 簡單線性回歸（一個自變量）
• 多重線性回歸（多個自變量）

線性回歸的前提條件：

• 線性（散點圖，散點圖矩陣）
• 獨立性
• 正態性（回歸分析過程中可以確定）
• 方差齊性（回歸分析過程中可以確定）：建模中存在的誤差

兩個變量：X和Y

例1：人體的身高和體重

X：人體的身高

Y：人體的體重

身高X大時，體重Y也會傾向于增大，但是X不能嚴格地決定Y

1.2相關關系

相關關系：自變量的取值一定時，因變量的取值帶有一定的隨機性的兩個變量之間的關系。

相關關系是一種非確定關系。對具有相關關系的兩個變量進行統計分析的方法稱為回歸分析。

1.3經驗回歸方程

X：自變量或者預報變量

Y：因變量或者響應變量
$$Y\{\begin{array}{l}X能夠決定的部分f(x)\\ 其他未考慮的因素e：誤差\end{array}$$
? 則得到下面的模型：
$$\begin{gathered} Y=f(x)+e,E(e)=0 \\ 特別的，當f(X)={\beta }_0+{\beta }_{1}X時是線性函數 \\ {\beta }_0和{\beta }_1都稱作回歸系數 \end{gathered}$$

• 第一步：確定模型
• 第二步：觀測模型

于是有n組觀測值(xi , yi )，如果Y與X 滿足回歸系數時，則(xi , yi )滿足：
$$y_i={\beta }_0+{\beta }_1{x}_i+e_i，i=1,2,...,n$$

• 第三步：確定未知參數值

  根據第二步得到的方程組，應用用統計方法，可以得到${\beta }_0$和${\beta }_1$的估計值${\hat{\beta }}_0$和${\hat{\beta }}_1$

• 第四步：求得經驗方程

  將估計值${\hat{\beta }}_0$和${\hat{\beta }}_1$帶入線性回歸方程，略去誤差項：
  $$Y={\hat{\beta }}_0+{\hat{\beta }}_{1}X$$
  稱為經驗回歸方程

1.4多元線性模型

多元線性回歸的一般形式：
$$Y={\beta }_0+{\beta }_{1}x+...++{\beta }_{p?1}x+e_i$$
同樣${\beta }_0$為常數項，$\beta_1,…,\beta_{p-1} $為回歸系數，$e$為隨機誤差.

• 觀測數據

  多元線性模型就是有多個未知數$\beta$
  $$y=?\begin{array}{c}{y}_1\\ y_2\\ ?\\ y_n\end{array}?,X=?\begin{array}{cccc}1& x_{11}& ?& x_{1,p?1}\\ 1& x_{21}& ?& x_{2,p?1}\\ ?& ?& ?& ?\\ 1& x_{n1}& ?& x_{n,p?1}\end{array}?,\beta =?\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ?\\ {\beta }_{p?1}\end{array}?,e=?\begin{array}{c}{e}_1\\ e_2\\ ?\\ e_n\end{array}?$$

• 確定回歸系數

• 求經驗回歸方程

設$\hat{\beta }=({\hat{\beta }}_0,{\hat{\beta }}_1,?,{\hat{\beta }}_{p?1}{)}^{\prime }$為$\beta$的一種估計，則經驗方程是：
$$Y={\hat{\beta }}_0+{\hat{\beta }}_1{X}_1+?+{\hat{\beta }}_{p?1}{X}_{p?1}$$

1.5 非線性模型

非線性模型經過適當變換，轉換為線性模型：比如兩邊取對數
$$\ln Q_t=\ln a+b\ln L_t+c\ln K_t$$
令
$$y_t=\ln Q_t;x_{t1}=\ln L_t,{\beta }_0=\ln a,{\beta }_1=b,{\beta }_2=c$$

加上誤差項即是線性關系

2.參數估計（最小二乘法）

在高等數學中有最小二乘法的介紹。簡單地說就是要通過確定一系列的系數$\beta$，使所有情況下的誤差最小，即：
$$e=|y?X\beta |$$
的值最小。由于絕對值不好處理，這里轉化成平方形式：
$$e=(y?X\beta {)}^2$$
上式展開，對$\beta$求偏導，使其為0，得到線性方程組，解出${\beta }_i$即可，這一組$\beta$即是估計出的參數值。即是通過這一步最終得到了經驗方程：
$$\hat{Y}={\hat{\beta }}_0+{\hat{\beta }}_1{X}_1+?+{\hat{\beta }}_{p?1}{X}_{p?1}$$
上述方程還需要進一步做統計分析，來確定是否， 描述了因變量與自變量的真實關系。

另外，進行線性回歸之前，為了消除量綱等因素的影響，我們通常會對數據進行預處理。預處理有

• 中心化
• 標準化

3.回歸方程假設檢驗

但是經驗回歸方程是否真正刻畫了因變量與自 變量之間的關系？——回歸方程的顯著性檢驗

因變量和所有自變量之間是否存在顯著的關系？——回歸系數的顯著性檢驗

異常點檢驗

3.1回歸方程的顯著性檢驗

正態線性回歸模型：
$$\begin{gathered} y_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_{i1}+?+{\hat{\beta }}_{p?1}{x}_{i,p?1}+e_i \\ {e}_i——N(0,{\sigma }^2),i=1,?,n \end{gathered}$$
經驗方程是否正確刻畫因變量與自變量之間的關系需要進行回歸方程的顯著性檢驗：
假設檢驗：所有回歸系數都為0，即$H:{\beta }_1={\beta }_2=,...,={\beta }_{p?1}=0$

拒絕原假設：至少有一個${\beta }_i$不等于0

接受原假設：所有的${\beta }_i$都等于0，相對誤差而言，所有自變量對因變量Y 的影響是不重要的。

• 顯著性檢驗

  設$m=p?1$，檢驗假設H：${\beta }_1=?={\beta }_{p?1}=0$的統計量為：
  $$F_{回}=\frac{S{S}_{回}/p?1}{RSS/n?p}$$
  當原假設成立時，$F_{回}$~$F_{p?1,n?p}$

  對于某一置信度$\alpha$，$F_{回}>F_{p?1,n?p}(\alpha )$時，拒絕原假設，否則就接受H

• 回歸系數的顯著性檢驗

• 異常點檢驗

4.衡量多重回歸模型優劣的標準

4.1判定系數

$$SST=SSE+SSR?\begin{array}{l}SST=\sum _{i=1}^n(y_i?\overline{y}{)}^2\\ SSE=\sum _{i=1}^n(y_i?{\hat{y}}_i{)}^2\\ SSR=\sum _{i=1}^n({\hat{y}}_i?\overline{y}{)}^2\end{array}$$

另外我們定義了$R^2$
$$R^2=\frac{SSR}{SST}，0\le R^2\le 1$$
$R^2$越接近1，表示X和Y有較大的相依關系

5.回歸自變量的選擇

6.多重復共線性判斷

一些大型線性回歸問題(自變量較多)，最小二乘估計有時表現不理想 ：

• 有些回歸系數的絕對值異常大
• 回歸系數的符號與實際意義相違背

復共線性：回歸自變量之間存在著近似線性關系。

復共線性嚴重程度的判斷

①方陣$X^{\prime }X$的條件數：最大特征值與最小特征值的比值
$$k=\frac{{\lambda }_1}{{\lambda }_p}$$
有下面的判斷標準：

②方差膨脹因子

方差膨脹因子 𝐕𝐚𝐫𝐢𝐚𝐧𝐜𝐞 𝐈𝐧𝐟𝐥𝐚𝐭𝐢𝐨𝐧 𝐅𝐚𝐜𝐭𝐨𝐫， 𝐕𝐈𝐅 : 𝑽𝑰𝑭越大，表示共線性越嚴重。 𝑽𝑰𝑭一般不應該大于𝟓， 當𝑽𝑰𝑭＞𝟏𝟎時，提示有嚴重的多重共線性存在

• 解決方案

(1) 增大樣本含量，能部分解決復共線性問題。

(2) 把多種自變量篩選的方法結合起來組成擬合模型。建立一個 “最優”的逐步回歸方程，但同時丟失一部分可利用的信息

(3) 從專業知識出發進行判斷，去除專業上認為次要的，或者是 缺失值比較多、測量誤差較大的共線性因子。

(4) 進行主成分分析，提取公因子代替原變量進行回歸分析。

7.殘差分析和回歸診斷

7.1殘差分析

目的：

• 線性假設的檢驗
• 所有水平的x的常數方差的檢驗
• 正態分布的檢驗

殘差圖分析

• 通過殘差圖判斷正態性

殘差：$\hat{e}=y?X\hat{b}$，其中將$\hat e $稱為殘差;$\hat y = X\hat b$，$\hat y_i$稱為擬合值。

以殘差為縱坐標，以任何其他的量為橫坐標的散點圖，稱為殘差圖。

這里以擬合值${\hat{y}}_i$為橫軸，$r_i$為縱軸的殘差圖，平面上的點應該落在寬度為4的水平帶$?2\le r_i\le 2$的區域內，且不呈任何趨勢。

，其中將$\hat e $稱為殘差;$\hat y = X\hat b$，$\hat y_i$稱為擬合值。

以殘差為縱坐標，以任何其他的量為橫坐標的散點圖，稱為殘差圖。

這里以擬合值${\hat{y}}_i$為橫軸，$r_i$為縱軸的殘差圖，平面上的點應該落在寬度為4的水平帶$?2\le r_i\le 2$的區域內，且不呈任何趨勢。

[外鏈圖片轉存中…(img-TaQX83rE-1627610395779)]

[外鏈圖片轉存中…(img-8Xf0EFkx-1627610395781)]

總結

以上是生活随笔為你收集整理的数学建模：线性回归模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。