文章目錄

• 正交回歸
• 目標函數
• 求解推導
• 結果整理
• 幾何意義

上一篇文章使用最小二乘法來擬合直線，有一個重要的缺點就是僅考慮了因變量 $y$存在誤差的情況，但是很多情況下，原始點的橫縱坐標都會有誤差存在。

本文使用正交回歸的方法，解決了最小二乘的兩個缺點：

同時考慮了橫縱坐標的誤差；

使用點法式直線方程，能夠表示二維平面上所有的點。

正交回歸

正交方法能夠同時考慮自變量$x$和因變量$y$的誤差。正交回歸將橫縱坐標殘差的平方和作為目標函數，來求得最優解。直觀地理解，正交回歸就是找到一條直線，使得點到直線的距離之和最小。
所以如果擬合點的橫縱坐標都包含誤差的情況下，使用正交回歸能夠得到更準確的結果。

目標函數

定義橫坐標$x$的真值為$x^{?}$，估計值為$\hat{x}$，則橫坐標的誤差和殘差定義如下：
$${\eta }_i=x_i?x_i^{?}$$
$${\hat{\eta }}_i=x_i?{\hat{x}}_i$$

要綜合考慮橫縱坐標的誤差，得出的目標函數應該有如下形式：
$$\begin{array}{rl}{\mathbf{J}}_2& =\sum [({\widehat{?}}_i{)}^2+({\hat{\eta }}_i{)}^2]\\ & =\sum [(y_i?{\hat{y}}_i{)}^2+(x_i?{\hat{x}}_i{)}^2]\end{array}$$

因為要求目標函數的最小值，所以點$({\hat{x}}_i,{\hat{y}}_i)$應該是直線上到點$(x_i,y_i)$距離最短的點，也就是第$i$個點到直線的正交投影點。所以目標函數可以寫成：
$${\mathbf{J}}_2=\sum d_i^2$$

其中$d_i$為第$i$個點$(x_i,y_i)$到擬合直線的距離。

求解推導

上一篇文章中，最小二乘法使用斜截式直線方程的話，會有無法表示的直線，所以本文使用點法式直線方程。

用點法式直線方程的形式來表示擬合的直線$a(x?x_0)+b(y?y_0)=0$，其中$(x_0,y_0)$是直線經過的一個點的坐標，$(a,b)$為直線的法向量。因為向量僅表示一個方向，其長度我們并不關心，所以為了方便計算，我們采用直線的單位法向量來表示。所以有：
$$a^2+b^2=1$$

第$i$個點到直線的距離，可以表示為向量$(x_i?x_0,y_i?y_0)$在$(a,b)$方向上的投影的長度，所以目標函數可以寫成：
$$\begin{array}{rl}{\mathbf{J}}_2=\sum d_i^2& =\sum \frac{([x_i?x_0,y_i?y_0]?[a,b]{)}^2}{a^2+b^2}\\ & =\sum [a(x_i?x_0)+b(y_i?y_0){]}^2\end{array}$$

將目標函數${\mathbf{J}}_2$分別對$x_0$和$y_0$求導，并令其等于$0$，得：
$$\begin{array}{rl}\frac{?{\mathbf{J}}_2}{?x_0}& =?2a\sum [a(x_i?x_0)+b(y_i?y_0)]=0\\ \frac{?{\mathbf{J}}_2}{?y_0}& =?2b\sum [a(x_i?x_0)+b(y_i?y_0)]=0\end{array}$$

上式等號兩邊同時除以$n$，得：
$$a(\bar{x}?x_0)+b(\bar{y}?y_0)=0$$
其中$\bar{x}$和$\bar{y}$分別為$x$和$y$的均值。

很明顯，點$(\bar{x},\bar{y})$滿足直線方程，所以一定在直線上。因此可以令$x_0=\bar{x}$，$y_0=\bar{y}$。此時目標函數變為：
$$\begin{array}{rl}{\mathbf{J}}_2& =\sum [a(x_i?\bar{x})+b(y_i?\bar{y}){]}^2\\ & =\left[\begin{array}{cc}a& b\end{array}\right]\left[\begin{array}{cc}\sum (x_i?\bar{x}{)}^2& \sum (x_i?barx)(y_i?\bar{y})\\ \sum (x_i?\bar{x})(y_i?\bar{y})& \sum (y_i?\bar{y}{)}^2\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]\end{array}$$

對目標函數${\mathbf{J}}_2$除以$n$可得：
$$\begin{array}{rl}{\mathbf{J}}_2& =\left[\begin{array}{cc}a& b\end{array}\right]\left[\begin{array}{cc}{\mathbf{s}}_{xx}& {\mathbf{s}}_{xy}\\ {\mathbf{s}}_{xy}& {\mathbf{s}}_{yy}\end{array}\right]\left[\begin{array}{c}a\\ b\end{array}\right]\\ & ={\mathbf{v}}^T\mathbf{S}\mathbf{v}\end{array}$$

其中
${\mathbf{s}}_{xx}$和${\mathbf{s}}_{yy}$分別為$x$和$y$的方差，${\mathbf{s}}_{xy}$為$x$和$y$的協方差，
$\mathbf{v}=\left[\begin{array}{c}a\\ b\end{array}\right]$，$\mathbf{S}=\left[\begin{array}{cc}{\mathbf{s}}_{xx}& {\mathbf{s}}_{xy}\\ {\mathbf{s}}_{xy}& {\mathbf{s}}_{yy}\end{array}\right]$。

很明顯，這是一個二次型求最小值的問題。因為$\mathbf{S}$為實對稱矩陣，所以可以將其進行正交對角化分解：
$$\begin{array}{rl}\mathbf{S}& =\left[\begin{array}{cc}{\mathbf{q}}_1& {\mathbf{q}}_2\end{array}\right]\left[\begin{array}{cc}{\lambda }_1& 0\\ 0& {\lambda }_2\end{array}\right]\left[\begin{array}{c}{\mathbf{q}}_1^T\\ {\mathbf{q}}_2^T\end{array}\right]\\ & =\mathbf{Q}\mathbf{\Lambda }{\mathbf{Q}}^T\end{array}$$
其中${\lambda }_1$和${\lambda }_2$為矩陣$\mathbf{S}$的特征值，${\mathbf{q}}_1$和${\mathbf{q}}_2$為對應的特征向量，$\mathbf{Q}$為特征向量組成的矩陣，$\mathbf{\Lambda }$為特征值組成的對角矩陣。

則有：
$$\begin{array}{rl}{\mathbf{J}}_2& ={\mathbf{v}}^T\mathbf{S}\mathbf{v}\\ & =({\mathbf{v}}^{\mathbf{T}}\mathbf{Q})\mathbf{\Lambda }({\mathbf{v}}^{\mathbf{T}}\mathbf{Q}{)}^T\end{array}$$
令$u_1={\mathbf{v}}^T{\mathbf{q}}_1$，$u_2={\mathbf{v}}^T{\mathbf{q}}_2$，$\mathbf{u}=\left[\begin{array}{c}{u}_1\\ u_2\end{array}\right]$則：
$$\begin{array}{rl}{\mathbf{J}}_2& ={\mathbf{u}}^T\mathbf{\Lambda }\mathbf{u}\\ & ={\lambda }_1{u}_1^2+{\lambda }_2{u}_2^2\end{array}$$

因為
$${\mathbf{u}}^T\mathbf{u}={\mathbf{v}}^T\mathbf{Q}{\mathbf{Q}}^T\mathbf{v}={\mathbf{v}}^T\mathbf{v}=1$$
所以$\mathbf{u}$為單位矩陣，即$u_1^2+u_2^2=1$。

不妨設${\lambda }_1\le {\lambda }_2$，則可以得到：當$u_1=1$,$u_2=0$的時候，${\mathbf{J}}_2$取得最小值${\lambda }_1$。即$\mathbf{v}={\mathbf{q}}_1$

所以最終結果是擬合直線的法向量$\mathbf{v}$等于對應矩陣$\mathbf{S}$最小特征值的特征向量。

結果整理

擬合直線方程為:$a(x?x_0)+b(y?y_0)=0$。其中$(x_0,y_0)$為直線上一點，向量$\mathbf{u}=\left[\begin{array}{c}a\\ b\end{array}\right]$為直線的法向量。

最后結果為：
$x_0=\bar{x}$，$y_0=\bar{y}$。

擬合直線的法向量$\mathbf{v}=\left[\begin{array}{c}a\\ b\end{array}\right]$為矩陣$\mathbf{S}=\left[\begin{array}{cc}{\mathbf{s}}_{xx}& {\mathbf{s}}_{xy}\\ {\mathbf{s}}_{xy}& {\mathbf{s}}_{yy}\end{array}\right]$的最小特征值對應的特征向量。

幾何意義

從正交回歸的直觀上的理解是：在二維平面上找到一條直線，使得每個點到直線的垂直距離之和最小。也就是說，正交回歸優化的是垂直距離。

上圖中紅色線段即為每個點的豎直誤差，正交回歸就是找到這樣一條直線，使得紅色線段的和最小。

總結

以上是生活随笔為你收集整理的线性拟合2-正交回归的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。