1. 引文

假設我們要確定一根繩子的彈性，而它的長度與拉力間服從公式，F為拉力，l為繩子在拉力F作用下的長度，e和k為待確定的常數。為此，我們進行一批實驗采集如下數據，并繪制其散點圖

???????????????????????????????????????????????????????????????????????????

根據此數據，構造的公式及其矩陣形式為

?????????????????????????????????????????????????????????????????

要解此方程需要利用最小二乘方法。

2. 最小二乘方法

對于上例所示的系統，A為m*n且m>n的矩陣，被成為超定的（overdetermined）。一般，它沒有解。例如，當m=3，n=2時，A的兩個列向量和在空間圖形如下，我們希望能獲得此列向量的線性組合以使。從圖中，可清楚看出這是不可能的，因為b并不在和張成的空間中。

???????????????????????????????????????????????????

這時，因為無法求求解，退而求其次，我們希望解x1和x2使殘差向量（residual vector）盡可能小。當然，這時解就依賴于如何度量殘差向量的長度。在最小二乘方法中使用歐氏距離，問題轉換為下面優化問題

?????????????????????????????????????????????????????

由上面圖形可知，當線性組合使殘差變量與品面正交時，向量b到此平面的距離最小。表達為公式把代入上式有，解此公式就得到最小二乘意義下的解。

?????????????????????????????????????????????????，稱為正規方程組（normal equations）

定理：若A的列向量線性獨立，則是非奇異的，并且有唯一解。

3. 案例分析

??????????????????????????

利用matlab

>> C=A’*A % Normal equations?
C= 5 15?
15 55?
>> x=C\(A’*b)?
x = 4.2360?
3.2260

?

注意，利用正規方程組解最小二乘問題有以下缺陷：

1）構造會導致信息丟失

2）的條件數是A的平方

3.1?會導致信息

對于，。當非常小時，會造成的浮點表達，從而導致正規方程組為奇異的。因此，A中重要信息在中丟失了

?

3.2條件數大

?????

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的最小二乘问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。