首先，我們要明白最小二乘估計是個什么東西？說的直白一點，當(dāng)我們確定了一組數(shù)的模型之后，然后想通過最小二乘的辦法來確定模型的參數(shù)。舉個兩變量（一個自變量、一個因變量）線性回歸的例子來說明一下，如下面所示一堆散點圖。

一堆觀測數(shù)據(jù)繪制的散點圖

上面這個圖呢，我們打眼一看就想到：“這兩個變量之間應(yīng)該是一個線性的關(guān)系”。如果用y表示因變量，用x表示自變量，那么y和x之間的關(guān)系應(yīng)該是這樣的：

公式1

注意，這個模型公式中k和b是我們想要求的，k和b的取值不同，會畫出不同的直線來，如下圖：

同一個模型，不同參數(shù)得到不同結(jié)果

在這一堆可能的直線里面，我們要想一個辦法選一個最好的出來。像選美比賽一樣，臺子下面需要幾個舉牌的評委。

那我們就想到用這樣一種辦法，在這些可能的直線中，我們求訓(xùn)練樣本的那些點到直線之間的距離的和。這樣，每條直線都可以有一個值，我們把這個距離的和最小的那條直線找出來，我們認(rèn)為這條直線它最順眼，因為它照顧到了所有的訓(xùn)練樣本點的情緒，不偏不倚。這種方法就是最小二乘法。

當(dāng)然，我們都是學(xué)過高等數(shù)學(xué)的文化人，我們需要用一堆公式把這個簡單的事情給它復(fù)雜化，顯得我們更加高深莫測，讓客戶給我們多加錢。就像古代青樓女子，總是會唱曲的更受追捧。

如果我們用多元的線性模型去分析多個變量（1個因變量，p-1個自變量）的情況，同樣有n組觀測點。我們看其中第i個點，它滿足下面的公式。公式最后的ei是因為我們使用線性模型沒法精準(zhǔn)的描述實際的訓(xùn)練的點，就只好用個隨機(jī)變量把差值表示出來。

公式2

那如果要顯得更高深一點，我們把n個訓(xùn)練樣本點全拿出來，上面的式子就變成了n個，我們再寫成矩陣的形式。以滿足我們從簡單到復(fù)雜、再從復(fù)雜到簡單的zhuangbi心態(tài)。

公式3

大家注意看上面那個公式，其中Xβ是我們的模型對我們訓(xùn)練樣本中p-1個自變量進(jìn)行預(yù)測得到的因變量的預(yù)測值，但實際上我們已知p-1個自變量帶來因變量的值（是n個y組成的一個列向量）是y。那這個實際的y和我們預(yù)測的Xβ之間的距離是這樣的：

公式4

我們要想辦法在β的可能取值中找到一組特殊的β，使得上面這個式子的值最小。那我們自然而然想到對上面的式子進(jìn)行求導(dǎo)，然后讓導(dǎo)數(shù)=0，得到駐點。然后驗證一下這個駐點是不是最值點，如果是的話。bingo，搞定。

公式4對β求偏導(dǎo)之前先展開：

公式5

公式5對β求偏導(dǎo)，然后令偏導(dǎo)為0，得到下面的公式：

公式6

可以求出β為：

公式7

那這組β可不可以讓我們的公式4取得最小值呢，我們把公式7帶入到公式4中

公式8

公式8中的第三項它是等于0的。所以公式8只剩下了

公式9

又因為X'X是一個正定矩陣，所以公式9中的第二項它>=0，所以

公式10

也就證明了我們的公式7中的β就是要找的那個β。

總結(jié)

以上是生活随笔為你收集整理的python 最小二乘回归 高斯核_最经典的回归模型参数估计算法—最小二乘的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。