這幾天在刷B站的時候，有個深度學習的博主推薦了一本機器學習的書——《白話機器學習的數學》，抱著淺看一下的態度，我花3個大洋從淘寶上找到了這本書的電子版。看了兩天我直接吹爆！！！所以這個專欄就分享一下我在機器學習中的學習筆記及一些感悟，也希望對你的學習有幫助哦！感興趣的小伙伴歡迎私信或者評論區留言！

目錄

一、什么是最小二乘法?

二、實戰案例?

三、總結

---

一、什么是最小二乘法?

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差（真實目標對象與擬合目標對象的差）的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。

二、實戰案例?

下圖是商家廣告費與點擊量之間散點圖，假設存在這樣一個前提：投入 的廣告費越多，廣告的點擊量就越高，進而帶來訪問數的增加，但是他們之間并不是簡單的線性關系。

?現在問當廣告費為200時，它的點擊量是多少呢？我們可以先估計一下，取它前后的兩個點，估計點擊量時在400-600之間。再畫圖預測一下：

?從這個圖里面我們可以進一步猜測，大概是在500次左右。高中物理課堂上我們學過擬合函數，即根據給的x-y點，擬合出函數的表達式，為了研究的方便，這里我們就用最簡單的一次函數來擬合吧：

通過我們的直覺判斷，我們大致可以擬合成這樣：

現在我們的目標只要求出θ0和θ1就可以啦！那這個θ0和θ1怎么求呢？我們可以假設θ0=1，θ1=2，那么這個表達式就變成：

這樣的話，我們就可以將真實值與我們通過上面的y=1+2x計算出來的值相對比啦！?

?

首先給出最小二乘法誤差計算公式：

為了避免引起誤解我先 說明一下：x(i) 和 y(i) 中的 i 不是 i 次冪的意思，而是指第 i 個訓練數據。前面加上二分之一是為了微分計算方便，可以不加理會，記住這個公式就可以。所有我們上面的誤差就可以計算了:

我們可以看到誤差達到了112176.5，是一個很大數字，所以我們要做的事就是改變參數θ的值，使得誤差E(θ)盡可能小，即修改參數 θ，使這個值變得越來越小。

就是的做法稱為最小二乘法！是不是很簡單，沒有想象中的那么難。

三、總結

上述例子中，我們用一次函數擬合曲線，通過選擇不同的參數θ使得誤差E(θ)越來越小，則我們稱擬合的效果也越來越好。這是比較理想的狀態，一次函數是很簡單的一種函數表達式，如果我們想要E(θ)更小，擬合效果更好，那么我們需要考慮更加復雜的函數表達式，這就是我們后面所要學習的神經網絡——它可以擬合任何曲線！當然這是后話，我們的學習還在進行中!

總結

以上是生活随笔為你收集整理的机器学习中的数学原理——最小二乘法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。