在Coursera機器學習課程中，第一篇練習就是如何使用最小均方差(Least Square)來求解線性模型中的參數。本文從概率論的角度---最大化似然函數，來求解模型參數，得到線性模型。本文內容來源于：《A First Course of Machine Learning》中的第一章和第二章。

?

先來看一個線性模型的例子，奧林匹克百米賽跑的男子組歷年數據如下：

?

?

所謂求得一個線性模型就是：給定一組數據(上圖中的很多點)，如何找到一條合適的直線，讓這條直線能夠更好地“匹配”這些點。

一種方式就是使用最小二乘法，通過最小化下面的代價函數J(θ)求得一條直線方程--即線性模型。

?

其中，h_θ(x)是待求解的線性模型(本例中就是一條直線)，y⁽ⁱ⁾是樣本x⁽ⁱ⁾對應的實際值，h_θ(x⁽ⁱ⁾)是線性模型在樣本x⁽ⁱ⁾上的預測值。我們的目標就是讓實際值與預測值二者盡可能地接近--二者之間的“差”盡可能地小，這樣我們的預測結果就越準確，我們的線性模型也越好(不考慮overfitting)

最小二乘法就是最小化J(θ)這個函數，解出θ，代入h_θ(x)，得到一條直線(h_θ(x)就是直線方程)。而這條直線，就是我們的線性模型了。

?

對于這種方式而言，我們的模型就是一條直線，在我們的模型中（直線）沒有能夠反映真實值與預測值之間的誤差的因子。把模型稍微修改一下：

從原來的：(這里的w就相當于上面的θ，t 就是h_θ(x)，只是為了統一 一下《A First Course of Machine Learning》中用到的符號)

t=w^T*x

改成：

t=w^T*x+ξ

其中，ξ 用來表示“誤差”---noise，x是訓練樣本數據，w是模型的參數。

?

這樣，我們的新模型表達式：t=w^T*x+ξ 就可以顯示地表示 noise 了(不僅僅是一條直線表達式了)。那現在問題還是：怎樣求得一個“最好的” w 和?ξ，得到“最好的”模型？

?

現在不是用上面的最小二乘法了求解w 和?ξ 了，而是用最大似然函數法---（見使用最大似然法來求解線性模型（2）-為什么是最大化似然函數？）

?

原文：http://www.cnblogs.com/hapjin/p/6623127.html

轉載于:https://www.cnblogs.com/hapjin/p/6623127.html

總結

以上是生活随笔為你收集整理的使用最大似然法来求解线性模型（1）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。