一、最大似然估計的基本思想

最大似然估計的基本思想是：從樣本中隨機抽取n個樣本，而模型的參數估計量使得抽取的這n個樣本的觀測值的概率最大。最大似然估計是一個統計方法，它用來求一個樣本集的概率密度函數的參數。

二、似然估計

在講最小二乘法的時候，我們的例子是奧運會男子100m金牌所需要的時間，通過最小二乘法，我們求得了我們的模型參數。但是我們的模型目前預測的只是一個特定的值。實際上，所有的模型都有誤差，也就是噪聲。所以，我們需要思考如何產生與我們觀察到的數據相似的數據。定義新的模型如下：

tn=ωTxn+εn

假設誤差ε是獨立的、連續的、而且服從正態分布。即上式滿足：

εn～N(0,σ2)

給高斯隨機變量添加一個常量等同于具有相同常量轉換來的均值的另一個高斯隨機變量：

y=a+zp(z)=N(m,s)p(y)=N(m+a,s)

則 p(tn|xn,ω,σ2)=N(ωTxn,σ2), 這里我們需要確定兩個值: ω,σ2的最優值。

對于給定的ω,tn是獨立的，也就是說觀測值是獨立的。那么，整個數據集的似然值為：

L=p(t|xn,ω,σ2)=∏n=1Np(tn|xn,ω,σ2)=∏n=1NN(ωTxn,σ2)

最大化似然值即最大化似然對數，所以上式等價于求w和σ2的最大似然解使得logL最大。
則通過求解：

?logL?ω=0(1)?logL?σ=0(2)

求解的過程略過，得到ω和σ2^的最大似然解:

ω^=(XTX)?1XTyσ2^=1N(tTt?tTXω^)

求解最大似然函數的一般步驟為：
1. 寫出似然函數
2. 寫出對數似然函數，并整理
3. 求導數
4. 解似然方程

總結

以上是生活随笔為你收集整理的机器学习笔记（四）——最大似然估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。