1、最大似然估計數學定義：

　　假設總體分布為f(x,θ),X1,X2...Xn為總體采樣得到的樣本。其中X1,X2...Xn獨立同分布，可求得樣本的聯合概率密度函數為：

　　

　　其中θ是需要求得的未知量，x_i是樣本值。

　　此時，L(x,θ)是關于θ的函數，稱之為似然函數。

　　求參數θ值使得似然函數值取最大值，這種方法稱之為最大似然估計。》》MLE

2、如何求解最大似然估計

　　其中x是已知的，θ是需要求的變量值。如果最大似然函數可導，可以通過對θ求導的方式，取得L(x,θ)的極值。

　　在實際中為了方便計算，往往先對L(x,θ)取對數：

　　　　加入求導：

?

3、使用MLE推導邏輯回歸

　　邏輯回歸中使用sigmoid函數，將輸出值確定在范圍0到1之間。此時輸出的值相當于概率中某一個樣本的值。即上述所講的X1,X2...Xn。

而sigmoid函數中所需要求的w，即為似然函數中的θ。

　　有如下公式：

　　　　1、sigmoid函數

?

　　　　　　此時沒有截距b，加入后在歸一化時會被約掉，所以干脆不使用b。

　　　　2、sigmoid求導

　　　　　　　　　3、對數似然函數　　　　

　　　　　　概率分布為：

　　　　　　將上面兩式子寫作聯合：

　　　　　　聯合概率密度函數為：

　　　　　　

　　　　　　構建似然函數：

　　4、求解MLE

　　5、與UFLDL中的RL結合，改變某些表述：

　　　　概率分布：　　　　

　　　　似然函數：

　　　　

　　　　求解MLE:

　　　　矩陣形式：

得到似然函數對θ的導數后，使用梯度下降法來更新θ，使得最終的結果接近于label。

4、使用似然估計推導softma

　　（此處使用UFLDL中的公式，敲公式好麻煩。。。）

　　（1）概率

　　（2）似然函數

　　（3）對似然函數關于θq求導

　　　　　　似然函數展開：

　　　　　　求導：

最后，同樣使用梯度下降法來求最優θ。

LR可以使用最大熵來推導，在后續給出。

參考：

UFLDL

有機會，會做一個UFLDL的總結博客。

轉載于:https://www.cnblogs.com/wangxiu/p/5667731.html

總結

以上是生活随笔為你收集整理的ML 徒手系列 最大似然估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。