?1. 極大似然與最大概率

　　因為不是科班出身，所以最初接觸極大似然的時候，總是很奇怪為什么叫極大似然，而不直接叫做最大概率？

　　后來才知道極大似然是用來估計未知參數的，而最大概率的表述更適合于已知參數的情況下，求解出現最大概率的變量的，舉例如下：

　　Max L(θ) =?θ₁x₁+θ₂x₂+θ₃x₃

　　Max P(x)?=?θ₁x₁+θ₂x₂+θ₃x₃

　　Max L(θ)是擁有多組觀測樣本X時，估計θ參數的方法，而Max P(x)正好相反，是已知θ時，求解什么樣的x出現會使得P最大。

?

2. ?極大似然與無監督

　　弄懂了第一點后，再來看看極大似然與無監督有什么關系。

　　這里的無監督即指機器學習中的無監督學習方法，例如我們知道了一組變量X服從高斯分布(正態分布)，那么怎么預估高斯分布中的參數μ和σ呢？

　　例如：某學校學生的“身高”服從高斯分布，越矮越少，越高也越少，只有中間最多，還有考試成績往往也符合高斯分布，中間居多，兩邊偏少，但是我們并不知道μ和σ是多少，也就沒法構造出整體分布函數到底是怎么樣的，那如果某個學生問班主任老師我的成績大概排在全省的什么位置？

　　班主任只知道學校的樣本，并不清楚全省所有人都考得怎么樣，但是他知道無論是學校的成績還是全省的成績都符合高斯分布，現在怎么預估出這個高斯分布呢？

　　由于班主任老師是數學老師，他很快就想到了解決辦法，他利用已有的樣本X去預估高斯分布的參數μ和σ！

　　用的就是極大似然估計——Max L(μ, σ)，因為已經知道了本校成績x，所以當這些成績出現的可能性最大時，就是成績x最可能吻合的那個正態分布，這樣也就找到了未知參數μ和σ。

　　其實這就是求無監督機器學習方法的一種方式，與求解機器學習模型時的“解析解”的概念十分相似，但是解析解是一般是在決策函數是線性函數時出現的，而這里使用的模型顯然是概率模型，所以用了極大似然的方法。

　　回到成績分布的問題，假設機器學習任務就是要學習考試成績的高斯分布函數的參數，而且只有變量即觀測樣本，而沒有觀測值——也就是代入變量到高斯分布里的結果，在這個例子里是一個概率值，這個概率值可以等同于學生成績所處的分布位置。

　　總結以上，當我們只有部分樣本的觀測值，而沒有標注結果，且知道假設分布函數的情況下，可以用極大似然估計的方式估計出在這組觀測值下假設分布函數的最佳參數。

　　

相關資料：

　　最大似然估計正態分布：http://www.dwz.cn/v25v2

　　最大似然估計法：http://blog.sciencenet.cn/home.php?mod=space&uid=491809&do=blog&id=400893

?

轉載請注明引用自：

　　http://www.cnblogs.com/breakthings/p/4058543.html?

?

轉載于:https://www.cnblogs.com/breakthings/p/4058543.html

總結

以上是生活随笔為你收集整理的极大似然估计(Maximum Likelihood)与无监督的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。