7.2 極大似然估計

? 估計類條件概率的一種常用策略是先假設其具有某種確定的概率分布形式，然后再基于訓練樣本對概率分布的參數進行估計，具體的說，記關于類別C的類條件概率為P（X|C），假設P（X|C）具有確定的形式并且被參數向量 的θ 唯一確定，則我們的任務就是利用訓練集 D估計參數 θ 。為了明確起見，我們將 P（X|C）記做是 P（X|θ ）

? 事實上，概率模型的訓練過程就是參數估計的過程，對于參數估計，統計學界的兩個學派分別提供了兩種不同的解決方案，頻率主義學派認為參數雖然是未知的，但是確實客觀存在的，因此，可以通過優化似然函數等準則來確定參數值；

貝葉斯學派則認為參數是未觀察到隨機變量，其分布也可以有分布，因此，可以假設參數服從一個先驗分布，然后基于觀察到的數據來計算參數的后驗分布。本節介紹源于頻率主義學派的極大似然估計，這是根據數據的采樣估計概率分布參數的經典方法。

? Dc表示訓練集D中第c類樣本組成的集合，假設這些樣本是獨立同分布的，則參數θ對于數據集的似然是P（D|Θ）=乘積 P（X| Θ）。

? 對Θ進行極大似然估計，就是去尋找能夠最大化似然 P（D|Θ）的參數 Θ，直觀上來看，極大似然估計就是在Θ所有可能的去之中，找到一個能夠使得數據出現的可能性最大的數值。

? 連乘操作容易造成下溢，通常使用對數似然

? 例如，在連續屬性的情形下，假設概率密度函數 P（X|C） ~ N（ X，d^2)，則參數X和d的極大似然估計就是

? 也就是說，通過極大似然法得到的正態分布均值就是樣本的均值，方差就是（X-a）（X-a）T的均值，這是一個符合直覺的結果，在離散屬性的情形下，也可以通過類似的方法估計類條件概率。

? 需要注意的是，這種參數化的方法雖然能夠使得類條件概率估計變得相對的簡單，但是估計結果的準確性嚴重的依賴于所假設的概率分布形式是否符合潛在的真實數據分布。在現實的生活中，想要做出能夠較好的接近潛在真是分布的假設，往往需要在一檔程度上利用關于應用任務本身的經驗知識。如果僅僅是憑借著猜測來假設概率的分布形式，則可能會產生誤導性的結果。

總結

以上是生活随笔為你收集整理的7.2 极大似然估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。