1）Likelihood

最大似然估計提供了一種給定觀察數據來評估模型參數的方法，即：“模型已定，參數未知”。

簡單而言，假設我們要統計全國人口的身高，首先假設這個身高服從
服從正態分布，但是該分布的均值與方差未知。我們沒有人力與物力去統計全國每個人的身高，但是可以通過采樣，獲取部分人的身高，然后通過最大似然估計來獲
取上述假設中的正態分布的均值與方差。

??? 最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。

下面我們具體描述一下最大似然估計：

??? 首先，假設為獨立同分布的采樣，θ為模型參數,f為我們所使用的模型，遵循我們上述的獨立同分布假設。參數為θ的模型f產生上述采樣可表示為

???????

回到上面的“模型已定，參數未知”的說法，此時，我們已知的為，未知為θ，故似然定義為:

　　?

　　在實際應用中常用的是兩邊取對數，得到公式如下：

????

　　其中稱為對數似然，而稱為平均對數似然。而我們平時所稱的最大似然為最大的對數平均似然，即：

?　　

?

由上可知最大似然估計的一般求解過程：

　　（1） 寫出似然函數；

　　（2） 對似然函數取對數，并整理；

　　（3） 求導數 ；

　　（4） 解似然方程

?

Likelihood函數選擇

對于 同一個模型，likelihood函數可能有不同的選擇，對于這些選擇，可能有些比較精確、但是會搜索非常大的空間，可能有些比較粗糙，但是速度會比較 快，我們需要選擇不同的likelihood函數來計算后驗概率。對于這些Likelihood函數，可能還需要加上一些平滑等技巧來使得最大的降低數據 中噪聲、或者假設的缺陷對結果的影響。

我所理解的用貝葉斯的方法來估計給定數據的假設的后驗概率，就是通過prior * likelihood，變換到后驗分布。是一個分布變換的過程。

3) loss function(損失函數)

?

?? x是輸入的數據，y(x)是推測出的結果的模型，t是x對應的真實結果，L(t,y(x))就是loss function，E[L]表示使用模型y進行預測，使用L作為損失函數的情況下，模型的損失時多少。通常來說，衡量一個模型是否能夠準確的得到結果，損 失函數是最有效的一個辦法，最常用、最簡單的一種損失函數是：

?

不過我一直不知道為什么這里用的平方，而不是直接用絕對值，有詳細一點的解釋嗎？:-p

4) Model Selection(模型選擇)

前 文說到了對于likelihood函數可以有不同的選擇，對于先驗的概率也可以有不同的選擇，不過假設我們一個構造完整的測試集和一個恰當的損失函數，最 終的結果將會是確定的，量化的，我們很容易得到兩個不同參數、方法的模型的優劣性。不過通常情況下，我們的測試集是不夠完整，我們的損失函數也是不那么 的精確，所以對于在這個測試集上表現得非常完美的模型，我們常常可能還需要打一個問號，是否是訓練集和測試集過于相像，模型又過于復雜。導致了over- fitting（后文將會詳細介紹over-fitting的產生）？

?? Model Selection本質上來說是對模型的復雜度與模型的準確性做一個平衡，本文后面將有一些類似的例子。

?

?

Example 1：Sequential 概率估計

注：此例子來自PRML chapter 2.1.1

對于概率密度的估計，有很多的方法，其中一種方法叫做Sequential 概率估計。

這種方法是一個增量的學習過程，在每看到一個樣本的時候都是把之前觀測的數據作為先驗概率，然后在得到新數據的后驗概率后，再把當前的后驗概率作為下一次預測時候的先驗概率。

傳統的二項式分布是：

由于傳統的二項式分布的概率μ是完全根據先驗概率而得到的，而這個先驗分布之前也提到過，可能會由于實驗次數不夠而有很大的偏差，而且，我們無法得知μ的分布，只知道一個μ的期望，這樣對于某些機器學習的方法是不利的。為了減少先驗分布對μ的影響，獲取μ的分布，我們加入了兩個參數，a，b，表示X=0與X=1的出現的次數，這個取值將會改變μ的分布，beta分布的公式如下：

對于不同a，b的取值，將會對μ的概率密度函數產生下面的影響：（圖片來自PRML）

在觀測數據的過程中，我們可以隨時的利用觀測數據的結果，改變當前μ的先驗分布。我們可以將Beta分布加入兩個參數，m，l，表示觀測到的X=0，X=1的次數。（之前的a，b是一個先驗的次數，不是當前觀測到的）

我們令：

a’，b’表示加入了觀測結果的新的a，b 。帶入原式，可以得到

我們可以利用觀測后的μ后驗概率更新μ的先驗概率，以進行下一次的觀測，這樣對不時能夠得到新的數據，并且需要real-time給出結果的情況下很有用。不過Sequential方法有對數據一個i.i.d（獨立同分布）的假設。要求每次處理的數據都是獨立同分布的。

?

原文 http://www.cnblogs.com/LeftNotEasy/archive/2010/09/27/1837163.html

總結

以上是生活随笔為你收集整理的【bayes】贝叶斯likelihood和model的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。