（1）最大似然估計ML和最大后驗估計MAP

最大似然估計量

非貝葉斯方法通常是最大化似然函數：

其中

被稱為 的最大似然估計量，它是 的函數。

最大后驗估計量

估計隨機參數的通常方法是最大化后驗分布函數：

其中

被稱為 的最大后驗估計量，它是 的函數。

（2）高斯噪聲下ML和MAP的比較

考慮如下測量模型（一維）：

最大似然估計

假設

是未知的某常量， 的似然函數為：

所以：

最大后驗估計

然后假設參數

是隨機變量，其分布函數 是均值為 方差為 的高斯分布，并和 獨立，即：

在觀測

的條件下， 的后驗分布為：

其中

。

計算得到

滿足高斯分布的形式：

其中：

所以：

（3）Diffuse Prior下的MAP估計器

我們已經知道，

基于非貝葉斯方法， 基于貝葉斯方法。這里我將介紹在某些特定的先驗分布下：

假設

的先驗分布為：

其中

，且大于零；我們稱這個分布為Diffuse pdf。

所以 的后驗分布為：

這里可以看出，后驗分布與似然函數只差一個正的比例因子，所以ML與MAP的結果一致。

這里的Diffuse pdf也被稱為improper pdf，它的另外一個名字叫做noninformative pdf。

一個例子：

回到上面第（二）節，已知

的先驗分布為 的高斯分布，現令 。我們知道當協方差越來越大時，高斯分布會看起來越像一個均勻分布。

此時，當 時， 的先驗分布就是一個noninformative pdf，最大后驗估計與最大似然估計的結果一樣。

因此非貝葉斯方法可以看成貝葉斯方法的一種退化情況。

（4）充分統計量與似然方程

如果一個參數的似然函數可以分解為如下形式：

那么很顯然，

的最大似然估計僅僅依賴于函數 ，而不是 ；這里將 稱為充分統計量。

一個例子：

考慮以下測量方程：

其中

相互獨立。

在

的條件下，觀測 滿足的分布 為：

其中

相互獨立。

所以似然函數可以寫為：

對其分解：

其中：

上述

就是充分統計量(sufficient statistic)。

對log-likelihood函數求導得：

結論：

相似地可以證明，當

時，也就是觀測次數非常多時，最大后驗估計值趨近于最大似然估計值：

（5）總結

參考資料

Bar-Shalom Y, Li X R, Kirubarajan T. Estimation with applications to tracking and navigation: theory algorithms and software[M]. John Wiley & Sons, 2004.

MLE vs MAP: the connection between Maximum Likelihood and Maximum A Posteriori Estimation?wiseodd.github.io

總結

以上是生活随笔為你收集整理的最大似然估计_状态估计的基本概念（2）最大似然估计和最大后验估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。