先驗(yàn)概率和后驗(yàn)概率

教科書(shū)上的解釋總是太繞了。其實(shí)舉個(gè)例子大家就明白這兩個(gè)東西了。

假設(shè)我們出門(mén)堵車(chē)的可能因素有兩個(gè)（就是假設(shè)而已，別當(dāng)真）：車(chē)輛太多和交通事故。

堵車(chē)的概率就是先驗(yàn)概率?。

那么如果我們出門(mén)之前我們聽(tīng)到新聞?wù)f今天路上出了個(gè)交通事故，那么我們想算一下堵車(chē)的概率，這個(gè)就叫做條件概率?。也就是P(堵車(chē)|交通事故)。這是有因求果。

如果我們已經(jīng)出了門(mén)，然后遇到了堵車(chē)，那么我們想算一下堵車(chē)時(shí)由交通事故引起的概率有多大，

那這個(gè)就叫做后驗(yàn)概率?（也是條件概率，但是通常習(xí)慣這么說(shuō)） 。也就是P(交通事故|堵車(chē))。這是有果求因。

?

下面的定義摘自百度百科：

先驗(yàn)概率是指根據(jù)以往經(jīng)驗(yàn)和分析得到的概率,如全概率公式,它往往作為"由因求果"問(wèn)題中的"因"出現(xiàn).

后驗(yàn)概率是指依據(jù)得到"結(jié)果"信息所計(jì)算出的最有可能是那種事件發(fā)生,如貝葉斯公式中的,是"執(zhí)果尋因"問(wèn)題中的"因".

?

那么這兩個(gè)概念有什么用呢？

?

最大似然估計(jì)

我們來(lái)看一個(gè)例子。

有一天，有個(gè)病人到醫(yī)院看病。他告訴醫(yī)生說(shuō)自己頭痛，然后醫(yī)生根據(jù)自己的經(jīng)驗(yàn)判斷出他是感冒了，然后給他開(kāi)了些藥回去吃。

?

有人肯定要問(wèn)了，這個(gè)例子看起來(lái)跟我們要講的最大似然估計(jì)有啥關(guān)系啊。

關(guān)系可大了，事實(shí)上醫(yī)生在不知不覺(jué)中就用到了最大似然估計(jì)（雖然有點(diǎn)牽強(qiáng)，但大家就勉為其難地接受吧^_^）。

?

怎么說(shuō)呢？

大家知道，頭痛的原因有很多種啊，比如感冒，中風(fēng)，腦溢血...（腦殘>_<這個(gè)我可不知道會(huì)不會(huì)頭痛，還有那些看到難題就頭痛的病人也不在討論范圍啊！）。

那么醫(yī)生憑什么說(shuō)那個(gè)病人就是感冒呢？哦，醫(yī)生說(shuō)這是我從醫(yī)多年的經(jīng)驗(yàn)啊。

?

咱們從概率的角度來(lái)研究一下這個(gè)問(wèn)題。

其實(shí)醫(yī)生的大腦是這么工作的，

他計(jì)算了一下

P(感冒|頭痛)（頭痛由感冒引起的概率，下面類(lèi)似）

P(中風(fēng)|頭痛)

P(腦溢血|頭痛)

...

然后這個(gè)計(jì)算機(jī)大腦發(fā)現(xiàn)，P(感冒|頭痛)是最大的，因此就認(rèn)為呢，病人是感冒了。看到了嗎？這個(gè)就叫最大似然估計(jì)（Maximum likelihood estimation，MLE）?。

咱們?cè)偎伎家幌?#xff0c;P(感冒|頭痛)，P(中風(fēng)|頭痛)，P(腦溢血|頭痛)是先驗(yàn)概率還是后驗(yàn)概率呢？

沒(méi)錯(cuò)，就是后驗(yàn)概率。看到了吧，后驗(yàn)概率可以用來(lái)看病（只要你算得出來(lái)，呵呵）。

?

事實(shí)上，后驗(yàn)概率起了這樣一個(gè)用途，根據(jù)一些發(fā)生的事實(shí)（通常是壞的結(jié)果），分析結(jié)果產(chǎn)生的最可能的原因，然后才能有針對(duì)性地去解決問(wèn)題。

?

那么先驗(yàn)概率有啥用呢？

我們來(lái)思考一下，P(腦殘|頭痛)是怎么算的。

?

P(腦殘|頭痛)=頭痛的人中腦殘的人數(shù)/頭痛的人數(shù)

?

頭痛的樣本倒好找，但是頭痛的人中腦殘的人數(shù)就不好調(diào)查了吧。如果你去問(wèn)一個(gè)頭痛的人你是不是腦殘了，我估計(jì)那人會(huì)把你拍飛吧。

?

接下來(lái)先驗(yàn)概率就派上用場(chǎng)了。

?

根據(jù)貝葉斯公式?，

P(B|A)=P(A|B)P(B)/P(A)

?

我們可以知道

?

P(腦殘|頭痛)=P(頭痛|腦殘)P(腦殘)/P(頭痛)

?

注意，(頭痛|腦殘)是先驗(yàn)概率，那么利用貝葉斯公式我們就可以利用先驗(yàn)概率把后驗(yàn)概率算出來(lái)了。

?

P(頭痛|腦殘)=腦殘的人中頭痛的人數(shù)/腦殘的人數(shù)

?

這樣只需要我們?nèi)?wèn)腦殘的人你頭痛嗎，明顯很安全了。

（你說(shuō)腦殘的人數(shù)怎么來(lái)的啊，那我們就假設(shè)我們手上有一份傳說(shuō)中的腦殘名單吧。那份同學(xué)不要吵，我沒(méi)說(shuō)你在名單上啊。

再說(shuō)調(diào)查腦殘人數(shù)的話(huà)咱就沒(méi)必要抓著一個(gè)頭痛的人問(wèn)了。起碼問(wèn)一個(gè)心情好的人是否腦殘比問(wèn)一個(gè)頭痛的人安全得多）

?

我承認(rèn)上面的例子很牽強(qiáng)，不過(guò)主要是為了表達(dá)一個(gè)意思。后驗(yàn)概率在實(shí)際中一般是很難直接計(jì)算出來(lái)的，相反先驗(yàn)概率就容易多了。因此一般會(huì)利用先驗(yàn)概率來(lái)計(jì)算后驗(yàn)概率。

似然函數(shù)與最大似然估計(jì)

下面給出似然函數(shù)跟最大似然估計(jì)的定義。

?

我們假設(shè)f是一個(gè)概率密度函數(shù)，那么

是一個(gè)條件概率密度函數(shù)（θ 是固定的）

?

而反過(guò)來(lái)，

叫做似然函數(shù)?（x是固定的）。

?

一般把似然函數(shù)寫(xiě)成

θ是因變量。

?

而最大似然估計(jì)?就是求在θ的定義域中，當(dāng)似然函數(shù)取得最大值時(shí)θ的大小。

意思就是呢，當(dāng)后驗(yàn)概率最大時(shí)θ的大小。也就是說(shuō)要求最有可能的原因。

由于對(duì)數(shù)函數(shù)不會(huì)改變大小關(guān)系，有時(shí)候會(huì)將似然函數(shù)求一下對(duì)數(shù)，方便計(jì)算。

?

例子：

我們假設(shè)有三種硬幣，他們?nèi)拥秸娴母怕史謩e是1/3，1/2，2/3。我們手上有一個(gè)硬幣，但是我們并不知道這是哪一種。因此我們做了一下實(shí)驗(yàn)，我們?nèi)恿?0次，有49次正面，31次背面。那么這個(gè)硬幣最可能是哪種呢？我們動(dòng)手來(lái)算一下。這里θ的定義域是{1/3，1/2，2/3}

當(dāng)p=2/3時(shí)，似然函數(shù)的值最大，因此呢，這個(gè)硬幣很可能是2/3。

?

最大后驗(yàn)概率：

最大后驗(yàn)估計(jì)運(yùn)用了貝葉斯估計(jì)的思想，但是它并不去求解，而是直接獲得。從貝葉斯估計(jì)的公式可以看出，是與無(wú)關(guān)的，要求得使最的的，等價(jià)于求解下面的式子：

與最大似然估計(jì)中一樣，我們通常最大化對(duì)應(yīng)的對(duì)數(shù)形式：

這樣，我們便無(wú)需去計(jì)算，也不需要求得具體的部分，便可以得到想要的。

總結(jié)一下：三種方法各有千秋，使用于不同的場(chǎng)合。當(dāng)對(duì)先驗(yàn)概率的估計(jì)沒(méi)有信心，可以使用最大似然估計(jì)（當(dāng)然也可以使用其它兩種）。貝葉斯估計(jì)得到了后驗(yàn)概率的分布，最大似然估計(jì)適用于只需要知道使后驗(yàn)概率最大的那個(gè)。

?

更詳細(xì)：

http://blog.csdn.net/u011508640/article/details/72815981

?

轉(zhuǎn)載于:https://www.cnblogs.com/nkh222/p/8341783.html

總結(jié)

以上是生活随笔為你收集整理的先验概率，后验概率，最大似然估计，最大后验概率的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。