今天的主要任務(wù)是來理解共軛先驗以及貝葉斯學(xué)習(xí)。最近在研究主題模型，里面用到了一些，另外在機器學(xué)習(xí)中，貝葉斯學(xué)習(xí)是重要的一個方向，所以有必要學(xué)習(xí)和掌握。

?

?

Contents

?

?? 1. 貝葉斯學(xué)習(xí)

?? 2. Beta分布及共軛先驗

?

?

1. 貝葉斯學(xué)習(xí)

?

? ?首先，我從最簡單的硬幣投擲開始。現(xiàn)在給你一個硬幣，假設(shè)有的概率為正面朝上，那么有的概率是背

? ?面朝上，那么如果在5次投擲過程中，有3次是正面朝上，那么這個最可能是多少呢？

? ?憑著直觀感覺，我們可能會認為是3/5，當然這是根據(jù)統(tǒng)計規(guī)律得到的結(jié)論。那么實際上這是一個二項分布，即

? ?重復(fù)n次的伯努利實驗。由上述所述，很容易知道其概率表示如下

? ? ? ??

? ?我們需要這個概率盡量大，那么最終解得的值為3/5。函數(shù)圖像如下

? ? ? ?

? ?但是，我們想象一下，如果在5次投擲過程中，5次都正面朝上，那豈不是得到的估計值是1？ 很明顯這種情

? ?況得到的估計值不合理。為了避免這種“黑天鵝事件”的發(fā)生，需要將值降低一些才能看似更符合常理，那么

? ?我們只需要乘上另一個小于1的概率值就可以達到了。到了這里貝葉斯公式橫空出世！如下

? ? ? ? ? ?

? ? 其中叫做先驗概率，叫做似然概率，先驗概率是對似然概率的一種補充，如上述的擲硬幣。而

? ? 后驗概率正比于似然概率和先驗概率的乘積。

2. Beta分布及共軛先驗

? ?還是以擲硬幣為例，我們已經(jīng)知道了后驗概率正比于似然概率和先驗概率的乘積。那么在擲硬幣實驗中，硬幣的

? ?朝向服從伯努利分布，在一系列投擲過程中，假設(shè)有次正面朝上，有次背面朝上，那么似然概率為

? ? ? ? ?

? ? 現(xiàn)在已經(jīng)得到了似然概率的形式了，那么如何確定先驗概率呢？從理論上來說，任何一個在區(qū)間[0, 1]上的分

? ? 布函數(shù)都符合條件，但是為了更方便地簡化計算，最理想的情況就是讓先驗分布和似然分布有相同的形式，即

? ? ? ? ?

? ? 如果先驗分布是這樣的形式，那么計算先驗概率和似然概率的乘積就很方便了，只需要將指數(shù)相加即可。幸運

? ? 的是，有一個很常見的分布恰好滿足這個條件，它就是Beta分布。如下

? ? ? ? ?

? ? 其中是Gamma函數(shù)。現(xiàn)在根據(jù)先驗概率、似然概率和貝葉斯公式來推導(dǎo)后驗概率。推導(dǎo)過程如下

? ? ? ? ?

? ? ? ? ??

? ? 在上述中，先驗概率叫做似然概率的共軛先驗。所謂共軛就是指這兩個概率分布具有相同的形式。

? ? 最后推薦一些好文章！

? ? 一. Beta分布與二項分布的公式原理推導(dǎo)

? ? 二. Beta分布與其共軛先驗的介紹

? ? 三. 多項式分布及Beta分布的期望計算

總結(jié)

以上是生活随笔為你收集整理的贝叶斯学习及共轭先验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。