貝葉斯方法與推論，本文應(yīng)作為我的教程的背景，該教程使用(Py)Stan進(jìn)行輕松的的應(yīng)用貝葉斯推理，以及使用r-INLA進(jìn)行(近似)貝葉斯回歸的介紹。

在本文中，我將提供有關(guān)貝葉斯推理和蒙特卡洛方法的非常簡短，自成體系的介紹，希望可以激發(fā)您通過我所包括的一些參考文獻(xiàn)進(jìn)行更深入的研究。

Image by imarksm from Pixabay

您可能聽說過貝葉斯推理/回歸/建模/分析……您可能聽說過，或者您可能只是在通過之前才遇到過它，而沒有真正懷疑它的用途，或沒有任何良好的入門資源。

現(xiàn)實情況是，貝葉斯推論[1]比其頻頻論推論要復(fù)雜得多，并且大多數(shù)人在學(xué)術(shù)界或非常專業(yè)的工業(yè)應(yīng)用中真正使用過它。 但是，它提供了一個非常豐富的框架，可以在推理過程中欣賞，并最終利用更多信息。 此外，它以一種可笑的方式提升了概率與應(yīng)用統(tǒng)計之間的聯(lián)系-真正的貝葉斯模型是一個生成模型。

對于本系列文章，我將采用(傳統(tǒng))基于似然的建模方法。

5分鐘貝葉斯推斷

貝葉斯推理使我們可以將一些先入為主的信念(即先驗的信念)納入我們的建模中。 進(jìn)行實驗后，我們可以從后驗概率分布中采樣，以更好地了解目標(biāo)參數(shù)的行為，而不必尋找允許我們最大化似然性的參數(shù)值(最大似然估計) 。

The primordial Bayesian identity in the context of model fitting and inference.

簡單來說，我聲明模型參數(shù)()的先驗分布，并將其乘以觀察到的數(shù)據(jù)的可能性(D)。 為了使該數(shù)量充當(dāng)概率密度函數(shù)，我必須將其除以歸一化常數(shù)。 然后獲得后驗分布函數(shù)。

請注意，上面的歸一化常數(shù)是很棘手的，當(dāng)我們使用蒙特卡洛從后驗分布中進(jìn)行這種推斷時，我們可以消除這一數(shù)量而不會失眠。

您可能會問：為什么這樣做？

更好的科學(xué)，更嚴(yán)格的推論，正則化，數(shù)值穩(wěn)定性，昂貴的數(shù)據(jù)獲取，這并不能完全考慮MLE，還有許多其他原因。

您可能會問：什么是好的先驗？

· 可牽引性？ 共軛！ 例如，正常先驗x正常似然會產(chǎn)生正常后驗！

· 科學(xué)相關(guān)性

· 正則化。 在標(biāo)準(zhǔn)線性回歸的情況下，您的回歸/ beta服務(wù)器上的N(0,1)可以用作L2正則化。

理想情況下，先驗條件應(yīng)該永遠(yuǎn)不要看數(shù)據(jù)。

您可能會問：那里有什么樣的先驗條件？

· 沒有信息的(固定的)先驗。 在大多數(shù)情況下，更具體地說，在下面的拋硬幣問題中，原始的無先驗先驗將是均勻的分布。

· 先驗信息薄弱。 我在下面的拋硬幣問題中聲明的beta優(yōu)先級信息不足，因為我不拋棄theta參數(shù)空間中的間隔或點，而我贊成"公平"。

· 信息先驗(通常基于專家意見或扎實的科學(xué)知識。

例如，假設(shè)我在地板上找到一枚硬幣，并且想知道它是否公平。 我聲明p = 是在給定的拋硬幣中硬幣將產(chǎn)生"正面"(y = 1)的概率。 那么q = 1-是硬幣產(chǎn)生"尾巴"(y = 0)的概率。 請注意，可以使用以下函數(shù)形式將硬幣的這種行為建模為bernoulli隨機(jī)變量：

假設(shè)我拋硬幣四次，并觀察到它總是給我"反面"。如果我采用"最大似然"框架，則我將得到以下ML估計值(樣本比例)：

在我們的情況下，以上結(jié)果為0。 但這有點太極端了……具有相等表面積的兩個面意味著硬幣應(yīng)該有一個非零的概率落在"正面"上(盡管很小)。 我們會立即注意到，如果一側(cè)比另一側(cè)小得多。

現(xiàn)在，正如貝葉斯主義者所說，我們遇到了同樣的問題。 在自己扔硬幣之前，我們需要對硬幣建立先驗的信念。 根據(jù)我的經(jīng)驗，硬幣通常是公平的，因此我認(rèn)為這種硬幣很可能是公平的，并且很有可能不是。 然后，我將進(jìn)行實驗，以了解這枚硬幣是否符合我的信念。 哦，我得到了相同的結(jié)果{0，0，0，0}。

為了獲得有效(信息量有限)的先驗知識，我將使用帶有a，b個非負(fù)整數(shù)的beta(a，b)分布。 該先驗是有道理的，因為伽馬分布的域是[0,1]，并且to在這里對應(yīng)于概率，并且不能小于0或大于1。設(shè)置a = b = u其中u是一個正整數(shù)，得出a 分布對稱約0.5。 此外，β分布與伯努利分布共軛(也與二項分布共軛，因為二項式隨機(jī)變量由伯努利隨機(jī)變量之和組成)。

Simulation of a beta(5,5) distribution

然后，我考慮以下模型：

這導(dǎo)致：

在此，C≥0表示歸一化常數(shù)，出于本申請的目的，不必對其進(jìn)行估計。

如果我們在上面的先驗中設(shè)置a = b = 5，則Stan [2]-有關(guān)如何執(zhí)行此操作的信息，請參見教程-收益率和mean的近似后均值0.36 <0.5。 因此，我們的估算表明存在偏差的硬幣，沒有立即變?yōu)?。

5分鐘蒙特卡洛方法

出于本教程的目的，蒙特卡洛方法[3]將允許我們從模型參數(shù)的后驗分布中進(jìn)行采樣。

用于估計實值可積函數(shù)f(x)的積分(I)(例如0≤x≤1)的最簡單的蒙特卡洛方法表明，我們在[0,1 ]，為每個x_ {i}計算f(x})，然后求和并求平均值。 我們要求I

As K goes to infinity, this vanilla Monte Carlo estimate should converge to the value of the integra

上面的內(nèi)容很容易，但是通過觀察以下內(nèi)容，我們實際上可以使用更多的統(tǒng)計知識：

We can think of the integral I as the expected value of f(x) and the below quantity as its unbiased

我們的估計量只是一個近似值，因此我們應(yīng)該量化其準(zhǔn)確性：

Here we simply change the notation a bit and show the formula for the standard error

那么，現(xiàn)在我們有了均值的無偏估計和標(biāo)準(zhǔn)誤差的估計，該怎么辦？ 讓我們調(diào)用中心極限定理，這對于足夠大的K是合理的。

使用上述方法，我們可以為積分的估計量建立95％的置信區(qū)間：

上面的方法非常幼稚且不準(zhǔn)確，尤其是隨著目標(biāo)(概率)在維數(shù)，多峰等方面的增長。然而，這為您提供了MC方法的要點：從分布中采樣以近似于另一個分布或感興趣的數(shù)量。

請注意，蒙特卡洛方法是一個非?；钴S的研究領(lǐng)域，具有非常豐富的理論和應(yīng)用程序，我鼓勵您閱讀有關(guān)它們的更多信息。 蒙特卡洛計算引擎(PyMC3，Stan，BUGS等)上也有幾個包，可以輕松地集成到Python，R和其他現(xiàn)代統(tǒng)計/機(jī)器學(xué)習(xí)軟件中。

以下是一些非?；镜娜腴T方法：

· 重要抽樣

· 拒絕采樣

· Metropolis-Hastings算法(馬爾可夫鏈蒙特卡洛)

· 獎勵：模擬退火(優(yōu)化)

LaTeX和數(shù)學(xué)交流

最后一件事。 如果您對開發(fā)簡潔，準(zhǔn)確地傳達(dá)數(shù)學(xué)/統(tǒng)計思想的能力很認(rèn)真，那么我鼓勵您開始使用LaTeX [5]。 LaTeX是功能強(qiáng)大的排版系統(tǒng)，可讓您編寫漂亮的方程式并將其無縫呈現(xiàn)在文檔中。 我在本文檔和所有工作中的所有數(shù)學(xué)表達(dá)式中都使用LaTeX。

結(jié)論

貝葉斯推理和計算最近憑借出色的計算硬件和軟件獲得了輝煌的復(fù)興。 此外，貝葉斯方法跨越了活躍的研究領(lǐng)域，涉及統(tǒng)計學(xué)，數(shù)學(xué)，計算機(jī)科學(xué)，人口統(tǒng)計學(xué)，經(jīng)濟(jì)學(xué)以及許多其他領(lǐng)域。

以下是現(xiàn)代ML和統(tǒng)計學(xué)研究中的一些最熱門主題，這些主題依賴或大量使用貝葉斯推理框架：

· 因果推論

· 可解釋性(DL和RL)

· 貝葉斯超參數(shù)優(yōu)化(AlphaGo)

· 多任務(wù)學(xué)習(xí)

· RL中的探索與開發(fā)

· 高效，計算穩(wěn)定的MCMC(HMC)

參考文獻(xiàn)

[1] R. Neal，關(guān)于ML的貝葉斯推理教程(2004)，2004 NeurIPS。

[2] B. Carpenter等人，《斯坦：一種概率編程語言》(2017年)，《統(tǒng)計軟件》。

[3] C. Robert和G. Casella，《蒙特卡洛統(tǒng)計方法》(2005年)，《 Springer Texts in Statistics》。

[4] D. Wackerley等人，《數(shù)學(xué)統(tǒng)計及其應(yīng)用》(2014年)，參與學(xué)習(xí)

[5] LaTeX3項目，LaTeX-文件準(zhǔn)備系統(tǒng)(1985年)，LaTeX項目公共許可證(

(本文翻譯自Sergio E. Betancourt的文章《15-Minute Conceptual and Painless Introduction to Monte Carlo Methods and Applied Bayesian Inference》，參考：https://towardsdatascience.com/conceptual-background-for-painless-introduction-to-applied-bayesian-regression-using-pystan-c8f744e3823f)

總結(jié)

以上是生活随笔為你收集整理的贝叶斯软件genle教程_一文读懂蒙特卡罗方法和应用贝叶斯推理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。