文章目錄

• • 1. 蒙特卡羅法
  • 2. 馬爾可夫鏈
  • 3. 馬爾可夫鏈蒙特卡羅法
  • 4. Metropolis-Hastings 算法
  • 5. 吉布斯抽樣

蒙特卡羅法（Monte Carlo method），也稱為統(tǒng)計模擬方法（statistical simulation method），是通過從概率模型的隨機抽樣進行近似數(shù)值計算的方法

馬爾可夫鏈蒙特卡羅法（Markov Chain Monte Carlo，MCMC），則是以馬爾可夫鏈（Markov chain）為概率模型的蒙特卡羅法

馬爾可夫鏈蒙特卡羅法 構(gòu)建 一個馬爾可夫鏈，使其平穩(wěn)分布就是要進行抽樣的分布，首先基于該馬爾可夫鏈進行隨機游走，產(chǎn)生樣本的序列，之后使用該平穩(wěn)分布的樣本進行近似數(shù)值計算

馬爾可夫鏈蒙特卡羅法被應(yīng)用于概率分布的估計、定積分的近似計算、最優(yōu)化問題的近似求解等問題，特別是被應(yīng)用于統(tǒng)計學習中概率模型的學習與推理，是重要的統(tǒng)計學習計算方法

1. 蒙特卡羅法

• 核心思想：隨機抽樣（直接抽樣法、接受-拒絕抽樣法、重要性抽樣法 等）
• 可用于數(shù)學期望估計、積分近似計算
• 一般的蒙特卡羅法中的抽樣樣本是獨立的，而馬爾可夫鏈蒙特卡羅法中的抽樣樣本不是獨立的，樣本序列形成馬爾科夫鏈。

2. 馬爾可夫鏈

馬爾可夫性：隨機變量 $X_t$ 只依賴于前一個時刻 $X_{t?1}$，不依賴于更早的時刻

齊次性：轉(zhuǎn)移概率 $P(X_t|X_{t?1})$ 與 $t$ 無關(guān)，$P(X_{t+s}|X_{t?1+s})=P(X_t|X_{t+1})$

馬爾可夫鏈的狀態(tài)分布由初始分布和轉(zhuǎn)移概率分布決定 $\pi (t)=P^t\pi (0)$

馬爾可夫鏈的平穩(wěn)分布為 $\pi ({\pi }_1,{\pi }_2,...{)}^T$ 的充要條件是：$\pi$ 是下列方程組的解
$$\begin{gathered} x_i=\sum _j{p}_{ij}{x}_j,i=1,2,... \\ {x}_i\ge 0,i=1,2,... \\ \sum _i{x}_i=1 \end{gathered}$$

馬爾可夫鏈可能存在唯一平穩(wěn)分布，無窮多個平穩(wěn)分布，或不存在平穩(wěn)分布

性質(zhì)：

不可約
$P(X_t=i|X_0=j)>0$ 時刻0從狀態(tài) j 出發(fā)，時刻 t 到達狀態(tài) i 的概率大于 0，該鏈不可約

非周期
$P(X_t=i|X_0=i)>0$ 時刻0從狀態(tài) i 出發(fā)，時刻 t 返回狀態(tài)的所有時間長度的最大公約數(shù)是1，稱該鏈是非周期的

定理：不可約且非周期的有限狀態(tài)馬爾可夫鏈，有唯一平穩(wěn)分布存在

正常返
概率 $p_{ij}^t$ 為時刻 0 從狀態(tài) j 出發(fā)，時刻 t 首次轉(zhuǎn)移到狀態(tài) i 的概率，若對所有狀態(tài) i， j，都滿足 $\underset{t\to \infty }{\lim }{p}_{ij}^t>0$，稱該鏈是正常返的

定理：不可約、非周期且正常返的馬爾可夫鏈，有唯一平穩(wěn)分布存在

可逆馬爾可夫性
對任意狀態(tài) i,j,在任意時間 t 滿足：$p_{ji}{\pi }_j=p_{ij}{\pi }_i,i,j=1,2,...$(細致平衡方程)
如果有可逆的馬爾可夫鏈，那么平穩(wěn)分布作為初始分布，進行隨機狀態(tài)轉(zhuǎn)移，無論是面向未來還是面向過去，任何一個時刻的狀態(tài)分布都是該平穩(wěn)分布。

定理：滿足細致平衡方程的狀態(tài)分布 $\pi$ 就是該馬爾可夫鏈的平穩(wěn)分布

可逆馬爾可夫鏈一定有唯一平穩(wěn)分布，給出了一個馬爾可夫鏈有平穩(wěn)分布的充分條件（不是必要條件）

3. 馬爾可夫鏈蒙特卡羅法

常用的馬爾可夫鏈蒙特卡羅法 有Metropolis-Hastings算法、吉布斯抽樣。

馬爾可夫鏈蒙特卡羅法的收斂性的判斷通常是經(jīng)驗性的

• 比如，在馬爾可夫鏈上進行隨機游走，檢驗遍歷均值是否收斂
• 再比如，在馬爾可夫鏈上并行進行多個隨機游走，比較各個隨機游走的遍歷均值是否接近一致

4. Metropolis-Hastings 算法

5. 吉布斯抽樣

總結(jié)

以上是生活随笔為你收集整理的马尔可夫链蒙特卡罗法（Markov Chain Monte Carlo，MCMC）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。