1 引言

之前學(xué)習(xí)了伯努利過(guò)程和泊松過(guò)程，它們是無(wú)記憶性，不依賴于過(guò)去的狀態(tài)，今天學(xué)習(xí)了馬爾可夫鏈，它會(huì)依賴于過(guò)去的過(guò)程，更準(zhǔn)確的說(shuō)是依賴于過(guò)去的某種狀態(tài)。

2 離散時(shí)間的馬爾可夫鏈（Markov Chain, MC）

另一種是轉(zhuǎn)移概率圖（transition probability graph），類(lèi)似：

3 狀態(tài)分類(lèi)

一些狀態(tài)被訪問(wèn)一次后，一定還會(huì)被繼續(xù)訪問(wèn)，而對(duì)于另一些狀態(tài)來(lái)說(shuō)卻不是這樣的。我們來(lái)給我們的狀態(tài)的可訪問(wèn)性提供一些嚴(yán)格的定義。

　　如果i是常返的，A(i)可以稱作常返類(lèi)，A(i)中的所有狀態(tài)都是相互可達(dá)的，A(i)之外的狀態(tài)不是從這些狀態(tài)可達(dá)的。用數(shù)學(xué)語(yǔ)言表達(dá)就是對(duì)任意的j∈A(i)，有A(i)=A(j)。上圖狀態(tài)3和4可以是一個(gè)常返類(lèi)，狀態(tài)1自身形成一個(gè)常返類(lèi)。
　　我們還可以發(fā)現(xiàn)一個(gè)直觀的事實(shí)，從任何一個(gè)非常返狀態(tài)出發(fā)，至少有一個(gè)常返狀態(tài)是從它可達(dá)的，對(duì)于一個(gè)馬爾可夫鏈至少存在一個(gè)常返狀態(tài)、從而也就至少存在一個(gè)常返類(lèi)．所以，我們可以得到以下結(jié)論：

• 一個(gè)馬爾可夫鏈的狀態(tài)集合可以分解成一個(gè)或多個(gè)常返類(lèi)，加上可能的一些非常返狀態(tài)。
• 一個(gè)常返態(tài)從它所屬的類(lèi)里任何一個(gè)狀態(tài)出發(fā)是可達(dá)的。
• 從任何一個(gè)常返狀態(tài)出發(fā)都不可到達(dá)非常返狀態(tài)。
• 從一個(gè)非常返狀態(tài)出發(fā)，至少有一個(gè)常返狀態(tài)是可達(dá)的。

下圖我們舉了一些例子：

　　我們可以總結(jié)出這些規(guī)律：

• 一旦一個(gè)狀態(tài)進(jìn)入（或開(kāi)始于）一個(gè)常返類(lèi)，它將停留在這個(gè)類(lèi)里，因?yàn)樵谶@個(gè)類(lèi)里的所有狀態(tài)都是相互可達(dá)的，類(lèi)里所有狀態(tài)將被無(wú)限次的回訪。
• 如果初始狀態(tài)是非常返的，那么狀態(tài)轉(zhuǎn)移的路徑開(kāi)始部分包含非常返狀態(tài)，最后一定是由來(lái)自同一個(gè)類(lèi)的常返狀態(tài)組成的。
  

所以，在一個(gè)有周期的常返類(lèi)中，我們從子集的一個(gè)狀態(tài)出發(fā)，一次通過(guò)每一個(gè)子集，經(jīng)過(guò)d步后又重新回到原來(lái)的子集。
　　我們還有一個(gè)更簡(jiǎn)單的辦法來(lái)判斷一個(gè)常返類(lèi)是非周期的。給定一個(gè)有周期的常返類(lèi)，對(duì)于鏈中任意一個(gè)正時(shí)刻n，以及類(lèi)中的狀態(tài)i，則必存在一個(gè)或多個(gè)狀態(tài)j使得rij(n)=0。原因是從狀態(tài)i出發(fā)，時(shí)刻n只可能到達(dá)其中一個(gè)集合Sk。所以要證明一個(gè)給定的常返類(lèi)R是非周期的，只需驗(yàn)證是否存在一個(gè)特定的時(shí)刻n≥1和特定的狀態(tài)i∈R，使得經(jīng)過(guò)n步以后，可以到達(dá)R中所有的狀態(tài)，也就是說(shuō)，對(duì)于所有的j∈R有rij(n)>0。反過(guò)來(lái)說(shuō)也是對(duì)的，即類(lèi)R如果是非周期的，當(dāng)且僅當(dāng)存在時(shí)刻n使得對(duì)于任何i,j∈R滿足rij(n)>0。

4 穩(wěn)定性質(zhì)

我們之前說(shuō)過(guò)，當(dāng)n非常大時(shí)，rij(n)有漸進(jìn)行為。如果有兩個(gè)或者更多個(gè)常返狀態(tài)類(lèi)，很顯然rij(n)的極限值一定依賴于初始狀態(tài)（未來(lái)訪問(wèn)j的概率依賴于狀態(tài)j是否和初始狀態(tài)i處于相同的類(lèi)），所以我們將鏈限定于只有一個(gè)常返類(lèi)，再加上一些可能存在的非常返狀態(tài)。對(duì)于單個(gè)常返類(lèi)的情況研究清楚以后，多個(gè)常返類(lèi)的情況也就變得簡(jiǎn)單明白了。因?yàn)槲覀冎?#xff0c;一旦狀態(tài)進(jìn)入一個(gè)特定的常返類(lèi)，它將一直處于這個(gè)類(lèi)中。所以，可以利用單一類(lèi)鏈的漸近行為去理解具有多個(gè)常返類(lèi)的馬爾可夫鏈的漸近行為。

長(zhǎng)期頻率概率

考慮一個(gè)與機(jī)器相關(guān)的馬爾可夫鏈，每天工作結(jié)束的時(shí)候機(jī)器有兩種狀態(tài)，正常工作或出現(xiàn)故障，每次出現(xiàn)故障時(shí)，就立即花1美元進(jìn)行維修。我們應(yīng)該如何建立模型，計(jì)算長(zhǎng)期的每天平均修理費(fèi)？

• 一種可能是將它看成未來(lái)任意一天的修理費(fèi)的均值，這就需要計(jì)算故障狀態(tài)的穩(wěn)態(tài)概率。
• 另一種方法是首先可以計(jì)算n天內(nèi)的總期望花費(fèi)，當(dāng)n很大時(shí)再除以n。
  

生滅過(guò)程（birth and death process）

我們來(lái)談?wù)勆鷾邕^(guò)程，一個(gè)生滅過(guò)程也是馬爾可夫鏈，它的狀態(tài)是線性排列的，生滅過(guò)程的狀態(tài)空間為{0,1,?,m}，且轉(zhuǎn)移只發(fā)生在相鄰狀態(tài)之間，或者狀態(tài)保持不變。實(shí)際生活中的排隊(duì)論就是一個(gè)例子。下表示了一個(gè)生滅過(guò)程的一般結(jié)構(gòu)，也介紹了轉(zhuǎn)移概率的一般情況：

5 吸收概率（absorption probability）

前面我們考慮的是馬爾可夫鏈的長(zhǎng)期行為，下面我們將學(xué)習(xí)馬爾可夫鏈的短期行為。
　　考慮開(kāi)始于非常返狀態(tài)的情形，我們感興趣的是首次訪問(wèn)常返態(tài)的分布以及對(duì)應(yīng)的到達(dá)時(shí)間的分布。在這種情況下，馬爾可夫鏈的后續(xù)行為（到達(dá)常返態(tài)之后）是不重要的，所以我們重點(diǎn)討論每一個(gè)常返態(tài)k為吸收的，即：

關(guān)于吸收概率方程組的解的唯一性這里就不單獨(dú)證明了。

6 連續(xù)的馬爾可夫鏈

我們之前討論的都是離散時(shí)間的馬爾可夫鏈，假設(shè)狀態(tài)都是在單位時(shí)間內(nèi)發(fā)生的。接下來(lái)我們要考慮連續(xù)時(shí)間的馬爾可夫鏈，它被用于很多按照連續(xù)時(shí)間到達(dá)的過(guò)程，例如通信網(wǎng)絡(luò)中的分布中心，其中新信號(hào)的到達(dá)是按照泊松過(guò)程到達(dá)的。
　　
　　我們將考慮一個(gè)過(guò)程，它按照一定的轉(zhuǎn)移概率從一個(gè)狀態(tài)轉(zhuǎn)移到下一個(gè)狀態(tài)，但是我們令兩次轉(zhuǎn)移之間的時(shí)間是一個(gè)連續(xù)隨機(jī)變量，假設(shè)狀態(tài)的個(gè)數(shù)是有限的，狀態(tài)空間是集合S={1,?,m}，記Xn為第n次轉(zhuǎn)移后的概率，Yn為第n次轉(zhuǎn)移的時(shí)間，Tn為第n?1次轉(zhuǎn)移和第n次轉(zhuǎn)移的間隔時(shí)間。
　　
　　假設(shè)X0表示初始狀態(tài)，令Y0=0，我們給出假設(shè)：

• 如果當(dāng)前狀態(tài)是i，到下一個(gè)轉(zhuǎn)移的時(shí)間服從已給參數(shù)vi的指數(shù)分布，且獨(dú)立于之前的歷史過(guò)程和下一個(gè)狀態(tài)。
• 如果當(dāng)前狀態(tài)是i，按照給定的概率pij到達(dá)下一個(gè)狀態(tài)j，而且獨(dú)立于之前的歷史過(guò)程和轉(zhuǎn)移到下一個(gè)狀態(tài)的時(shí)間間隔。
  
  
  
  
  
  

7 Conclusion

馬爾可夫鏈區(qū)別于一般隨機(jī)過(guò)程的核心性質(zhì)是轉(zhuǎn)移概率pij的性質(zhì)，在當(dāng)前狀態(tài)為i的條件下，下一個(gè)時(shí)刻為狀態(tài)j的轉(zhuǎn)移概率為pij，這與i所在的時(shí)刻是無(wú)關(guān)的，且獨(dú)立于時(shí)刻以前的狀態(tài)。所以，給定當(dāng)前一個(gè)狀態(tài)，未來(lái)的狀態(tài)與過(guò)程的過(guò)去狀態(tài)是相互獨(dú)立的。
　　馬爾可夫鏈模型通常涉及到這幾個(gè)問(wèn)題：

有關(guān)有限時(shí)間上過(guò)程的統(tǒng)計(jì)量的問(wèn)題。（C-K方程）
有關(guān)馬爾可夫鏈的穩(wěn)態(tài)概率的問(wèn)題。（常返的，周期的，平衡方程組，歸一化方程）
有關(guān)馬爾可夫鏈的狀態(tài)轉(zhuǎn)移性質(zhì)的問(wèn)題。（吸收概率，平均首訪和回訪時(shí)間）
　　最后我們也考慮連續(xù)時(shí)間的馬爾可夫鏈在這類(lèi)模型中，給定當(dāng)前狀態(tài)下，下一個(gè)狀態(tài)由類(lèi)似于離散時(shí)間的馬爾可夫鏈的相同機(jī)制所決定。但是，直到下個(gè)轉(zhuǎn)移發(fā)生的時(shí)間是指數(shù)型隨機(jī)變量，參數(shù)只依賴于當(dāng)前狀態(tài)連續(xù)時(shí)間的馬爾可夫鏈在許多方面可以類(lèi)比離散時(shí)間的馬爾可夫鏈，它們具有相同的馬爾可夫性質(zhì)（在給定當(dāng)前情況下，未來(lái)與過(guò)去獨(dú)立）。事實(shí)上，人們可以將連續(xù)時(shí)間的馬爾可夫鏈看成 時(shí)間軸上進(jìn)行細(xì)分離散化的離散時(shí)間的馬爾可夫鏈。建立這個(gè)聯(lián)系后，連續(xù)時(shí)間的馬爾可夫鏈與離散時(shí)間的馬爾可夫鏈的穩(wěn)態(tài)特性是相似的：假設(shè)只有一個(gè)常返類(lèi)，那么處于任何狀態(tài)的概率，當(dāng)時(shí)間趨于無(wú)窮的時(shí)候都收斂于一個(gè)穩(wěn)態(tài)概率，而且該概率不依賴于初始狀態(tài)穩(wěn)態(tài)概率可以通過(guò)求解平衡方程組和歸一化方程得到。

8 Refer

• 概率導(dǎo)論https://book.douban.com/subject/26694188/

原文: http://chengfeng96.com/blog/2019/04/28/馬爾可夫鏈筆記/　　作者: Hazza Cheng

總結(jié)

以上是生活随笔為你收集整理的马尔可夫链笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。