首先總結(jié)一下隨機到達現(xiàn)象(泊松過程)，分為連續(xù)型和離散型，對應了相鄰兩次到達之間的時間間隔和給定時間間隔內(nèi)到達次數(shù)的討論。

• 連續(xù)型(指數(shù)分布)：常見的到達現(xiàn)象，比如顧客的到達、電話的呼叫、放射性衰變，相鄰兩次到達之間的時間，滿足速率為λ的指數(shù)分布。為何稱之為“速率”呢？因為我們知道一個量的期望和這個量是同量綱的，我們現(xiàn)在討論的是時間，隨機到達時間的期望是$\frac{1}{\lambda }$，它是是時間量綱，所以λ應該就是時間量綱的倒數(shù)，是速率的量綱。事實上，在實際中，λ這個從量綱分析出來的“速率”的概念，常常等價于問題中涉及到的速率(例如衰變的速率)，結(jié)合$\frac{1}{\lambda }$的形式，可以理解為λ表示單位時間內(nèi)發(fā)生的次數(shù)。

• 離散型(泊松分布)：與指數(shù)型描述的是相鄰兩次到達之間的時間間隔不同，離散型刻畫的是給定時間內(nèi)的到達次數(shù)滿足泊松分布，長度為t的時間區(qū)間內(nèi)，到達次數(shù)$N_t$滿足：
  $$P(N_t=n)=\frac{e^{?\lambda t}(\lambda t{)}^n}{n!}$$
  到達次數(shù)$N_t$數(shù)學期望是$E(N_t)=\lambda t$，表示時間間隔$t$內(nèi)到達次數(shù)的平均值。

  在同一個問題中，上述兩種泊松過程的類型都是可以應用的，在描述的精度上會有差異(比如討論在$95$%的誤差范圍內(nèi)討論到達次數(shù)的偏差)，但是我覺得之后在應用的時候不做過多的考慮，問題問的是什么物理量我們就用哪種類型，比如問的是時間，我們就用指數(shù)分布；問的是次數(shù)，我們就用泊松分布。

馬爾科夫鏈：這個概念是我第一次接觸，描述的是一個隨機跳躍的序列，涉及到在不同狀態(tài)之間按照一定的概率轉(zhuǎn)移，而且$X_{n+1}=j$的概率僅僅依賴于$X_n$。

對于馬爾可夫鏈，有兩個層面的表示方法，一是狀態(tài)轉(zhuǎn)移圖，一個是狀態(tài)轉(zhuǎn)移矩陣。

• 狀態(tài)轉(zhuǎn)移圖：能夠比較直觀的表示出狀態(tài)之間的跳躍，我們依據(jù)狀態(tài)轉(zhuǎn)移圖可以列出轉(zhuǎn)移矩陣。

• 狀態(tài)轉(zhuǎn)移矩陣：注意狀態(tài)轉(zhuǎn)移的特征，每個元素都是條件概率，元素的第一個下標(行下標)是當前的位置，第二個下標(列下標)是跳躍的目的地。這樣的規(guī)定導致我們都是將概率分布寫成行向量的形式，并且在遞歸表達式中，前一狀態(tài)的概率分布向量要左乘狀態(tài)轉(zhuǎn)移矩陣。隨著n的增加，狀態(tài)分布可能會趨于確定的極限值，也就是說給定初始狀態(tài)，概率的分布會達到一個穩(wěn)定的分布。這樣分析穩(wěn)定狀態(tài)的目的在于，我們可以給定一個初態(tài)，可以得到之后取到任何一個狀態(tài)的概率，而不只是條件的概率。

  在計算問題上，有兩種路子：

  • 一種是給定一個初態(tài)，狀態(tài)轉(zhuǎn)移矩陣升冪，可靠的計算方法是將矩陣相似對角化，對角矩陣中的元素升冪，觀察是否有穩(wěn)定值。
  • 另一種已知最后有穩(wěn)定狀態(tài)，通過改寫遞歸式解方程得到，類似與求數(shù)列極限的方法。當然，觀察敏銳的同學可能注意到，這時似乎和初始狀態(tài)沒有關(guān)系了。是的，這種方法適合于無論何種初始狀態(tài)都能夠達到穩(wěn)定的狀態(tài)。一個定理可以保證，一個遍歷的馬爾可夫鏈一定趨于穩(wěn)定狀態(tài)。其中"遍歷"指的是對于每個i和j，i跳轉(zhuǎn)到j(luò)都可以在有限步驟內(nèi)實現(xiàn)。