????馬爾科夫模型是一種概率圖模型，它描述了一類重要的隨機過程(隨機過程又稱為隨機函數，是隨時間而隨機變化的過程)。我們常常需要考察一個隨機變量序列，這些隨機變量序列并不是相互獨立的，每個隨機變量的值都依賴于這個序列前邊的狀態。

????如果一個系統有N個有限狀態S={s1,s2,…,sN}，那么隨著時間的推移，該系統將從一個狀態轉換到另一個狀態。Q=(q1,q2,…,qT)為一個隨機序列，它表示為在t時刻系統的狀態qT，值為S中的某個狀態。

系統在時間t處于狀態sj的概率取決于其在時間1,2…,t?1的狀態，該概率為：

P(qt=sj|qt?1=si,qt?2=sk,…)

????如果在特定的條件下，系統在時間t的狀態只與它之前t?1的狀態有關，即

P(qt=sj|qt?1=si,qt?2=sk,…)=P(qt=sj|qt?1=si)(1)
則該系統構成一個離散的 一階馬爾科夫鏈。

????如果只考慮(1)式獨立于時間t的隨機過程：
P(qt=sj|qt?1=si)=aij,其中，1≤i,j≤N
則該隨機過程稱為馬爾科夫模型。其中，狀態轉移概率aij滿足以下條件：

aij≥0∑j=1Naij=1
顯然，有 N個狀態的一階馬爾科夫過程有N2次狀態轉移，狀態轉移概率可以表示為一個狀態轉移矩陣。

????馬爾科夫模型可以視為隨機的有限狀態機。

總結

以上是生活随笔為你收集整理的机器学习笔记（十二）——马尔科夫模型的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。