馬爾科夫獎勵過程MRP

狀態轉移函數：$P\left(S_{t+1}=s^{\prime }\mid s_t=s\right)$

獎勵函數：$R\left(s_t=s\right)=\mathbb{E}\left[r_t\mid s_t=s\right]$

回報：${\mathrm{G}}_{\mathrm{t}}={\mathrm{R}}_{\mathrm{t}+1}+\gamma {\mathrm{R}}_{\mathrm{t}+2}+{\gamma }^2{\mathrm{R}}_{\mathrm{t}+3}+{\gamma }^3{\mathrm{R}}_{\mathrm{t}+4}+\dots +{\gamma }^{\mathrm{T}?\mathrm{t}?1}{\mathrm{R}}_{\mathrm{T}}$

回報只是狀態轉移中的一條路徑的價值

狀態價值函數：回報的期望$\begin{array}{rl}{\mathrm{V}}_{\mathrm{t}}(\mathrm{s})& =\mathbb{E}\left[{\mathrm{G}}_{\mathrm{t}}\mid {\mathrm{s}}_{\mathrm{t}}=\mathrm{s}\right]\\ & =\mathbb{E}\left[{\mathrm{R}}_{\mathrm{t}+1}+\gamma {\mathrm{R}}_{\mathrm{t}+2}+{\gamma }^2{\mathrm{R}}_{\mathrm{t}+3}+\dots +{\gamma }^{\mathrm{T}?\mathrm{t}?1}{\mathrm{R}}_{\mathrm{T}}\mid {\mathrm{s}}_{\mathrm{t}}=\mathrm{s}\right]\end{array}$，

狀態價值函數相較于獎勵函數，考慮了折扣后的未來的獎勵，是一個更加靠譜的狀態價值的估計;獎勵函數只是考慮了當下。
狀態價值函數是回報的一個期望
$R_{t+1}表示t時刻的獎勵$

馬爾科夫決策過程MDP

狀態轉移概率$P\left(S_{t+1}=s^{\prime }\mid s_t=s，a_t=a\right)$

獎勵函數$R\left(s_t=s，a_t=a\right)=\mathbb{E}\left[r_t\mid s_t=s，a_t=a\right]$

回報：${\mathrm{G}}_{\mathrm{t}}={\mathrm{R}}_{\mathrm{t}+1}+\gamma {\mathrm{R}}_{\mathrm{t}+2}+{\gamma }^2{\mathrm{R}}_{\mathrm{t}+3}+{\gamma }^3{\mathrm{R}}_{\mathrm{t}+4}+\dots +{\gamma }^{\mathrm{T}?\mathrm{t}?1}{\mathrm{R}}_{\mathrm{T}}$

狀態價值函數：${\mathrm{v}}^{\pi }(s)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s\right]$

動作價值函數，Q函數：$q^{\pi }(s,a)={\mathbb{E}}_{\pi }\left[G_t\mid s_t=s,A_t=a\right]$

總結

以上是生活随笔為你收集整理的强化学习note1——马尔科夫奖励过程MRP和马尔科夫决策过程MDP各个函数的定义与区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。