在卷積神經網絡(CNN)前向傳播算法中，我們對CNN的前向傳播算法做了總結，基于CNN前向傳播算法的基礎，我們下面就對CNN的反向傳播算法做一個總結。在閱讀本文前，建議先研究DNN的反向傳播算法：深度神經網絡（DNN）反向傳播算法(BP)

1. 回顧DNN的反向傳播算法

　　　　我們首先回顧DNN的反向傳播算法。在DNN中，我們是首先計算出輸出層的δLδL:

δL=?J(W,b)?zL=?J(W,b)?aL⊙σ′(zL)δL=?J(W,b)?zL=?J(W,b)?aL⊙σ′(zL)

　　　　利用數學歸納法，用δl+1δl+1的值一步步的向前求出第l層的δlδl，表達式為：

δl=(?zl+1?zl)Tδl+1=(Wl+1)Tδl+1⊙σ′(zl)δl=(?zl+1?zl)Tδl+1=(Wl+1)Tδl+1⊙σ′(zl)

　　　　有了δlδl的表達式，從而求出W,bW,b的梯度表達式：

?J(W,b)?Wl=δl(al?1)T?J(W,b)?Wl=δl(al?1)T

?J(W,b,x,y)?bl==δl?J(W,b,x,y)?bl==δl

　　　　有了W,bW,b梯度表達式

總結

以上是生活随笔為你收集整理的卷积神经网络(CNN)反向传播算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。