BN本質上解決的是反向傳播過程中的梯度問題。

詳細點說，反向傳播時經過該層的梯度是要乘以該層的參數的，即前向有：

那么反向傳播時便有：

那么考慮從l層傳到k層的情況，有：

上面這個 便是問題所在。因為網絡層很深，如果 大多小于1，那么傳到這里的時候梯度會變得很小比如 ；而如果 又大多大于1，那么傳到這里的時候又會有梯度爆炸問題 比如 。BN所做的就是解決這個梯度傳播的問題，因為BN作用抹去了w的scale影響。

具體有：

() = ()

那么反向求導時便有了：

可以看到此時反向傳播乘以的數不再和 的尺度相關，也就是說盡管我們在更新過程中改變了 的值，但是反向傳播的梯度卻不受影響。更進一步：

即尺度較大的 將獲得一個較小的梯度，在同等的學習速率下其獲得的更新更少，這樣使得整體 的更新更加穩健起來。

總結起來就是BN解決了反向傳播過程中的梯度問題（梯度消失和爆炸），同時使得不同scale的 整體更新步調更一致。

?

轉載于:https://www.cnblogs.com/mengxiangtiankongfenwailan/p/9895117.html

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的神经网络中使用Batch Normalization 解决梯度问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。