Δw(t)=?ε
?w(t)
?E
?
+αΔw(t?1)(9)

我們知道反向傳播每次迭代的效果是這樣的:
w=w+Δw(t) w=w+\Delta w(t)
w=w+Δw(t)

我們知道,每條訓練數據都會導致訓練的過程中,
計算一次?E?w(t) \frac{?E}{?w(t)}
?w(t)
?E
?
,假如我的wi w_iw
i
?
初始化為0,最終的值是0.7
但是我的學習率ε=0.0001 \varepsilon=0.0001ε=0.0001,一萬條數據,
epoch=1夠不夠,可能夠,也可能不夠.
因為你想啊,就假如一個三層的神經網絡
第一層和第二層之間有個wi w_iw
i
?

第2層和第3層之間有個wj w_jw
j
?

假設w在0~1之間,那么就有1/ε \varepsilonε=10000種取值,
并且層與層之間的w還得排列組合,這些排列組合雖然是根據?E?w(t) \frac{?E}{?w(t)}
?w(t)
?E
?
不斷調整w ww的,你能確保這些層與層之間的不同w的值的組合
剛好令loss(也就是E)最小嗎?
顯然不能,所以根據梯度下降的過程,你需要很多次epoch,才有可能讓神經網絡來擬合處滿足當前訓練集的模型.
一言概之,為啥需要多次epoch,
就是
w=w+Δw(t) w=w+\Delta w(t)
w=w+Δw(t)
還沒來得及迭代到最終的值.

當然最終的值很可能會讓神經網絡過擬合,這是后話.
---------------------
作者：Chi Yus Blog
來源：CSDN
原文：https://blog.csdn.net/appleyuchi/article/details/86555315
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！

總結

以上是生活随笔為你收集整理的神经网络为什么需要多次epoch的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。