[1]的2.2提到了兩種病態曲率的例子

論文中第一種病態曲率描述如下：

第一種對應的函數如下：

稍微說下，這個圖與對應的函數在作者的論文上放置的位置差了十萬八千里。
在課件上[2]就放得很近.

然后是 論文中提到的第二種：

對應的是梯度消失和梯度爆炸的情況。
也就是說，梯度消失\梯度爆炸導致訓練速度基本為零，訓練難以收斂。

[1]Deep learning via Hessian-free optimization
[2]Deep Learning via Hessian-free Optimization-James Martens

總結

以上是生活随笔為你收集整理的神经网络中的病态曲率-Pathological Curve-举例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。