局部最優化問題

如圖左側所示，似乎存在很多局部最優解。某個算法可能會困在局部最優解里，而不能達到全局最優解。如果通過畫圖的情況，比如說這種兩緯度的情況，就很容易出現許多局部最優解。然而，通過這樣的低緯來理解高維是不正確的。

事實上如果你要創建一個神經網絡，通常梯度為0的點并不是圖中局部最優點，而是右圖中的鞍點（saddle points），在高維情況，我們通常碰到的是鞍點而不是局部最優點。

對于深度學習而言，大部分低維空間的直覺不能應用到高維空間。

那么如果局部最優不是問題，那么問題是什么呢？

結果是平穩段會減緩學習。

平穩段是一塊區域，那里的導數長時間接近于0。

那么本部分的經驗是首先，你不太可能在訓練大型神經網絡中困在局部最優解。條件是大型神經網絡有放多參數，而且成本函數J被定義在較高緯度空間。第二點，平穩段是個問題，會使你學的非常緩慢。

吳教主深度學習和神經網絡課程總綱

總結

以上是生活随笔為你收集整理的2.2.7 局部最优化问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。