最速下降法的影子在機器學習中正是無處不在，它簡單實用。

一、表示

　　在最速下降法中，對權值向量w的連續(xù)調(diào)整是在最速下降的方向上，即它是與梯度向量方向相反的，梯度向量記為（1），簡記（2）：

　　其中，η是一個正常數(shù)，稱為步長或學習率參數(shù)。g(n)是在w(n)處的梯度向量值。在從迭代n到n+1的過程中算法應用修正。

二、證明

　　用w(n)附近的一階泰勒級數(shù)展開來逼近，可寫成（4）式

　　　　由（1）式得到（5）式，將（5）式代入（4）式，得到（6）式。顯然是梯度下降的。

三、優(yōu)缺點

　　缺點：局部極小值，而不是全局優(yōu)化。只有目標函數(shù)是凸函數(shù)才是全局優(yōu)化。

參考文獻：《神經(jīng)網(wǎng)絡與機器學習》P59

?

轉載于:https://www.cnblogs.com/Wanggcong/p/4701703.html

總結

以上是生活随笔為你收集整理的最速下降法（梯度下降法）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。