1 學習率的大小?

?2 Adagrad

2.1 Adagrad結論

?2.2 Adagrad推導

?g不變

η隨著t的增加而減少

σ是之前梯度的均方根

?3 Adagrad的優缺點

3.1 優點

可以動態調整學習率，因而相比于SGD來說，可以更少地進行手動對學習率的調參

3.2 缺點

• 如果我們把?視為學習率的話，那么學習率會很快降到一個很小的值，之后會很慢收斂了。
• η的值需要認為指定，如果設置的太大的話，就會發生震蕩；太小的話全局學習率又會較低

總結

以上是生活随笔為你收集整理的机器学习笔记：Adagrad的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。