1 RMSProp

改進的是Adagrad中 對所有之前的梯度求平方和，會導致最后分母很大，參數更新越來越小

相比于 Adagrad，RMSProp也是整合了所有之前的梯度，但是Adagtad是直接求和，這邊是加權求和，每個梯度對應的權重是不相同的

這個值可以手動調整

α越小，表示越相信最新的梯度

和momentum一樣，越早的梯度，對于后面的影響越少（指數級減少）

2 AdaDelta

2.1 第一版AdaDelta

和RMSProp 很類似（個人感覺是一個東西？）

?

2.2 第二版AdaDelta

????????第一版adaDelta和RMSProp 的問題在于，學習率η還是需要人為定的，如果太大的話，會導致學習的時候更新幅度很震蕩，如果太小的話，會導致學習得很慢?

? ? ? ? 所以這里對AdaDelta進行了進一步的改進：

其中

?

這樣的話AdaDelta 就不依賴于學習率η的選擇了

?

總結

以上是生活随笔為你收集整理的机器学习笔记：RMSProp，Adadelta的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。