• degugging:make sure gradient descent is working correctly

cost function(J(θ)) of Number of iteration ：cost function隨著迭代次數(shù)增加的變化函數(shù)

運行錯誤的圖象是什么樣子的：cost function(J(θ)) of Number of iteration隨著迭代次數(shù)增加而上升(如以下兩種圖像的情況)，應使用較小的learning rate

?運行正確的圖象是什么樣子的：cost function(J(θ)) of Number of iteration應該是遞減的并且隨著迭代次數(shù)增加它趨于一條平緩的曲線（即收斂于一個固定的值）

? ? ? ?

• how to choose learning rate(?)
• 若learning rate太小: 收斂速度會很慢
• 若learning rate太大： gradient descent不會收斂，會出現(xiàn)隨著迭代次數(shù)的增加，cost function反而變大的情況，這時我們要選擇較小的learning rate去嘗試。
• 可供選擇的一些learning rate值: ?0.3, 0.1, 0.03, 0.01 and so on(3倍)
• 在進行gradient drscent時，我們會嘗試一些不同的learning rate,然后繪制出不同的ost function(J(θ)) of Number of iteration曲線，然后選擇一個使cost function 快速下降的learning rate.
• 如何選擇最佳的learning rate ?

? ? ? ? ? ? ? ? ? 嘗試這些不同的learning rate找到一個最大的learning rate（若再大則不會收斂）或者比最大稍小一點的learning rate

轉載于:https://www.cnblogs.com/yan2015/p/4525937.html

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的machine learning (5)---learning rate的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。