ng機器學習視頻筆記（二）

——梯度下降算法解釋以及求解θ

??（轉載請附上本文鏈接——linhxx）

?

?

?一、解釋梯度算法

?

? ? ? ? ?梯度算法公式以及簡化的代價函數圖，如上圖所示。

???????? 1）偏導數

由上圖可知，在a點，其偏導數小于0，故θ減去小于0的數，相當于加上一個數。另外，從圖上可以看出，在a點不是最佳點，需要繼續向右移動，即a需要增加。因此符合要求。

?????? 對于在b點，可以同理得到需要減少的結果。

?????? 2）學習速率α

?????? α表示點移動向最小值點的速率，α取值需要注意。

?????? 當值太大，每次移動的距離太長，可能導致在最小值點附近時，移動會超出最小值點的位置，導致不斷的在大于、小于最小值點的位置偏移，無法收斂；

?????? 當值太小，移動速度 非常慢，會導致程序執行時間太久。

?????? 另外，由于在越接近最小值點，偏導數的數量值（絕對值）越小，因此變化速率本身就會變慢，因此選定α后，不需要再去調整數值，其自己會減慢速率。

?

二、梯度算法缺陷

?

? ? ? ? ?由上圖可知，對于有多個極小值點的代價函數，梯度算法只能取到局部最小值點，即函數的極小值點，但是沒法保證該點就是最小值點。

?

三、求解θ

??????

? ? ? ?公式如上圖所示，實質上就是求偏倒的結果。

?????? 不斷的計算θ0和θ1，直到偏導數為0（或者設定小于某個閾值），則停止計算，此時的結果則是對于某個起始點的局部最優結果。

?

——written by linhxx

?

更多最新文章，歡迎關注微信公眾號“決勝機器學習”，或掃描右邊二維碼。

轉載于:https://www.cnblogs.com/linhxx/p/8412681.html

總結

以上是生活随笔為你收集整理的ng机器学习视频笔记（二） ——梯度下降算法解释以及求解θ的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。