1、梯度概念

---

(1)從幾何意義上講，就是函數變化最快的地方。

• 在單變量的函數中，梯度只是導數，其實就是函數在某個給定點的切線的斜率；
• 在多變量函數中，梯度是一個向量，向量有方向，梯度的方向就指出了函數在給定點的上升最快的方向。

(2)舉例說明

(3)舉例說明

多變量求微分，需要對每個變量求微分

梯度就是多變量求微分的一般化

2、代價函數

---

假設有訓練樣本(x, y)，模型為h，參數為θ。

代價函數其實就是指任何能夠衡量模型預測出來的值 h(θ) 與真實值 y 之間的差異的函數都可以叫做代價函數 C(θ) 。它的標準定義如下：

其中的1/2是為了方便后面計算加入的。最后用以下公式表示目標函數(代價函數)：

實例：

3、梯度下降

---

(1)梯度下降是一個用來求函數最小值的算法。

梯度下降背后的思想是：開始時我們隨機選擇一個參數的組合，計算代價函數，然后我們尋找下一個能讓代價函數值下降最多的參數組合。我們持續這么做直到找到一個局部最小值(local minimum)，因為我們并沒有嘗試完所有的參數組合，所以不能確定我們得到的局部最小值是否便是全局最小值(globalminimum)，選擇不同的初始參數組合，可能會找到不同的局部最小值。

(2)梯度下降算法公式表示：

有一點需要注意的是步長a的大小，如果a太小，則會迭代很多次才找到最優解，若a太大，可能跳過最優，從而找不到最優解。(用a代替阿發)

另外，在不斷迭代的過程中，梯度值會不斷變小，所以θ1的變化速度也會越來越慢，所以不需要使速率a的值越來越小.

4、批量梯度下降

---

它是指在每一次迭代時使用所有樣本來進行梯度的更新。從數學上理解如下：

其中‘：=’表示賦值。

注意這里更新時存在一個求和函數，即為對所有樣本進行計算處理。

5、隨機梯度下降

---

隨機梯度下降法不同于批量梯度下降，隨機梯度下降是每次迭代使用一個樣本來對參數進行更新。使得訓練速度加快。

總結

以上是生活随笔為你收集整理的最速下降法matlab全局最小值_梯度下降概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。