梯度下降的三種形式BGD，SGD，MBGD：

Batch gradient descent: Use all examples in each iteration；

Stochastic gradient descent: Use 1 example in each iteration；

Mini-batch gradient descent: Use b examples in each iteration.

BGD就是使用全部訓練數據，來計算平均的梯度，然后進行一次迭代；

SGD就是每次隨機選擇一個訓練樣本來計算梯度并進行一次迭代；

MBGD是采用一個(隨機)小批量的數據來計算平均梯度，并進行一次迭代。

(我還見過MSGD這個詞，應該就是Mini-batch SGD的意思，跟MBGD一樣)

但是實際上，我們在閱讀代碼的過程中，SGD的含義可能跟MBGD的含義一樣，S被解釋成了隨機尋找一個小批量(一組)數據來更新梯度。在MBGD中，每一次迭代也不一定就是一個mini batch，可能是用好幾個mini batch迭代了好幾次，比如將數據按照batch size分成N批，然后每一批做一次梯度下降計算，N批做完之后，才算一個Epoch。所以，在調用接口的時候，要仔細看看說明。

維基百科上，并沒有對BGD和MBGD的詞條。

總結

以上是生活随笔為你收集整理的批量梯度下降 linux,梯度下降的三种形式BGD，SGD，MBGD（MSGD）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。