1.batchsize越大 是不是訓練越快？

GPU :一塊2080Ti
平臺：pytorch cuda
圖片數量：2700

batchsize一個圖片處理時間GPU內存占用GPU算力使用一個epoch 所用時間

1	0.117s	2.5G	20%	2700 * 0.0117 = 318s
5	0.516s	8G	90%	2700 * 0.516/5 = 279s

batchsize大了之后，占用的資源多了，算力多了，但是速度沒有提升，這樣是不是太坑了。
我們其實可以把 batchsize設置小點，然后把剩余的內存跑其他實驗，而且再在同一張卡上跑一個新的實驗，對之前的速度也沒有影響。

結論：
1.本人實驗 batchsize越大，訓練速度提升不大
2.bachsize小點，多跑幾個實驗真香

完成每個epoch運算的所需的全部時間主要卡在：

load數據的時間，

每個epoch的iter數量。

因此對于每個epoch，不管是純計算時間還是全部時間，大體上還是大batch能夠更節約時間一點，但隨著batch增大，iter次數減小，完成每個epoch的時間更取決于加載數據所需的時間，此時也不見得大batch能帶來多少的速度增益了。

2.batchsize大了，是不是結果會變好？

收集資料發現，確實是這樣的，但是也不能太大了

Batch_Size 太小，算法在 200 epoches 內不收斂。

隨著 Batch_Size 增大，處理相同數據量的速度越快。

隨著 Batch_Size 增大，達到相同精度所需要的 epoch 數量越來越多。

由于上述兩種因素的矛盾， Batch_Size增大到某個時候，達到時間上的最優。

由于最終收斂精度會陷入不同的局部極值，因此 Batch_Size增大到某些時候，達到最終收斂精度上的最優。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的batchsize大小对训练速度的影响的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。