設置 torch.backends.cudnn.benchmark=True 將會讓程序在開始時花費一點額外時間，為整個網(wǎng)絡的每個卷積層搜索最適合它的卷積實現(xiàn)算法，進而實現(xiàn)網(wǎng)絡的加速。適用場景是網(wǎng)絡結(jié)構(gòu)固定（不是動態(tài)變化的），網(wǎng)絡的輸入形狀（包括 batch size，圖片大小，輸入的通道）是不變的，其實也就是一般情況下都比較適用。反之，如果卷積層的設置一直變化，將會導致程序不停地做優(yōu)化，反而會耗費更多的時間。

添加的位置：
在模型的開始之前

import torch.backends.cudnn as cudnn cudnn.deterministic = True cudnn.benchmark = True

使用的測試模型是 ResNet-101，GPU 是 GTX 1060，訓練時間縮短了15%

總結(jié)

以上是生活随笔為你收集整理的torch.backends.cudnn.benchmark 加速训练的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。