問(wèn)題：

torch.backends.cudnn.benchmark = True

在利用pytorch進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)總會(huì)見到這行代碼，這句有什么用呢？查了一些資料才知道是個(gè)非必須項(xiàng)，那加了有什么用呢？有沒(méi)有什么準(zhǔn)則呢？

用途：

大部分情況下，設(shè)置這個(gè) flag 可以讓內(nèi)置的 cuDNN 的 auto-tuner 自動(dòng)尋找最適合當(dāng)前配置的高效算法，來(lái)達(dá)到優(yōu)化運(yùn)行效率的問(wèn)題。

準(zhǔn)則：

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)維度或類型上變化不大，設(shè)置? torch.backends.cudnn.benchmark = true? 可以增加運(yùn)行效率；

如果網(wǎng)絡(luò)的輸入數(shù)據(jù)在每次 iteration 都變化的話，會(huì)導(dǎo)致 cnDNN 每次都會(huì)去尋找一遍最優(yōu)配置，這樣反而會(huì)降低運(yùn)行效率。

?

總結(jié)

以上是生活随笔為你收集整理的pytorch——torch.backends.cudnn.benchmark = True的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。