RuntimeError: Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you must use the ‘spawn’ start method

問題出現(xiàn)的背景：在一個使用 cuda 對模型訓(xùn)練進(jìn)行加速的程序中，想要使用多進(jìn)程對模型測試進(jìn)行加速。

解決的辦法：因?yàn)槲沂潜容^熟悉 python 中多進(jìn)程的使用，所以，把模型測試部分的所有變量都改成普通的python變量或numpy變量這種（也就是不要有pytorch的cuda類型的張量），然后這樣操作就不會有問題了。就比如：user_embedding = user_embedding.cpu().numpy() 先將原本cuda類型的張量變成cpu類型的張量，再將pytorch張量轉(zhuǎn)變?yōu)?numpy的ndarray類型變量，這樣是不會出錯的。

原因：在Python3中使用 spawn 或 forkseverver 啟動方法才支持在進(jìn)程之間共享CUDA張量。而我是用的multiprocessing 是使用 fork 創(chuàng)建子進(jìn)程，不被 CUDA 運(yùn)行時(shí)所支持。

但是我這里不需要共享CUDA張量，就把他變更為cpu變量就行，有共享CUDA變量需求的可以去看看文檔改變一下使用的多進(jìn)程的方法。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Cannot re-initialize CUDA in forked subprocess. To use CUDA with multiprocessing, you的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。