關于Linux+GPU服務器下GPU顯存不足問題

• 1. 問題描述
• 2. 解決方法
• • 2.1 傳統方法
  • 2.2 殺死進程法
• 3.備注

1. 問題描述

在基于Linux操作系統環境下的GPU服務器上跑深度學習代碼時，我們常常會因為如不正常退出等問題導致資源沒被正常回收而出現GPU顯存不足的情況，此時再次運行學習代碼就會出現如下圖所示報錯情況。從圖片上可以看出我10.91GiB的顯存僅剩下362.38MiB，報錯提示原因也是ResourceExhaustedError(資源耗盡錯誤)。

2. 解決方法

2.1 傳統方法

• 傳統方法當然是重啟喲，這是在不知道解決辦法時的萬能鑰匙，手動滑稽。

2.2 殺死進程法

• 使用fuser命令顯示所有占用nvidia設備的進程processID。（說明：fuser命令 能展列出當前磁盤上的某個文件、掛載點、以及網絡端口的使用情況，并顯示使用其資源的進程processID，默認情況下每個文件名后面跟一個字母表示訪問類型）

sudo fuser /dev/nvidia*

• 操作過程如下：
  

• 使用kill命令將占用Nvidia設備的進程殺掉，并再次使用fuser命令確認。（說明：使用kill命令時默認的命令參數為-15，而kill -15代表的信號為SIGTERM，這是告訴進程進行終止操作，這并不能保證一定殺干凈；而kill -9代表的信號是SIGKILL，表示進程被殺死，不能被忽略）

kill -9 PID sudo fuser /dev/nvidia*

• 其中我的PID為上圖的22448，操作過程如下圖所示：
  

3.備注

• 到此問題就解決了，繼續學習。
• 問題是本人在Ubuntu 16.04系統下使用tensorflow框架在Nvidia GTX 1080Ti上進行機器學習時遇到的。因為經常會遇到，所以做了問題總結，希望對出現同樣問題的你有所幫助。

總結

以上是生活随笔為你收集整理的关于Linux+GPU服务器下GPU显存不足问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。