如何在PAI平台跑实验
PAI平臺(tái)使用教程
- build image
- upload & run
- storage system
build image
首先去官網(wǎng)下載docker windows,如果系統(tǒng)不適配,就用官網(wǎng)的docker tools輔助安裝。安裝后,右下角任務(wù)欄找到小鯨魚圖案,右鍵點(diǎn)擊setting。在左邊的欄目里面找到Daemon選項(xiàng),進(jìn)去后就會(huì)看到我們什么都沒有配置,所以按照下面的信息配置docker:
"registry-mirrors":["http://f1361db2.m.daocloud.io"] "insecure-registries":["192.168.193.253:5000"]配置好后打開cmd或其他命令行軟件,用下面的指令下載基礎(chǔ)鏡像到本地并運(yùn)行:
docker pull 192.168.193.253:5000/pytorch:v0.4.0 #此鏡像為pytorch0.4版本的基礎(chǔ)鏡像 docker image ls #查看目前本地所擁有的鏡像 docker container run -ti <Image ID> #從查看過程中可以得到Image ID,輸?shù)綄?duì)應(yīng)位置,運(yùn)行鏡像運(yùn)行鏡像后就進(jìn)入linux的terminal了,你擁有root權(quán)限,可以進(jìn)行任何操作。在其中配置好你想要的環(huán)境
弄完之后輸入exit退出
我們運(yùn)行下面幾條指令,把剛剛弄好的鏡像上傳到服務(wù)器:
至此鏡像就配置完了,下面就可以上傳代碼,跑代碼了
upload & run
首先在本地python環(huán)境安裝常瑞師兄編寫的pai包,常瑞師兄在github上寫的比較詳細(xì),具體操作按照上面來,我在這里主要介紹一下configuration中的注意事項(xiàng),所涉及的都是需要改的,其余可以不予理睬。
jobname:是我們提交任務(wù)的名稱,同時(shí)平臺(tái)會(huì)在root下建立一個(gè)此名稱的文件夾,運(yùn)行其中代碼。初次我們起名為**_,上傳時(shí)平臺(tái)會(huì)在_后隨即給你添數(shù)字,如果你不按照此格式,他會(huì)把你起的名稱覆蓋。
image:填你要使用的鏡像名稱
gputype:填你要使用的gpu 目前有兩種 geforce1080ti geforce2080ti
cpunumber:填你要申請(qǐng)的cpu數(shù)量,一般3就足夠了
memoryMB:一般4、5g就可
shmMB:影響讀數(shù)據(jù)速度,可以填1024或2048,填多了沒用
gpuNumber:這里填你要申請(qǐng)的gpu數(shù)量,一般都為1個(gè),如果需要并行跑,可以申請(qǐng)多個(gè)
command:/bin/bash /root/mount.sh 這個(gè)必輸,其余的就填你要運(yùn)行的指令。
storage system
平臺(tái)采用掛載的形式,把服務(wù)器的部分存儲(chǔ)空間掛載到了平臺(tái)上,掛載過后的位置為:/root/data/
里面存放/root/data/datasets/數(shù)據(jù)集,/root/data/models/模型庫(kù),/root/data/ouputs/存一些代碼的輸出
我們可以用WinSCP或XTerm連文件系統(tǒng):
ip為192.168.193.253 用戶名為fileserver 密碼 123456
總結(jié)
以上是生活随笔為你收集整理的如何在PAI平台跑实验的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Hibernate学习(三)
- 下一篇: PHP保存Base64图片的问题