数据科学中的Docker
生活随笔
收集整理的這篇文章主要介紹了
数据科学中的Docker
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
Docker開源以來,迅速風靡世界,對軟件的開發、測試、部署、分發起到了很大變化。從logo也能看出來,docker就像一個集裝箱一樣,將軟件打包分發,避免了“在我這運行沒問題啊”的爭吵。簡單來說,docker以輕量化的尺寸,把操作系統、環境、依賴包、開發軟件全都打包在一起,在一臺新機器上可以快速、無損的復制出來。所以docker也用在云計算中作為基礎調度單元。
不光對軟件開發和,數據科學中也經常因為包的版本引發各種問題,掌握docker也成了數據科學家的必備技能。相比虛擬機,docker更加輕量。
基礎概念
鏡像 image
最近剛好又在看龍珠,其實一個鏡像的概念特別像龍珠里的“萬能膠囊”。
容器 container
容器就相當于“扔出去的萬能膠囊”了,其本質是一個進程。另一方面,容器相當于實例化后的鏡像。
例如linux中查看進程的命令ps(Process Status),查看容器的命令是docker ps
倉庫 repository
倉庫就是圖中存放萬能膠囊的盒子了。
基本使用
sudo docker build -f Dockerfile -t registry.cn-shenzhen.aliyuncs.com/yuetan/competition:01 . docker run -v /Users/longxingtan/Repository/Competition-gogogo/earth/data:/tcdata registry.cn-shenzhen.aliyuncs.com/yuetan/competition:01 docker push registry.cn-shenzhen.aliyuncs.com/yuetan/competition:01拉取鏡像:
docker pull registry.cn-shanghai.aliyuncs.com/tcc-public/pytorch:1.4-cuda10.1-py3調試
進入交互式容器
docker run -i -t registry.cn-shanghai.aliyuncs.com/tcc-public/pytorch:1.4-cuda10.1-py3 /bin/bashCuda version: cat /usr/local/cuda/version.txt Cudnn version: nvcc --version pip install --upgrade pip pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.2.0進階
GPU支持
對于數據科學而言,GPU的支持必不可少。
docker run --gpus all -it registry.cn-compose
進階的使用首推compose了
Kubernetes
在云計算中,就是k8s了
阿里云中的使用
最近恰好水了一個天池的比賽,由于比賽需要docker提交,這里簡單回顧一下,如何在天池比賽中提交。
參考資料與閱讀材料
- Manning.Learn.Docker.in.a.Month.of.Lunches.2020.6
- https://yeasy.gitbooks.io/docker_practice/
- bilibili:數據科學家docker
- https://zhuanlan.zhihu.com/p/19902938
- https://zhuanlan.zhihu.com/p/147995194
- https://www.oreilly.com/radar/where-programming-ops-ai-and-the-cloud-are-headed-in-2021/
- 實際項目的docker打包應用
- 本地代碼通過dockerfile打包成鏡像,也可以參加類似天池相關比賽
總結
以上是生活随笔為你收集整理的数据科学中的Docker的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: RPC(一)[概述]
- 下一篇: 有了 IP 地址,为什么还要用 MAC