多實例gpu_MIG技術快速提高AI生產率

Ride the Fast Lane to AI Productivity with Multi-Instance GPUs

一．平臺介紹

NVIDIA安培架構中的MIG模式可以在A100 GPU上并行運行七個作業。

二．技術原理

還記得夏天休息后，在飲水機前排著長隊等你嗎？現在想象一下一個多頭的噴泉，流動著所有人的清涼善良。

這就是NVIDIA安培體系結構中啟用的多實例GPU（MIG）的本質。

MIG將一個NVIDIA A100 GPU劃分為多達七個獨立的GPU實例。它們同時運行，每個都有自己的內存、緩存和流式多處理器。這使得A100 GPU能夠以比以前的GPU高7倍的利用率提供有保證的服務質量（QoS）。

在MIG模式下的A100可以運行多達7個不同大小的AI或HPC工作負載的任意組合。這種能力對于通常不需要現代GPU所提供的所有性能的AI推理工作特別有用。 例如，用戶可以創建兩個MIG實例，每個實例的內存為20gb，三個實例的內存為10gb，七個實例的內存為5gb。用戶創建適合其工作負載的組合。

MIG隔離了GPU實例，所以它提供了故障隔離——一個實例中的問題不會影響在同一物理GPU上運行的其他實例。每個實例都提供有保證的QoS，確保用戶的工作負載獲得他們期望的延遲和吞吐量。

云服務提供商和其他企業可以使用MIG來提高其GPU服務器的利用率，為用戶提供高達7倍的GPU實例。

英偉達是谷歌云的戰略合作伙伴，MIG使共享Kubernetes集群中gpu的效率和利用率達到新的水平成為可能。啟用這些共享GPU用例，并通過googlekubernetes引擎提供用例。

三．企業對MIG的推斷

對于企業用戶來說，MIG加速了人工智能模型的開發和部署。
MIG讓多達7個數據科學家同時訪問一個感覺像是專用GPU的東西，這樣他們就可以并行工作，微調深度學習模型，以獲得最佳的精度和性能。這是一項耗時的工作，但它通常不需要太多的計算能力——這是MIG的一個很好的用例。
一旦模型準備好運行，MIG允許一個GPU同時處理多達七個推理作業。這對于批量1推理工作負載來說是非常理想的，這些工作負載包括不需要完整GPU的肌肉的小的、低延遲的模型。
英偉達技術對送貨機器人平臺服務至關重要，MIG將能夠充分利用部署的每一個GPU，能夠動態地重新配置計算資源，以滿足不斷變化的工作負載需求，優化我們基于云的基礎設施，從而最大限度地提高效率和節約成本。
四．專為IT/DevOps而建
用戶不必改變CUDA編程模型就可以獲得MIG對AI和HPC的好處。MIG可以與現有的Linux操作系統、Kubernetes和容器協同工作。
NVIDIA通過它為其A100提供的軟件啟用MIG。其中包括GPU驅動程序、NVIDIA的CUDA11軟件（即將上市）、更新的NVIDIA容器運行時以及通過NVIDIA設備插件在Kubernetes中的新資源類型。
將NVIDIA虛擬計算服務器（vComputeServer）與MIG結合使用，將提供管理和監視系統管理程序（如Red Hat Virtualization和VMware vSphere）的優點。這種組合將支持流行的功能，如實時遷移和多租戶。
客戶越來越需要管理運行在虛擬機上的多租戶工作流，同時提供隔離和安全好處，NVIDIA A100 GPU上新的多實例GPU功能支持一系列新的人工智能加速工作負載，這些工作負載可以在紅帽平臺上運行，從云端到邊緣。
隨著NVIDIA A100及其軟件的到位，用戶將能夠看到和調度他們的新GPU實例上的作業，就好像他們是物理GPU一樣。

總結

以上是生活随笔為你收集整理的多实例gpu_MIG技术快速提高AI生产率的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。