隨著 NVIDIA GPU 計算性能的不斷提升，如何提升 GPU 利用率是開發者普遍關心的問題之一。從 Kepler 架構開始，NVIDIA GPU 支持多個 CUDA kernels 函數的并發執行，稱為 Hyper-Q 技術。Hyper-Q 技術支持多個 CUDA streams、多個 CPU threads 或者多個 CPU processes 同時發射 CUDA kernels 函數到 GPU 上，在硬件資源允許的情況下，實現多個 kernels 的并發執行。對于多個 CPU processes 發射 kernels 的情況，要想實現真正的 kernels 并發，就需要借助 CUDA 中的工具：MPS (Multi-Process Service)。為此，NVIDIA 中國區 GPU 計算專家團隊高級工程師吳磊將帶來一場線上直播分享，從介紹 CUDA context / Hyper-Q 等背景知識入手，深入淺出的向大家展示 MPS 技術的最佳實踐方法，并以實際案例向大家說明 MPS 能夠帶來的 GPU 性能提升，同時讓大家了解一些 MPS 使用過程中的注意事項。本次直播的預備知識為對 GPU 和 CUDA 的基本概念有所了解，例如什么是 GPU 利用率 (Utilization) 和占用率 (Occupancy)，什么是 CUDA kernel 函數和 stream 異步并發執行等，難度較低，希望能給 GPU 開發者帶來幫助。本次線上分享詳情如下：

主題：CUDA多進程服務工具：MPS

日期：2019 年 10 月 31 日，星期四

時間：20:00-21:30?

演講嘉賓

吳磊

NVIDIA中國區GPU計算專家團隊高級工程師

吳磊先后從事HPC領域基于CUDA的代碼移植和優化，人工智能領域深度學習模型的訓練和推理優化。對GPU體系架構，CUDA編程和優化，深度學習推理加速等技術有深刻的理解和豐富的工程經驗。點擊，立即報名。

Accelerating your future

NVIDIA GPU計算專家團隊致力于為中國客戶提供基于GPU系統的最快解決方案，工作內容涉及視頻圖像處理、語音識別和合成、自然語言處理、推薦系統等各個方面，通過代碼優化、模型優化和Pipeline優化，提供端到端的解決方案。本團隊開源了若干原型項目，幫助用戶評估GPU可以帶來的業務收益，并通過進一步開發集成，利用GPU為用戶降低成本，提高效率。

總結

以上是生活随笔為你收集整理的多个cuda 被单进程沾满_报名 | 提高GPU利用率，听英伟达专家分享这个CUDA工具的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。