曉查發自凹非寺

　　量子位報道公眾號 QbitAI

　　花將近一半的錢，買性能 2 倍的顯卡，真香。

　　在本周的產品發布會上，英偉達推出了 RTX 30 系列顯卡，只要 5499 元的價格，就能買到比 1 萬元 RTX 2080Ti 性能高出一倍的顯卡。

　　更多的 CUDA 核心、張量核心將浮點算力提升 2 倍，GPU 的 AI 性能得以大幅提升。

　　但發布會上另一項功能引起了機器學習社區的注意，那就是RTX IO，有了它以后你“煉丹”的速度可能更快了。

　　什么是 RTX IO？

　　RTX IO 技術允許 GPU 在不使用 CPU 的情況下，將游戲素材數據直接從 SSD 加載到 GPU 的顯存中。

　　過去，系統讀取固態硬盤(SSD)里的數據時，需要由 CPU 來處理，然后釋放到內存(RAM)中，再由 CPU 交給 GPU。

　　這樣一來一回，浪費了大量的時間不說，也浪費了 GPU 自身的解壓能力。如果以 14GB/s來全速讀取 PCIe 4.0 SSD 的壓縮數據，需要消耗 24 個 CPU 核心。

　　尤其是個人開發者，一般不會用到這么高規格的 CPU。

　　RTX IO 的作用就是解放 CPU，用 GPU 來加速讀取壓縮數據。數據不會流過 CPU 和系統內存，而是直接交給 GPU 解壓，再放入顯存（VRAM）中。

　　英偉達表示，這項技術最多可以將數據I/O性能提升 100 倍。甚至 PCIe 4.0 SSD 的讀取極限已經跟不上 GPU 的解碼能力了。

　　雖然該功能主要是面向游戲玩家，但對 AI 開發者來說也有重大意義。

　　因為 AI 的訓練和推理一般都是在 GPU 上進行的，傳統的數據讀取方式已經制約了“煉丹”的速度。

　　對于訓練大型數據模型，通常將數據加載和卸載到顯存上是 AI 工作負載的最大瓶頸。從 CPU 切換到 GPU 計算時，加載訓練數據通常是 pipeline 中最慢的部分。

　　一位開發者表示，在 TensorFlow 或 PyTorch 中運行 AI 模型時，從 GPU 加載和卸載數據會消耗大量時間。

　　這導致對于較小的模型，用 GPU 實際計算的時間反而比 CPU 更長。

　　雖然 GPU 訓練和更新參數的速度要更快，但是向 GPU 加載和卸載數據比 CPU 慢得多，導致 CPU 訓練速度反而更快的現象。

　　專業卡技術首次下放

　　其實英偉達的 GPU 直連技術早已有之，在 RTX 30 系列顯卡發布以前，英偉達就有一個叫做GPUDirect的技術。

　　這也是在 SSD 和 GPU 之間建立直連通道，但是 GPUDirect 僅支持Tesla和Quadro專業級顯卡。

　　英偉達過去的測試數據表明了這項技術對計算速度的巨大提升。

• 直接在存儲設備與 GPU 之間傳輸數據，帶寬提高了 2 到 8 倍。

• 降低延遲，讀取帶寬更平滑，實測端到端延遲降低了 3.8 倍。

• 對 CPU 負載的侵入較小，不會干擾 GPU 負載。GPU 占用率接近零。

• GPU 的I/O帶寬提高到 215GB/s，而過去的 CPU 僅有 50 GB/s。

　　還有，在去年的 GPU 技術大會上，英偉達展示 RAPIDS 開源軟件項目中，通過數據直連，讓 GPU 處理數據幀加速了 1.5 至 8 倍。

#TimingPandas


#Output:82.2msperloop


%timeitpandas_df.a.mean ()

#TimingcuDF


#Output:5.12msperloop


%timeitcudf_df.a.mean ()


　　RTX IO 的推出，意味著 3000 系列可能是我們在消費級 GPU 中首次數據直連的技術。

　　如果你從事計算機視覺的研究，那么 RTX IO 也許可以充分利用 GPU 解壓圖像的能力。

　　而且 RTX IO 現在僅支持 Windows 操作系統，未來何時支持 Linux 還是未知數。

　　像 Keras，PyTorch 或 TensorFlow 之類的通用庫也沒有提供支持，只有等到這些庫更新后，才能方便直接調用。

　　不過，RTX 30 系列的性價比已經足夠高，即使短期內看不到 RTX IO 對機器學習的支持，也值得購。

　　那么，你期待 RTX IO 功能嗎？你覺得它會對“AI 煉丹”產生重大影響嗎？

　　參考鏈接：

　　https://www.reddit.com/r/MachineLearning/comments/ilvkyi/d_nvidias_rtx_3000_series_and_direct_storage_for/

　　https://developer.nvidia.com/gpudirect

總結

以上是生活随笔為你收集整理的RTX 30系列GPU支持直连SSD，它会是AI炼丹“大杀器”吗？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。