推薦幾個不錯的CUDA入門教程（非廣告）

godweiyang??字節跳動 AI Lab NLP算法工程師?關注他1,089 人贊同了該文章? 最近因為項目需要，入坑了CUDA，又要開始寫很久沒碰的C++了。對于CUDA編程以及它所需要的GPU、計算機組成、操作系統等基礎知識，我基本上都忘光了，因此也翻了不少教程。這里簡單整理一下，給同樣有入門需求的同學們參考一下。
?

官方文檔及書籍

英文好、時間充裕的同學可以精讀官方文檔或者著作。

NVIDIA CUDA C++ Programming Guide

「地址：」 https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html

這是英偉達官方的CUDA編程教程，但是我英文一般，簡單過了一遍之后感覺很多細節沒講，有一定的跳躍性，所以我看完還是很朦朧。

CUDA C++ Best Practices Guide

「地址：」 https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html

這也是英偉達官方的CUDA編程教程，不過側重點在實踐方面，比如如何編程才能最大化利用GPU特性提升性能，建議基礎打好之后再來看這個。

CUDA C編程權威指南

這么經典的書就不用我多說了，英文原版叫《Professional CUDA C Programming》，pdf地址在下面，如果打開比較慢的可以在我公眾號【算法碼上來】后臺回復【cuda】獲取pdf文件： http://www.hds.bme.hu/~fhegedus/C++/Professional%20CUDA%20C%20Programming.pdf

個人博客

像我這種英文差、想快速入門的只能找找中文博客看看了，還是找到不少非常奈斯的教程的。

譚升的博客（強推！！！）

「地址：」 https://face2ai.com/program-blog/#GPU編程（CUDA）

這是我最近發現的又一個寶藏博主，看完他的GPU編程系列教程后感覺豁然開朗，很多底層的原理和細節都通徹了，「強烈安利！」

他在github還開源了教程對應的示例代碼： https://github.com/Tony-Tan/CUDA_Freshman

CUDA編程入門極簡教程

「地址：」 https://zhuanlan.zhihu.com/p/34587739

速覽即可，看完就會寫最簡單的CUDA代碼了。

《CUDA C Programming Guide》(《CUDA C 編程指南》)導讀

「地址：」 https://zhuanlan.zhihu.com/p/53773183

這是NVIDIA CUDA C++ Programming Guide和《CUDA C編程權威指南》兩者的中文解讀，加入了很多作者自己的理解，對于快速入門還是很有幫助的。但還是感覺細節欠缺了一點，建議不懂的地方還是去看原著。

CUDA編程入門系列

「地址：」 https://zhuanlan.zhihu.com/p/97044592

這位大佬寫了六篇，主要是通過一個簡單的加法的例子，一步步講了CUDA優化的若干種方法，拿來上手實踐一下還是很棒的。

CUDA編程系列

「地址：」 https://blog.csdn.net/sunmc1204953974/article/details/51000970

這個系列寫的也是很全了，十幾篇，建議快速通讀一下。

開源代碼

有很多的CUDA源碼可以供我們慢慢學習，我這就簡單給幾個典型的Transformer系列的加速代碼了。

LightSeq

「地址：」 https://github.com/bytedance/lightseq

這是字節跳動開源的生成模型推理加速引擎，BERT、GPT、VAE等等全都支持，速度也是目前業界最快的之一。

FasterTransformer

「地址：」 https://github.com/NVIDIA/DeepLearningExamples/tree/master/FasterTransformer

這是英偉達開源的Transformer推理加速引擎。

TurboTransformers

「地址：」 https://github.com/Tencent/TurboTransformers

這是騰訊開源的Transformer推理加速引擎。

DeepSpeed

「地址：」 https://github.com/microsoft/DeepSpeed

這是微軟開源的深度學習分布式訓練加速引擎。

? 我mentor說，不需要看這些，然后甩給了我20行代碼，說看懂了就行了。結果我看懂了，門還是沒開QAQ，所以建議還是看看底層一些的原理，加深自己的理解，特別是我強推的那篇博客。
?發布于 2021-01-25 16:54「真誠贊賞，手留余香」贊賞還沒有人贊賞，快來當第一個贊賞的人吧！圖形處理器（GPU）CUDA編程?贊同 1089??21 條評論?分享?喜歡?收藏?申請轉載?贊同 1089?分享

總結

以上是生活随笔為你收集整理的CUDA入门教程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。