當前位置：首頁 > 编程资源 > 综合教程 >内容正文

综合教程

第四篇：使用 CUBLAS 库给矩阵运算提速

發布時間：2024/8/26 综合教程 29 生活家

生活随笔收集整理的這篇文章主要介紹了第四篇：使用 CUBLAS 库给矩阵运算提速小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

前言

編寫 CUDA 程序真心不是個簡單的事兒，調試也不方便，很費時。那么有沒有一些現成的 CUDA 庫來調用呢？

答案是有的，如 CUBLAS 就是 CUDA 專門用來解決線性代數運算的庫。

本文將大致介紹如何使用 CUBLAS 庫，同時演示一個使用 CUBLAS 庫進行矩陣乘法的例子。

CUBLAS 內容

CUBLAS 是 CUDA 專門用來解決線性代數運算的庫，它分為三個級別：

Lev1. 向量相乘

Lev2. 矩陣乘向量

Lev3. 矩陣乘矩陣

同時該庫還包含狀態結構和一些功能函數。

CUBLAS 用法

大體分成以下幾個步驟：

1. 定義 CUBLAS 庫對象

2. 在顯存中為待運算的數據以及需要存放結果的變量開辟顯存空間。( cudaMalloc 函數實現 )

3. 將待運算的數據傳輸進顯存。( cudaMemcpy，cublasSetVector 等函數實現 )

4. 調用 CUBLAS 庫函數 ( 根據 CUBLAS 手冊調用需要的函數 )

5.從顯存中獲取結果變量。( cudaMemcpy，cublasGetVector 等函數實現 )

6.釋放申請的顯存空間以及 CUBLAS 庫對象。( cudaFree 及 cublasDestroy 函數實現 )

代碼示例

如下程序使用 CUBLAS 庫進行矩陣乘法運算，請仔細閱讀注釋，尤其是 API 的參數說明：

  1 // CUDA runtime 庫 + CUBLAS 庫 
  2 #include "cuda_runtime.h"
  3 #include "cublas_v2.h"
  4 
  5 #include <time.h>
  6 #include <iostream>
  7 
  8 using namespace std;
  9 
 10 // 定義測試矩陣的維度
 11 int const M = 5;
 12 int const N = 10;
 13 
 14 int main() 
 15 {   
 16     // 定義狀態變量
 17     cublasStatus_t status;
 18 
 19     // 在 內存 中為將要計算的矩陣開辟空間
 20     float *h_A = (float*)malloc (N*M*sizeof(float));
 21     float *h_B = (float*)malloc (N*M*sizeof(float));
 22     
 23     // 在 內存 中為將要存放運算結果的矩陣開辟空間
 24     float *h_C = (float*)malloc (M*M*sizeof(float));
 25 
 26     // 為待運算矩陣的元素賦予 0-10 范圍內的隨機數
 27     for (int i=0; i<N*M; i++) {
 28         h_A[i] = (float)(rand()%10+1);
 29         h_B[i] = (float)(rand()%10+1);
 30     
 31     }
 32     
 33     // 打印待測試的矩陣
 34     cout << "矩陣 A :" << endl;
 35     for (int i=0; i<N*M; i++){
 36         cout << h_A[i] << " ";
 37         if ((i+1)%N == 0) cout << endl;
 38     }
 39     cout << endl;
 40     cout << "矩陣 B :" << endl;
 41     for (int i=0; i<N*M; i++){
 42         cout << h_B[i] << " ";
 43         if ((i+1)%M == 0) cout << endl;
 44     }
 45     cout << endl;
 46     
 47     /*
 48     ** GPU 計算矩陣相乘
 49     */
 50 
 51     // 創建并初始化 CUBLAS 庫對象
 52     cublasHandle_t handle;
 53     status = cublasCreate(&handle);
 54     
 55     if (status != CUBLAS_STATUS_SUCCESS)
 56     {
 57         if (status == CUBLAS_STATUS_NOT_INITIALIZED) {
 58             cout << "CUBLAS 對象實例化出錯" << endl;
 59         }
 60         getchar ();
 61         return EXIT_FAILURE;
 62     }
 63 
 64     float *d_A, *d_B, *d_C;
 65     // 在 顯存 中為將要計算的矩陣開辟空間
 66     cudaMalloc (
 67         (void**)&d_A,    // 指向開辟的空間的指針
 68         N*M * sizeof(float)    //　需要開辟空間的字節數
 69     );
 70     cudaMalloc (
 71         (void**)&d_B,    
 72         N*M * sizeof(float)    
 73     );
 74 
 75     // 在 顯存 中為將要存放運算結果的矩陣開辟空間
 76     cudaMalloc (
 77         (void**)&d_C,
 78         M*M * sizeof(float)    
 79     );
 80 
 81     // 將矩陣數據傳遞進 顯存 中已經開辟好了的空間
 82     cublasSetVector (
 83         N*M,    // 要存入顯存的元素個數
 84         sizeof(float),    // 每個元素大小
 85         h_A,    // 主機端起始地址
 86         1,    // 連續元素之間的存儲間隔
 87         d_A,    // GPU 端起始地址
 88         1    // 連續元素之間的存儲間隔
 89     );
 90     cublasSetVector (
 91         N*M, 
 92         sizeof(float), 
 93         h_B, 
 94         1, 
 95         d_B, 
 96         1
 97     );
 98 
 99     // 同步函數
100     cudaThreadSynchronize();
101 
102     // 傳遞進矩陣相乘函數中的參數，具體含義請參考函數手冊。
103     float a=1; float b=0;
104     // 矩陣相乘。該函數必然將數組解析成列優先數組
105     cublasSgemm (
106         handle,    // blas 庫對象 
107         CUBLAS_OP_T,    // 矩陣 A 屬性參數
108         CUBLAS_OP_T,    // 矩陣 B 屬性參數
109         M,    // A, C 的行數 
110         M,    // B, C 的列數
111         N,    // A 的列數和 B 的行數
112         &a,    // 運算式的 α 值
113         d_A,    // A 在顯存中的地址
114         N,    // lda
115         d_B,    // B 在顯存中的地址
116         M,    // ldb
117         &b,    // 運算式的 β 值
118         d_C,    // C 在顯存中的地址(結果矩陣)
119         M    // ldc
120     );
121     
122     // 同步函數
123     cudaThreadSynchronize();
124 
125     // 從 顯存 中取出運算結果至 內存中去
126     cublasGetVector (
127         M*M,    //  要取出元素的個數
128         sizeof(float),    // 每個元素大小
129         d_C,    // GPU 端起始地址
130         1,    // 連續元素之間的存儲間隔
131         h_C,    // 主機端起始地址
132         1    // 連續元素之間的存儲間隔
133     );
134     
135     // 打印運算結果
136     cout << "計算結果的轉置 ( (A*B)的轉置 )：" << endl;
137 
138     for (int i=0;i<M*M; i++){
139             cout << h_C[i] << " ";
140             if ((i+1)%M == 0) cout << endl;
141     }
142     
143     // 清理掉使用過的內存
144     free (h_A);
145     free (h_B);
146     free (h_C);
147     cudaFree (d_A);
148     cudaFree (d_B);
149     cudaFree (d_C);
150 
151     // 釋放 CUBLAS 庫對象
152     cublasDestroy (handle);
153 
154     getchar();
155     
156     return 0;
157 }

運行測試

PS：矩陣元素是隨機生成的

小結

1. 使用 CUDA 庫固然方便，但也要仔細的參閱函數手冊，其中每個參數的含義都要很清晰才不容易出錯。

2. 如果程序僅使用 CUDA 庫的話，用 .cpp 源碼文件即可 (不用 .cu)

總結

以上是生活随笔為你收集整理的第四篇：使用 CUBLAS 库给矩阵运算提速的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。