TensorRT 數據格式說明
NVIDIA ? TensorRT?支持不同的數據格式。需要考慮兩個方面：數據類型和布局。
數據類型格式
數據類型是每個單獨值的表示。它的大小決定了數值的范圍和表示的精度；分別是FP32（32位浮點或單精度），FP16（16位浮點或半精度），INT32（32位整數表示）和INT8（8位表示）。
布局格式
布局格式決定了存儲值的順序。通常，批次維度是最左側的維度，其它維度指的是每個數據項的各個方面，例如C 是頻道 H 是高度，并且 w ^是寬度（以圖片為單位）。總是忽略在這些之前的批量大小，C， H和 w ^ 通常依據以下示意圖中。


定義了更多格式，以將通道值打包在一起并降低精度。因此，TensorRT也支持格式 NC/2HW2 和 NHWC8。
在 NC/2HW2，每對通道值打包在一起 高寬矩陣（在奇數通道的情況下為空值）。結果是一種格式，其中的值 ?C/2?高寬矩陣是兩個連續通道的值對。
This ordering interleaves dimensions as values of channels that have stride 1 if they are in the same pair and stride 2xHxW otherwise.

在 NHWC8， HxW矩陣包含所有通道的值。此外，這些值打包在一起?C/8? 8元組里， C 四舍五入到最接近的8的倍數。

總結

以上是生活随笔為你收集整理的TensorRT 数据格式说明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。