TensorRT原理圖示
NVIDIA的核心? TensorRT?是有助于在NVIDIA圖形處理單元（GPU）的高性能推理一個C ++庫。它旨在與TensorFlow，Caffe，PyTorch，MXNet等訓練框架以互補的方式工作。它專門致力于在GPU上快速有效地運行已經受過訓練的網絡，以生成結果（過程稱為評分，檢測，回歸或推斷）。
一些訓練框架（例如TensorFlow）已經集成了TensorRT，因此可以將其用于加速框架內的推理。另外， TensorRT可以用作用戶應用程序中的庫。它包括用于從Caffe，ONNX或TensorFlow導入現有模型的解析器，以及用于以編程方式構建模型的C ++和Python API。
TensorRT是用于生產部署的高性能神經網絡推理優化器和運行時引擎。

總結

以上是生活随笔為你收集整理的TensorRT原理图示的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。