深度學習端上部署工具

模型	公司	通用性別	說明
tf-lite	tensorflow，開源	通用性最強，與 tensorflow 適配完美，不過性能一般 支持CPU和GPU	roadmap 中預計年底將實現對全系列rnn以及control flow的支持，值得期待！
TensorRT	nvidia，閉源	支持CPU和GPU	僅支持nvidia gpu系列產品推理，平臺的限定使得無法推廣到一般的移動端設備使用
OpenCV
mnn	阿里巴巴，開源	踩在巨人的肩膀上進行研發，起點高，端上性能強悍，據說性能強于ncnn	吸取了最近兩年開源的移動端推理框架的各種優秀成果 針對conv3x3s1優化的winograd； 針對網絡圖的優化以及層間數據復用； 為提高訪存效率，加入nchw4策略； 支持int8低比特網絡模型壓縮及加速； 硬件支持： cpu：為追求速度的極限，使用純匯編實現了arm32、arm64兩種版本的kernel； gpu：支持metal、opencl、opengl、vulkan，全覆蓋目前主流移動終端版本gpu，特別是對次時代框架vulkan的支持
TNN	騰訊，開源	支持CPU和GPU
ncnn	騰訊，開源	大量手寫匯編級別優化，移動端性能強悍 支持CPU和GPU
bolt	華為，開源	支持CPU和GPU	官方數據中給出了端設備上bert的推理性能數據
mace	小米，開源
paddle-lite	百度，開源
pytorch-mobile	facebook，開源
caffe2	facebook，開源
tvm	陳天奇團隊，開源

超強干貨來襲 云風專訪：近40年碼齡，通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的深度学习端上部署工具的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。