MLPerf組織今天發布最新的推理基準測試（Benchmark）MLPerf Inference v0.7結果，總共有23個組織提交了結果，相比上一個版本（MLPerf Inference v0.5）的12個提交者增加了近一倍。

結果顯示，今年5月NVIDIA（Nvidia）發布的安培（Ampere）架構A100 Tensor Core GPU，在云端推理的基準測試性能是最先進Intel CPU的237倍。

MLPerf Inference V0.7部分結果截圖

最新的AI推理測試結果意味著，NVIDIA未來可能在AI推理和訓練市場都占據領導地位，給云端AI推理市場擁有優勢的Intel帶來更大壓力的同時，也將讓其他追趕者面臨更大挑戰。

與2019年的MLPerf Inference v0.5版本相比，最新的0.7版本將測試從AI研究的核心視覺和語言的5項測試，擴展了到了包括推薦系統、自然語言理解、語音識別和醫療影像應用的6項測試，并且有分別針對云端和終端推理的測試，還加入了手機和筆記本電腦的結果。

擴展的測試項從MLPerf和業界兩個角度都有積極意義。

MLPerf Inference v0.5測試項

MLPerf Inference v0.7數據中心測試項

MLPerf Inference v0.7邊緣端測試項

任何一個基準測試都需要給業界具有參考價值的指標。MLPerf基準測試是在業界缺乏對AI芯片公認的評價標準的2018年誕生，因此，MLPerf組織既需要給出各方都認可的成績，還需要根據AI行業的發展完善評價標準。

不過，AI行業發展迅速，AI模型的參數越來越多，應用的場景也越來越廣泛。評價AI芯片和系統的推理性能需要涵蓋可編程性、延遲、準確性、模型大小、吞吐量、能效等指標，也需要選擇更具指導價值的模型和應用。

此次增加的推薦系統測試對于互聯網公司意義重大。在王喆的《深度學習推薦系統》一書中提到，2019年天貓“雙11”的成交額是2684億元，假設推薦系統進行了優化，整體的轉化率提高1%，那么增加的成交額大約為26.84億元。

另外，MLPerf Inference v0.7中增加醫療影像3D U-Net模型測試與新冠大流行以及AI在醫療行業的重要性與日俱增密切相關，比如一家初創公司使用AI簡化了超聲心電圖的采集工作，在新冠大流行初期發揮了作用。

與此同時，這也將促進MLPerf組織在業界的受認可程度，從接近翻倍的提交成績的組織就能看出來。

過去幾年，云端AI訓練市場NVIDIA擁有絕對優勢，云端AI推理市場被Intel賺取了大部分利潤是事實。這讓不少人都產生了GPU更適合訓練而CPU更適合推理的認知，但MLPerf最新的推理測試結果可能會改變這一觀點。

MLPerf Inference V0.7的測試結果顯示，在數據中心OFFLINE（離線）測試模式下，賽靈思U250和IntelCooper Lake在各個測試模型下與NVIDIAT4的差距不大，但A100對比CPU、FPGA和自家的T4就有明顯的性能差距。

A100 GPU的優勢也在邊緣推理中也十分明顯。在單數據流（Singel-Stream）測試中，A100對比NVIDIAT4和面向邊緣終端的NVIDIAJetson AGX Xavier有幾倍到十幾倍的性能優勢。在多數據流（Multi-Stream）測試中，A100對比另外兩款自家產品在不同AI模型中有幾倍到二十多倍的性能優勢。

在邊緣OFFLINE模式下，A100對比T4和Jetson AGX Xavier也有幾倍到二十多倍的性能優勢。

從提交結果的合作伙伴的系統中可以看到，NVIDIAT4仍然是企業的邊緣服務器推理平臺的主要選擇。A100提升到新高度的性能意味著未來企業邊緣服務器在選擇AI推理平臺的時候，可以從T4升級到A100，對于功耗受限的設備，可以選擇Jeston系列產品。

特別值得注意的是，NVIDIA GPU首次在公有云中實現了超越CPU的AI推理能力。

五年前，只有少數領先的高科技公司使用GPU進行推理。如今，NVIDIAGPU首次在公有云市場實現超越CPU的AI推理能力，或許意味著AI推理市場臨界點的到來。NVIDIA還預測，基于其GPU的總體云端AI推理計算能力每兩年增長約10倍，增長速度高于CPU。

另外，NVIDIA還強調基于A100高性能系統的成本效益。NVIDIA表示，一套DGX A100系統可以提供相當于近1000臺雙插槽CPU服務器的性能，能為客戶AI推薦系統模型從研發走向生產的過程，具有極高的成本效益。

同時，NVIDIA也在不斷優化推理軟件堆棧，進一步提升在推理市場的競爭力。

最先感受到影響的會是Intel，但在云端AI推理市場體現出顯著變化至少需要幾年時間，因為企業在更換平臺的時候會更加謹慎，生態的護城河此時也更能體現出價值。

但無論如何，我們都看到NVIDIA在AI市場的強勢地位。雷鋒網七月底報道，在MLPerf發布的MLPerf Training v0.7基準測試中，A100 Tensor Core GPU，和HDR InfiniBand實現多個DGX A100 系統互聯的龐大集群DGX SuperPOD系統在性能上開創了八個全新里程碑，共打破16項紀錄。

NVIDIA將其在云端訓練市場的優勢進一步拓展到云端和邊緣推理市場符合AI未來的發展趨勢。有預測指出，隨著AI模型的成熟，市場對云端AI訓練需求的增速將會降低，云端AI推理的市場規模將會迅速增加，并有望在2022年超過訓練市場。

另據市場咨詢公司ABI Research的數據，預計到2025年，邊緣AI芯片市場收入將達到122億美元，云端AI芯片市場收入將達到119億美元，邊緣AI芯片市場將超過云端AI芯片市場。

憑借強大的軟硬件生態系統，NVIDIA和Intel依舊會是AI市場的重要玩家，只是隨著他們競爭力的不斷提升，其他參與AI市場競爭的AI芯片公司們面臨的壓力也隨之增加。

總結

以上是生活随笔為你收集整理的时代变了！NVIDIA A100 GPU推理性能237倍碾压CPU的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。