---

? 視學(xué)算法報(bào)道??

編輯：武穆

【導(dǎo)讀】NVIDIA H100 Tensor Core GPU在MLPerf行業(yè)標(biāo)準(zhǔn)AI基準(zhǔn)測(cè)試中首次亮相，創(chuàng)下了所有工作負(fù)載推理的世界紀(jì)錄，提供的性能比上一代GPU高4.5 倍。

不久前，英偉達(dá)公布了旗下的芯片，在MLPerf行業(yè)標(biāo)準(zhǔn)AI基準(zhǔn)測(cè)試的結(jié)果。

根據(jù)英偉達(dá)的說(shuō)法，H100（又名 Hopper），提高了所有六個(gè)神經(jīng)網(wǎng)絡(luò)在每個(gè)加速器上的表現(xiàn)標(biāo)準(zhǔn)，比上一代的A100，性能高了4.5倍，創(chuàng)造了所有工作負(fù)載推斷的世界紀(jì)錄。

所謂的推理，不同于機(jī)器學(xué)習(xí) (ML)。

機(jī)器學(xué)習(xí)是創(chuàng)建訓(xùn)練模型并讓系統(tǒng)「學(xué)習(xí)」的，而推理是用于在一系列數(shù)據(jù)點(diǎn)上運(yùn)行學(xué)習(xí)模型，并獲得結(jié)果。

英偉達(dá)認(rèn)為，這個(gè)測(cè)試結(jié)果確立了H100在單獨(dú)服務(wù)器和離線場(chǎng)景下的吞吐量和速度方面的領(lǐng)先地位，如果用戶想要最高性能的高級(jí)AI模型，H100是首選。

英偉達(dá)為何看重MLPerf測(cè)試的結(jié)果

MLPerf是一個(gè)行業(yè)標(biāo)準(zhǔn)基準(zhǔn)系列，由圖靈獎(jiǎng)得主大衛(wèi)·帕特森（David Patterson）聯(lián)合谷歌、英偉達(dá) 、英特爾、Meta、浪潮等全球AI領(lǐng)軍企業(yè)，以及來(lái)自哈佛大學(xué)、斯坦福大學(xué)等學(xué)術(shù)機(jī)構(gòu)的研究人員創(chuàng)立。

MLPerf可為各種工作負(fù)載建模，包括自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像分類、醫(yī)學(xué)成像和物體檢測(cè)等項(xiàng)目。

該基準(zhǔn)測(cè)試很有用，因?yàn)樗梢钥缭綇母叨藬?shù)據(jù)中心和云的機(jī)器到小規(guī)模的邊緣計(jì)算系統(tǒng)，并且可以為各個(gè)供應(yīng)商的產(chǎn)品提供一致的基準(zhǔn)測(cè)試，哪怕并非所有子測(cè)試中的基準(zhǔn)測(cè)試都由所有測(cè)試人員運(yùn)行。

它還可以創(chuàng)建用于運(yùn)行離線、單流或多流測(cè)試的場(chǎng)景，這些測(cè)試創(chuàng)建一系列 AI 功能來(lái)模擬完整工作流管道的真實(shí)示例（例如，語(yǔ)音識(shí)別、自然語(yǔ)言處理、搜索和推薦、文本轉(zhuǎn)語(yǔ)音等）。

雖然許多廠商認(rèn)為只運(yùn)行部分測(cè)試(ResNet是最常見的)的結(jié)果，是芯片性能的有效指標(biāo)，比完整的MLPerf更適用。

比如，在上面的圖表中也能看到，許多被比較的芯片在MLPerf的其他組件中沒(méi)有測(cè)試結(jié)果，因?yàn)閺S商根本不打算測(cè)。

但MLPerf測(cè)試依然被業(yè)界廣泛接受，如果能在MLPerf測(cè)試中取得不錯(cuò)的成績(jī)，很少有人會(huì)質(zhì)疑結(jié)果的準(zhǔn)確性和權(quán)威性。

英偉達(dá)在市場(chǎng)上還處于領(lǐng)先地位嗎？

此次，對(duì)于在MLPerf測(cè)試中取得的結(jié)果，英偉達(dá)還是比較滿意的。

這意味著，很可能在今年年底之前，英偉達(dá)就會(huì)首次公開演示H100 GPU。

而且，H100 GPU將參與未來(lái)的MLPerf輪次進(jìn)行訓(xùn)練。

H100能取得如此不俗的表現(xiàn)，部分要?dú)w功于英偉達(dá)的Transformer Engine。

Transformer Engine使用軟件和定制的NVIDIA Hopper Tensor Core技術(shù)，旨在加速對(duì)由流行的AI模型構(gòu)建塊變壓器構(gòu)建的模型的訓(xùn)練。

這些張量核心可以應(yīng)用混合的FP8和FP16格式，以顯著加速變壓器的AI計(jì)算，這種加速有時(shí)是數(shù)量級(jí)的提升，從而最適合手頭的任務(wù)。

Transformer Engine這樣的工具，帶來(lái)的優(yōu)勢(shì)是顯而易見的：開發(fā)人員能夠?qū)Ｗ⒂诮鉀Q方案，而不是試圖為沒(méi)有相應(yīng)平臺(tái)的系統(tǒng)進(jìn)行低級(jí)硬件和相關(guān)代碼優(yōu)化。

更重要的是，Transformer Engine這樣的工具，體現(xiàn)了英偉達(dá)的真正優(yōu)勢(shì)——平臺(tái)方法。

英偉達(dá)的許多競(jìng)爭(zhēng)對(duì)手，雖然能為市場(chǎng)提供芯片或系統(tǒng)，但英偉達(dá)已經(jīng)建立了一個(gè)強(qiáng)大的生態(tài)系統(tǒng)，包括芯片，相關(guān)硬件以及針對(duì)其芯片和系統(tǒng)優(yōu)化的完全穩(wěn)定的軟件和開發(fā)系統(tǒng)。

用英偉達(dá)方面的話說(shuō)，本輪MLPerf測(cè)試上，有70多份參賽作品在NVIDIA平臺(tái)上運(yùn)行，例如，Microsoft Azure提交了在其云服務(wù)上運(yùn)行NVIDIA AI的結(jié)果。

這表明，NVIDIA AI得到了業(yè)界最廣泛的機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)的支持。

事實(shí)上，英偉達(dá)的競(jìng)爭(zhēng)對(duì)手英特爾以及高通都強(qiáng)調(diào)了平臺(tái)方法。

而初創(chuàng)公司通常只支持開源選項(xiàng)，這些選項(xiàng)可能與主要供應(yīng)商提供的功能水平不同。

此外，英偉達(dá)還針對(duì)特定細(xì)分市場(chǎng)優(yōu)化了框架，為解決方案提供商提供了一個(gè)有價(jià)值的起點(diǎn)，使解決方案提供商能夠以更少的工作量實(shí)現(xiàn)更快的上市時(shí)間。

而初創(chuàng)AI芯片供應(yīng)商無(wú)法提供這種級(jí)別的資源。

當(dāng)然，英偉達(dá)并非沒(méi)有弱點(diǎn)。

比如，雖然英偉達(dá)展示了其芯片與標(biāo)準(zhǔn)英特爾x86處理器的比較，但它沒(méi)有與英特爾新的Habana Gaudi 2芯片進(jìn)行比較。

而Habana Gaudi 2芯片可能會(huì)顯示出高水平的人工智能計(jì)算能力，可以接近或超過(guò)一些英偉達(dá)產(chǎn)品。

另外，英偉達(dá)可能不是所有細(xì)分市場(chǎng)的NO.1，特別是在低功耗細(xì)分市場(chǎng)，像高通這樣的公司可能具有優(yōu)勢(shì)。

不過(guò)，盡管如此，由于英偉達(dá)仍然提供最廣泛的產(chǎn)品系列，其對(duì)完整平臺(tái)生態(tài)系統(tǒng)的重視，使其在人工智能競(jìng)賽中處于領(lǐng)先地位，并且競(jìng)爭(zhēng)對(duì)手很難輕易取代。

參考資料：

https://venturebeat.com/ai/what-nvidias-new-mlperf-ai-benchmark-results-really-mean/?

https://blogs.nvidia.com/blog/2022/09/08/hopper-mlperf-inference/

點(diǎn)個(gè)在看 paper不斷！

總結(jié)

以上是生活随笔為你收集整理的比A100性能高4.5倍！英伟达H100横扫AI推理基准测试的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。