譯者 | 核子可樂(lè)編輯 | Debra、VincentAI 前線導(dǎo)讀：在斯坦福大學(xué)建立的項(xiàng)目 DAWNBench 競(jìng)賽中，CIFAR10 與 ImageNet 的表現(xiàn)引起了人們的關(guān)注，在目標(biāo)基本一致的前提下，兩者的準(zhǔn)確度分別達(dá) 94% 和 93%，在成本和速度上均有亮眼的表現(xiàn)，其中 ImageNet 訓(xùn)練成本低至 25 美元，CIFAR10 訓(xùn)練成本僅為 0.26 美元！它們是如何做到這一點(diǎn)的？競(jìng)賽中還有哪些讓人意外的發(fā)現(xiàn)呢？

更多干貨內(nèi)容請(qǐng)關(guān)注微信公眾號(hào)“AI 前線”，（ID：ai-front）基準(zhǔn)測(cè)試結(jié)果

DAWNBench 是斯坦福大學(xué)建立的項(xiàng)目，旨在以競(jìng)賽形式對(duì)不同深度學(xué)習(xí)方法加以比較。在 Dawnbench 競(jìng)賽當(dāng)中，CIFAR10 與 ImageNet 的表現(xiàn)引起了我們的關(guān)注。二者的目標(biāo)基本一致，在保證相對(duì)合理準(zhǔn)確度（ImageNet 為 93%，CIFAR 為 94%）的同時(shí)盡可能提高圖像分類(lèi)器執(zhí)行速度并降低運(yùn)行成本。

在 CIFAR 10 測(cè)試當(dāng)中，我們的參賽作品在兩個(gè)方向上勝出，分別為速度最快與成本最低。來(lái)自 DARPA D3M 項(xiàng)目的獨(dú)行俠 Ben Johnson 在這兩個(gè)方向上皆取得亞軍成績(jī)。而在 ImageNet 測(cè)試當(dāng)中，我們的結(jié)果是：

• 在公有基礎(chǔ)設(shè)施上速度最快、在 GPU 上速度最快、在單一計(jì)算機(jī)上速度最快（甚至超過(guò)英特爾利用 128 臺(tái)計(jì)算機(jī)建立的集群！）

• 成本最低（不過(guò) DAWNBench 官方公布的結(jié)果并非我們的實(shí)際成本，下面將對(duì)此作出具體解釋）。

總體而言，我們的結(jié)論是：

• 算法創(chuàng)造力比裸機(jī)性能更重要。

• 由 Facebook AI Research 與協(xié)作者團(tuán)隊(duì)開(kāi)發(fā)出的 Pytorch 能夠提供快速迭代與調(diào)試能力，從而支持這種創(chuàng)造力。

• AWS 競(jìng)價(jià)實(shí)例是快速經(jīng)濟(jì)運(yùn)行實(shí)驗(yàn)性負(fù)載的絕佳平臺(tái)。

在本篇文章中，我們將討論在每輪測(cè)試競(jìng)賽中使用的具體方法。這里提及的所有方法已經(jīng)或者正在被合并至 fast.ai 庫(kù)當(dāng)中。

超級(jí)收斂

fast.ai 作為研究實(shí)驗(yàn)室，致力于通過(guò)教育與開(kāi)發(fā)更易使用的軟件方案降低深度學(xué)習(xí)入門(mén)門(mén)檻，從而簡(jiǎn)化用戶的學(xué)習(xí)流程。在我們看來(lái)，擁有最新計(jì)算機(jī)設(shè)備或大規(guī)模計(jì)算集群不是也不應(yīng)成為涉足深度學(xué)習(xí)的必要條件。相反，對(duì)現(xiàn)代技術(shù)與最新研究成果加以利用，同時(shí)清楚了解當(dāng)前需要努力解決的問(wèn)題才是其中的關(guān)鍵。作為這項(xiàng)研究的重要組成部分，我們最近開(kāi)發(fā)出一套新的庫(kù)，用于訓(xùn)練 基于 Pytorch 的深度學(xué)習(xí)模型——這就是 fastai。

隨著時(shí)間的推移，我們已經(jīng)將眾多可能未在社區(qū)當(dāng)中得到應(yīng)有重視的研究論文當(dāng)中的算法引入 fastai。具體來(lái)講，我們發(fā)現(xiàn)當(dāng)前深度學(xué)習(xí)社區(qū)過(guò)分強(qiáng)調(diào)斯坦福大學(xué)、DeepMind 以及 OpenAI 等高知名度組織公布的研究結(jié)果，但卻忽略了其它同樣具有重要價(jià)值但卻知名度較低的學(xué)術(shù)來(lái)源。來(lái)自海軍研究實(shí)驗(yàn)室的 Leslie Smith 就是其中一例，他最近發(fā)現(xiàn)了一種所謂“超級(jí)收斂”的重要現(xiàn)象。他解釋稱，這種現(xiàn)象可能帶來(lái)相當(dāng)于原有已知方法 5 到 10 倍的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度，進(jìn)而給整個(gè)領(lǐng)域帶來(lái)革命性的變化。然而，他的論文并未被學(xué)術(shù)出版機(jī)構(gòu)所接受，因此無(wú)法出現(xiàn)在任何主流軟件方案當(dāng)中。

在對(duì)這篇論文進(jìn)行課上討論的 24 小時(shí)之內(nèi)，fast.ai 學(xué)生 Sylvain Gugger 就已經(jīng)完成了該方法的具體實(shí)現(xiàn)——即將其納入 fastai 當(dāng)中。他還開(kāi)發(fā)出一份交互式筆記，用以展示如何嘗試其它相關(guān)方法。從本質(zhì)上講，Smith 的案例表明，如果在訓(xùn)練期間緩慢提高學(xué)習(xí)率，同時(shí)降低動(dòng)量，則可以極高的學(xué)習(xí)率完成訓(xùn)練——這意味著我們將能夠避免過(guò)度訓(xùn)練，并將訓(xùn)練時(shí)長(zhǎng)壓縮至極低水平。

超級(jí)收斂理論中的學(xué)習(xí)率與動(dòng)量模式

這種新的算法思維轉(zhuǎn)變正是 Pytorch 與 fastai 的亮點(diǎn)所在。Pytorch 支持交互式調(diào)試以及對(duì)標(biāo)準(zhǔn) Python 編碼方法的使用 ; 而 fastai 則提供多種構(gòu)建塊與鉤子（在本示例中體現(xiàn)為回調(diào)，其允許實(shí)現(xiàn)定制化訓(xùn)練，并利用 fastai.sqdr 建立新的學(xué)習(xí)率退火方法）。Pytorch 的張量庫(kù)與 CUDA 則允許用戶以探索方式快速嘗試新算法的實(shí)現(xiàn)。

我們已經(jīng)建立起一支非正式深度學(xué)習(xí)研究小組（任何人皆可免費(fèi)參加），大家在日常課程當(dāng)中共同參與項(xiàng)目。我們希望通過(guò)編碼方式驗(yàn)證 Smith 的結(jié)論是否像他宣稱的那樣有效。再加上斯坦福大學(xué)正在舉辦 DAWNBench 競(jìng)賽 ，我們認(rèn)為這絕對(duì)是測(cè)試其實(shí)際效果的好機(jī)會(huì)。但在決定參加時(shí)，距離競(jìng)賽開(kāi)始已經(jīng)只剩下 10 天時(shí)間——形勢(shì)相當(dāng)緊迫！

我們的深度學(xué)習(xí)研究小組

CIFAR 10

CIFAR 10 與 ImageNet 都屬于圖像識(shí)別類(lèi)任務(wù)。舉例來(lái)說(shuō)，假設(shè)我們擁有一組貓與狗的照片，而且打算構(gòu)建一款工具對(duì)其進(jìn)行自動(dòng)區(qū)分。我們首先需要建立一套模型，而后利用大量照片對(duì)其進(jìn)行訓(xùn)練，這樣其就能自動(dòng)分類(lèi)未見(jiàn)過(guò)的貓與狗照片。接下來(lái)，我們可以利用這套模型處理規(guī)模更大的數(shù)據(jù)集——例如 CIFAR，這是一套照片集合，每張照片都包含貓、狗以及其它數(shù)十種動(dòng)物 / 載具對(duì)象（例如青蛙與飛機(jī)）。這些圖片比較小巧（32 像素 x32 像素），因此整體數(shù)據(jù)集也比較袖珍（僅為 160 MB）且易于處理。目前，這套數(shù)據(jù)集受到的重視程度并不高，因?yàn)槠湓隗w量上遠(yuǎn)遠(yuǎn)不及當(dāng)下比較流行的大規(guī)模數(shù)據(jù)集。然而，其中的數(shù)據(jù)量很能體現(xiàn)各類(lèi)組織所面臨的實(shí)際情況，而較小的圖片尺寸既帶來(lái)識(shí)別挑戰(zhàn)同時(shí)也降低了訪問(wèn)門(mén)檻。

在決定參加比賽時(shí)，當(dāng)時(shí)的領(lǐng)先算法在一個(gè)多小時(shí)內(nèi)即可達(dá)到 94% 的準(zhǔn)確率。然而我們很快發(fā)現(xiàn)，我們?cè)诔?jí)收斂理論的指導(dǎo)下只需要約 15 分鐘就能訓(xùn)練出一套 Resnet 50 模型——這無(wú)疑是個(gè)激動(dòng)人心的時(shí)刻！在此之后，我們還嘗試了其它一些架構(gòu)，并發(fā)現(xiàn) Resnet 18（實(shí)際上是 Resnet 18 的一套預(yù)激活變體）在 10 分鐘內(nèi)即達(dá)到了相同的結(jié)果。我們?cè)谡n堂上進(jìn)行了討論，而 Ben Johnson 獨(dú)自對(duì)該方法進(jìn)行深入開(kāi)發(fā)。他在 fast.ai 當(dāng)中添加了一種名為“concat pooling”（用于將網(wǎng)絡(luò)中倒數(shù)第二層內(nèi)的最大池與平均池連接起來(lái)）的方法，并成功在單英偉達(dá) GPU 之上實(shí)現(xiàn)了 6 分鐘模型訓(xùn)練紀(jì)錄。

在研究小組當(dāng)中，我們決定專注于多 GPU 訓(xùn)練方向，以便在單一計(jì)算機(jī)上獲得最快的訓(xùn)練結(jié)果。總體來(lái)講，我們認(rèn)為在多臺(tái)機(jī)器上訓(xùn)練模型會(huì)增加工程技術(shù)與系統(tǒng)管理工作的復(fù)雜性。為了盡可能避免這種復(fù)雜性，我們努力在單一計(jì)算機(jī)上提升方法效能。在這里，我們使用一套名為 NCCL 的庫(kù)，其能夠與 Pytorch 配合使用，旨在以最低管理成本利用多個(gè) GPU。

大多數(shù)與多 GPU 訓(xùn)練相關(guān)的論文與討論都側(cè)重于關(guān)注每秒運(yùn)算次數(shù)，而非網(wǎng)絡(luò)訓(xùn)練的實(shí)際時(shí)間周期。我們發(fā)現(xiàn)，在多個(gè) GPU 上進(jìn)行訓(xùn)練時(shí)，我們的架構(gòu)表現(xiàn)出了截然不同的特性。很明顯，研究界還需要投入更多精力以真正理解如何立足多個(gè) GPU 在實(shí)踐當(dāng)中獲得更好的端到端訓(xùn)練結(jié)果。舉例來(lái)說(shuō)，我們發(fā)現(xiàn)在單一 GPU 上運(yùn)行良好的訓(xùn)練設(shè)置，往往會(huì)在多 GPU 環(huán)境下出現(xiàn)梯度爆炸。我們參考了以往學(xué)術(shù)論文中的相關(guān)建議，并得出了一些合理的結(jié)論——但必須承認(rèn)，我們還遠(yuǎn)沒(méi)有利用到計(jì)算機(jī)的全部資源。

最后，我們發(fā)現(xiàn)要真正利用計(jì)算機(jī)上的 8 塊 GPU，我們實(shí)際上需要在每個(gè)批次當(dāng)中引入更多任務(wù)量——也就是說(shuō)，我們?cè)黾恿烁鱾€(gè)層中的激活次數(shù)。在這里，我們?cè)俅尾捎昧嗽獾胶雎缘膶W(xué)術(shù)成果：巴黎大學(xué)橋梁學(xué)院發(fā)表的《Wide Residual Networks》論文，其中對(duì)建立殘差網(wǎng)絡(luò)的不同方法作出了廣泛分析，同時(shí)討論了此類(lèi)架構(gòu)當(dāng)中所必需的各類(lèi)構(gòu)建元素。

我們的另一位研究小組成員 Brett Koonce 開(kāi)始利用各類(lèi)不同參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)，希望發(fā)現(xiàn)最具實(shí)效的組合。我們最終為 resnet-34 架構(gòu)創(chuàng)建了一套“寬化”版本。配合 Brett 精心挑選的超參數(shù)，其能夠在 3 分鐘訓(xùn)練周期之內(nèi)立足多 GPU 環(huán)境實(shí)現(xiàn) 94% 的準(zhǔn)確度！

AWS 與競(jìng)價(jià)實(shí)例

這里要感謝 AWS 的幫助。我們希望以并行方式運(yùn)行多個(gè)實(shí)驗(yàn)，同時(shí)盡可能壓縮實(shí)驗(yàn)成本。為此，研究小組成員 Andrew Shaw 構(gòu)建出一套 Python 庫(kù)，其負(fù)責(zé)自動(dòng)啟動(dòng)競(jìng)價(jià)實(shí)例、對(duì)其進(jìn)行設(shè)置、訓(xùn)練模型、保存結(jié)果，最后關(guān)閉該實(shí)例。Andrew 甚至完成了訓(xùn)練設(shè)置，使得訓(xùn)練過(guò)程亦可自動(dòng)化實(shí)現(xiàn)，以確保所有訓(xùn)練皆可在 tmux 會(huì)話中發(fā)生。如此一來(lái)，我們將能夠隨時(shí)登錄任意實(shí)例并查看當(dāng)前訓(xùn)練進(jìn)度。

根據(jù)此次競(jìng)賽中的經(jīng)驗(yàn)，我們的建議是，對(duì)于大多數(shù)數(shù)據(jù)科學(xué)家而言，AWS 競(jìng)價(jià)實(shí)例無(wú)疑是進(jìn)行大規(guī)模模型訓(xùn)練或大量模型訓(xùn)練場(chǎng)景下的最佳選擇。其使用成本通常僅為按需實(shí)例成本的三分之一。遺憾的是，DAWNBench 公布的官方結(jié)果并沒(méi)有報(bào)告實(shí)際訓(xùn)練成本，而僅提供了基于按需實(shí)例的假設(shè)成本。我們對(duì)這種作法表示質(zhì)疑，因?yàn)樵趯?shí)踐當(dāng)中，競(jìng)價(jià)實(shí)例的價(jià)格通常非常穩(wěn)定，而且相當(dāng)適合用于模型訓(xùn)練這類(lèi)工作負(fù)載。

從本次競(jìng)賽的結(jié)果來(lái)看，谷歌的 TPU 實(shí)例（目前處于 beta 測(cè)試階段）可能也是個(gè)不錯(cuò)的選擇。但需要強(qiáng)調(diào)的是，使用 TPU 則意味著大家必須接受以下限制條件：

• 使用谷歌硬件（TPU）。

• 使用谷歌軟件 (Tensorflow)。

• 使用谷歌云平臺(tái) (GCP)。

更麻煩的是，TPU 不具備直接編碼能力，這嚴(yán)重限制了算法的創(chuàng)造性（正如我們之前所提到，創(chuàng)造力實(shí)際上直接決定著最終性能表現(xiàn)）。考慮到 TPU 上有限的神經(jīng)網(wǎng)絡(luò)與算法支持范圍（例如不支持卷積神經(jīng)網(wǎng)絡(luò)，而這對(duì)于包括谷歌自己的語(yǔ)言翻譯系統(tǒng)等具體應(yīng)用非常重要），選擇谷歌平臺(tái)將嚴(yán)重影響我們所能解決的具體問(wèn)題以及可以選擇的解決方式。

在另一方面，AWS 則允許我們運(yùn)行任何軟件、架構(gòu)與算法，而后獲取代碼結(jié)果并在自己的計(jì)算機(jī)或其它云平臺(tái)上加以運(yùn)行。此外，競(jìng)價(jià)實(shí)例的存在也意味著我們能夠享受到遠(yuǎn)低于谷歌云平臺(tái)的使用成本（谷歌目前也在測(cè)試類(lèi)似的‘競(jìng)拍實(shí)例’，但其似乎并不支持 TPU，并會(huì)以 24 小時(shí)為周期清理工作負(fù)載內(nèi)容）。

對(duì)于單一 GPU 訓(xùn)練方法來(lái)說(shuō)，另一個(gè)理想選項(xiàng)是 Paperspace——也就是我們?cè)谛抡n程當(dāng)中使用的平臺(tái)。其設(shè)置過(guò)程要比 AWS 實(shí)例復(fù)雜得多，而且預(yù)安裝有完整的 fastai 架構(gòu)。此外，其功能豐富性與靈活性也無(wú)法與 AWS 相提并論。其成本水平介于 AWS 競(jìng)價(jià)實(shí)例與按需實(shí)例之間。我們正是利用 Paperspace 實(shí)例在此次競(jìng)賽的成本測(cè)試單元中勝出——具體價(jià)格僅為 0.26 美元。

半精度運(yùn)算

實(shí)現(xiàn)快速訓(xùn)練的另一個(gè)關(guān)鍵，在于使用半精度浮點(diǎn)運(yùn)算。英偉達(dá)最新推出的 Volta 架構(gòu)包含張量核心，其專門(mén)用于處理半精度浮點(diǎn)數(shù)據(jù)。然而，利用這類(lèi)數(shù)據(jù)進(jìn)行訓(xùn)練一直是個(gè)復(fù)雜的難題，而且目前還很少有成功利用此類(lèi)數(shù)據(jù)完成模型訓(xùn)練的案例。英偉達(dá)方面非常友好地提供利用半精度浮點(diǎn)數(shù)據(jù)進(jìn)行 ImageNet 訓(xùn)練的開(kāi)源演示，而 Andrew Shaw 則將其中的指導(dǎo)思想納入到 fastai 當(dāng)中。目前，我們只需要在代碼當(dāng)中寫(xiě)下 learn.half()，即可坐等系統(tǒng)自動(dòng)執(zhí)行所有必要步驟，從而快速準(zhǔn)確地利用半精度浮點(diǎn)運(yùn)算完成模型訓(xùn)練。

ImageNet

相較于 CIFAR 10，ImageNet 就像是同一個(gè)問(wèn)題的不同版本 ; 區(qū)別在于后者的圖像尺寸更大（224 像素，160 GB）且包含的類(lèi)別更多（1000 種）。Smith 在他的論文當(dāng)中展示了 ImageNet 的超級(jí)收斂實(shí)現(xiàn)方法，但其最終準(zhǔn)確度低于原有訓(xùn)練方法。我們也遇到了同樣的問(wèn)題，即在以高學(xué)習(xí)率進(jìn)行訓(xùn)練時(shí)，模型無(wú)法達(dá)到 93% 的準(zhǔn)確度要求。

為此，我們轉(zhuǎn)而使用 fast.ai 開(kāi)發(fā)的另一種方法——即漸進(jìn)式尺寸調(diào)整。這種技術(shù)的變化已經(jīng)在此前的學(xué)術(shù)文獻(xiàn)（GAN 與強(qiáng)化深層殘差網(wǎng)絡(luò)的漸進(jìn)式增長(zhǎng)）當(dāng)中有所體現(xiàn)，但我們還從未利用其進(jìn)行過(guò)圖像分類(lèi)。這項(xiàng)技術(shù)的原理非常簡(jiǎn)單：在訓(xùn)練開(kāi)始時(shí)先從較小的圖像起步，并隨訓(xùn)練的繼續(xù)逐漸增加圖像大小。從直覺(jué)角度講，人類(lèi)不需要較大的圖像就能了解貓與狗的體貌特征 ; 但如果想深入了解不同狗只之間的差異時(shí)，圖像越大明顯學(xué)習(xí)效果更好。

很多人錯(cuò)誤地認(rèn)為，立足一種圖像尺寸訓(xùn)練而成的模型無(wú)法適應(yīng)其它圖像尺寸。沒(méi)錯(cuò)，2013 年的 VGG 架構(gòu)確實(shí)只能處理特定尺寸的圖像，但如今情況早已發(fā)生變化。問(wèn)題在于，很多網(wǎng)絡(luò)會(huì)在末端錯(cuò)誤地使用固定尺寸的池化層，而未能使用全局 / 自適應(yīng)池化層。舉例來(lái)說(shuō)，官方 Pytorch torchvision 模型就沒(méi)有正確使用自適應(yīng)池化層。正因?yàn)槿绱?#xff0c;fastai 與 keras 這類(lèi)庫(kù)就顯得非常重要——這些庫(kù)致力于確保即插即用能力，同時(shí)盡可能納入所有相關(guān)最佳實(shí)踐。很明顯，Pytorch 與 TensorFlow 等項(xiàng)目的開(kāi)發(fā)者們更關(guān)注底層基礎(chǔ)，而非最終用戶體驗(yàn)。

通過(guò)使用漸進(jìn)式尺寸調(diào)整，我們能夠顯著提升初始階段的訓(xùn)練速度（因?yàn)榇藭r(shí)使用 128 x 128 像素圖像，而非通常的 224 x 224 像素圖像），同時(shí)也令最終階段的準(zhǔn)確度保持合理（利用 288 x 288 像素圖像獲得更高準(zhǔn)確度）。除了良好的準(zhǔn)確度之外，這種方法還帶來(lái)了理想的性能表現(xiàn) ; 而憑借著更為廣泛的圖像素材尺寸，模型本身也能夠更好地解決過(guò)度擬合問(wèn)題。

關(guān)于創(chuàng)新與創(chuàng)造力

我在機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)擁有 25 年的從業(yè)歷程，我發(fā)現(xiàn)工程師們特別喜歡在自己能找到的最強(qiáng)勁的計(jì)算設(shè)備上運(yùn)行規(guī)模最大的數(shù)據(jù)集，而各類(lèi)媒體也喜歡報(bào)道一切“最大”的事物。但事實(shí)上，真正的進(jìn)步并非來(lái)源于此——差異性遠(yuǎn)比規(guī)模重要得多。舉例來(lái)說(shuō)，dropout 允許我們?cè)谳^小的數(shù)據(jù)集上進(jìn)行訓(xùn)練且避免過(guò)度擬合，批量標(biāo)準(zhǔn)化讓我們更快完成訓(xùn)練，而修正線性單元?jiǎng)t能夠避免在訓(xùn)練期間出現(xiàn)梯度爆炸。有追求的研究人員們會(huì)考慮采取不同的處理措施，希望幫助我們更快地訓(xùn)練出更好的網(wǎng)絡(luò)模型。

在與身處谷歌、OpenAI 以及其它實(shí)力雄厚機(jī)構(gòu)的朋友們進(jìn)行交流時(shí)，我一直擔(dān)心他們輕松獲取大量資源的優(yōu)勢(shì)反而會(huì)扼殺其創(chuàng)造力。既然資源幾乎無(wú)窮無(wú)盡，我們還有什么理由進(jìn)行琢磨與考量？同樣需要強(qiáng)調(diào)的是，在這些機(jī)構(gòu)之外，資源也往往相當(dāng)稀缺，因此以資源無(wú)限為前提形成的思維習(xí)慣將無(wú)法給用戶真正帶來(lái)幫助。而更可怕的是，目前幾乎沒(méi)有多少研究人員真正意識(shí)到這個(gè)問(wèn)題的存在。

更糟糕的是，交流當(dāng)中這些朋友往往表示他們并不能真正獲得如此可觀的資源，因此他們也就放棄了前沿研究。在他們看來(lái)，似乎沒(méi)有大量 GPU 與 CPU 的支持，他們將永遠(yuǎn)無(wú)法完成任何有價(jià)值的工作。在我看來(lái)，這個(gè)結(jié)論是完全錯(cuò)誤的：卓越的實(shí)驗(yàn)者加較差的設(shè)備，在研究成果上仍將遠(yuǎn)超卓越的設(shè)備加上較差的實(shí)驗(yàn)者。

我們很幸運(yùn)，因?yàn)橄?Pytorch 團(tuán)隊(duì)這樣的積極力量正在構(gòu)建創(chuàng)造性從業(yè)者們最需要的快速迭代與實(shí)驗(yàn)工具。我希望看到更多來(lái)自小型非營(yíng)利性實(shí)驗(yàn)室與兼職學(xué)生的這類(lèi)高水平成果，從而幫助整個(gè)業(yè)界破除“無(wú)資源、不科研”的認(rèn)識(shí)誤區(qū)。

原文鏈接：

http://www.fast.ai/2018/04/30/dawnbench-fastai/

總結(jié)

以上是生活随笔為你收集整理的如何仅花25美元并在3小时内完成ImageNet训练？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。