华为云ModelArts
??最近在學(xué)習(xí)ModelArts相關(guān)的技術(shù)，也通過了一些相關(guān)的微認(rèn)證。這篇文章主要介紹一下ModelArts。圍繞下面這幾個問題：
??1.ModelArts是什么？
??2.ModelArts的架構(gòu)
??3.ModelArts借助的一些底層服務(wù)
??4.ModelArts相關(guān)技術(shù)
1.ModelArts是什么？
??其實ModelArts是華為搞的一站式AI開發(fā)平臺(一站式指提供AI開發(fā)的所有環(huán)節(jié)，包括數(shù)據(jù)處理、模型訓(xùn)練、模型評估、模型部署)，能夠支持異構(gòu)計算資源(分布式)，提供個性化的需求。ModelArts面向?qū)ο蟀ˋI小白(AI基礎(chǔ)知識為0，但希望利用AI完成應(yīng)用需求)、AI工程師(做AI相關(guān)的開發(fā))。
??ModelArts的優(yōu)勢有如下幾點：
??1）一站式開發(fā)更便捷，提供模板模型，可以讓用戶專注于上層應(yīng)用。從而把AI當(dāng)作一種技術(shù)手段。
??2）底層支持各種異構(gòu)計算資源，可以靈活選擇，可以利用華為云的分布式計算優(yōu)勢快速訓(xùn)練模型
??3）ModelArts支持主流的AI開發(fā)框架：tensorflow，caffe，pytorch等，也有華為自主研發(fā)的輕量級框架MoXing。同樣也支持開發(fā)者的自研算法框架
??ModelArts的面向?qū)ο?/strong>(為不同層次、不同需求的對象都可以提供相應(yīng)的幫助)：
??1）對業(yè)務(wù)開發(fā)者，屏蔽模型和編碼，只是快速構(gòu)建AI應(yīng)用
??2）對AI小白，不關(guān)注模型開發(fā)，利用預(yù)置算法，預(yù)置模型構(gòu)建AI應(yīng)用
??3）對AI工程師，提供多種開發(fā)環(huán)境、操作流程，快速構(gòu)建模型及應(yīng)用
2.ModelArts的結(jié)構(gòu)
??ModelArts的架構(gòu)可以分成如下五個部分：
??1）AI數(shù)據(jù)框架：指對AI訓(xùn)練數(shù)據(jù)的相關(guān)處理，例如預(yù)處理中的篩選和自動標(biāo)注(較傳統(tǒng)人工標(biāo)注大大提高效率)，同時數(shù)據(jù)也有指定的位置進(jìn)行存儲。數(shù)據(jù)類型包括：原始數(shù)據(jù)、標(biāo)注數(shù)據(jù)、血緣數(shù)據(jù)
??2)算法開發(fā)：集成便捷的主流框架(也有華為自研的高效框架Moxing)，同時預(yù)置模型算法可以幫助提升開發(fā)效率
??3)訓(xùn)練：分布式集群加速，按需配置，大大縮短訓(xùn)練時長
??4)部署：一鍵部署端邊云，屏蔽異構(gòu)影響
??5)市場：對內(nèi)，企業(yè)共享AI模型。對外，社區(qū)(AI Gallery)建立完整生態(tài)
??ModelArts整個過程是完全可視化的，可以大大提高開發(fā)效率。
3.ModelArts借助的一些底層技術(shù)
??技術(shù)當(dāng)然有很多(云硬盤服務(wù)EVS，彈性云服務(wù)ECS等等等)，在此主要介紹兩種：統(tǒng)一身份認(rèn)證(IAM)和面向?qū)ο蟠鎯Ψ?wù)(OBS)
??統(tǒng)一身份認(rèn)證(IAM)
??ModelArts使用IAM來實現(xiàn)認(rèn)證功能，關(guān)于IAM更多具體的信息可到華為云官網(wǎng)去找。ModelArts參考：華為云官網(wǎng)IAM。在此我想說關(guān)于ModelArts全局配置中的訪問授權(quán)，過去支持兩種：使用委托(建立委托用戶)和使用訪問密鑰(配置AK和SK)，但目前經(jīng)實踐只支持前者了(看來ModelArts也是在不斷變的，在不斷迭代一些東西)。
??面對對象存儲服務(wù)(OBS)
??OBS是華為自研的存儲庫，可以簡單理解成一個數(shù)據(jù)庫吧。在AI開發(fā)各個階段的一些數(shù)據(jù)(模型、數(shù)據(jù)等等)都可以存儲在OBS之中(當(dāng)然是計費的啦~)。OBS以桶為頂層數(shù)據(jù)結(jié)構(gòu)，桶(頂層數(shù)據(jù)結(jié)構(gòu))內(nèi)包含多個對象，對象(基本數(shù)據(jù)結(jié)構(gòu))包括元數(shù)據(jù)、數(shù)據(jù)、鍵值。
??OBS提供的存儲類型有三種：標(biāo)準(zhǔn)存儲、低頻訪問存儲、歸檔存儲。從左到右訪問頻次依次下降，同樣成本也依次下降。
??OBS提供的訪問方式有四種：管理控制臺、OBS Browser(已逐步棄用)，OBS Browser+，obsutil。各自具體功能可參考下面這篇博客：https://www.cnblogs.com/kylingx/p/12718537.html
4.ModelArts提供的功能
??ModelArts提供的功能當(dāng)然很多啦，這個可以在它的官網(wǎng)功能總覽處看到。這里只想說一下自動學(xué)習(xí)，自動學(xué)習(xí)的實現(xiàn)是基于ModelArts的(這是我新發(fā)現(xiàn)的概念，簡直有點兒顛覆以前的認(rèn)知~)
??自動學(xué)習(xí)，從名字看自動學(xué)習(xí)就是自己學(xué)習(xí)(我曾經(jīng)在6G相關(guān)的內(nèi)容中看到過，當(dāng)時還認(rèn)為不可思議)。使用者只需要提供數(shù)據(jù)，并為數(shù)據(jù)進(jìn)行部分預(yù)處理(打標(biāo)簽等)。借助自動學(xué)習(xí)就可以根據(jù)標(biāo)注數(shù)據(jù)自動設(shè)計模型，自動調(diào)參，自動訓(xùn)練，自動壓縮和部署模型。華為云自動學(xué)習(xí)的應(yīng)用場景包括如下幾個：（1）圖像分類 （2）物體檢測(是否包含指定物體) （3）預(yù)測分析 （4）聲音分類
所以自動學(xué)習(xí)面對的就有應(yīng)用需求的AI小白，可以利用自動學(xué)習(xí)，快速的進(jìn)行模型部署。
??本次首次接觸到ModelArts感觸還是挺深的，我覺得想入手深度學(xué)習(xí)的人都可以先用這個找找感覺，培養(yǎng)培養(yǎng)興趣。實際操作一個應(yīng)用，看看到底效果如何。有了ModelArts就不用再為配環(huán)境而發(fā)愁，也不受自身計算資源的限制(有的筆記本是AMD的顯卡，沒法裝CUDA也就沒法GPU加速)。
??本文介紹的ModelArts只是冰山一角，更多詳細(xì)的內(nèi)容可以去觀看華為云文檔：華為云官網(wǎng)ModelArts
因作者水平有限，如有錯誤之處，請在下方評論指正，謝謝！
總結(jié)
以上是生活随笔為你收集整理的华为云ModelArts的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： C/C++面试题—矩阵中的路径【回溯法应
- 下一篇： 二十一、补码 （计算机最小的单位为位）