概述

最近看了很多關(guān)于云原生的文章，大體意思是機(jī)器學(xué)習(xí)服務(wù)這個(gè)行業(yè)將迎來一次巨大的變革。從13年我剛?cè)胄幸詠?#xff0c;機(jī)器學(xué)習(xí)在15年左右經(jīng)歷了模型深度的變革，從淺層學(xué)習(xí)逐步發(fā)展到了深度學(xué)習(xí)。到了20年這個(gè)節(jié)點(diǎn)，機(jī)器學(xué)習(xí)的整體服務(wù)架構(gòu)會(huì)開始變革，逐漸會(huì)從Apache Yarn體系向Docker+Kubeflow這種云原生體系變革。

為什么會(huì)出現(xiàn)這種遷移？許多技術(shù)同學(xué)都在網(wǎng)上發(fā)表了他們的看法，我認(rèn)為比較好的文章是：https://www.jiqizhixin.com/articles/2019-01-31-14

遺憾的是，發(fā)表這些文章的都是技術(shù)同學(xué)，更多地是從技術(shù)視角去看待這個(gè)問題，今天我嘗試通過產(chǎn)品經(jīng)理的視角，也就是用戶具體應(yīng)用的視角解釋下云原生的好處。

什么是云原生？

可能有的同學(xué)不清楚什么是云原生，Docker+Kubeflow就是機(jī)器學(xué)習(xí)的云原生方案。首先給大家解釋下Docker和VM（虛擬機(jī)）的區(qū)別。

VM是目前所有“云”業(yè)務(wù)的根源，VM的誕生使得傳統(tǒng)的物理機(jī)可以向外提供標(biāo)準(zhǔn)化的計(jì)算服務(wù)。這種服務(wù)需要使用者把應(yīng)用App、依賴Bins/Libs以及操作系統(tǒng)Guest OS打包成VM鏡像，然后發(fā)到物理機(jī)上即可運(yùn)行。

VM的一個(gè)問題就是因?yàn)閂M鏡像包含了Guest OS，所以VM是比較重的，可能每個(gè)VM鏡像在10G左右，如果想同時(shí)拉起上千個(gè)任務(wù)，這個(gè)拉起時(shí)間成本非常高。

再來看看Docker，Docker的一個(gè)好處是不包含Guest OS。用戶只需要把應(yīng)用App和Libs打包成一個(gè)Docker Image就可以部署到服務(wù)器上，而且一樣具備VM所具有的資源隔離、網(wǎng)絡(luò)隔離等優(yōu)勢(shì)，這就靈活了許多。看下Docker的架構(gòu)圖：

舉個(gè)例子，比如做一個(gè)簡(jiǎn)單的模型服務(wù)，只需要把模型+Flask+python環(huán)境打包好即可，如果模型不大的話，這種Docker image只有幾百兆，可以秒級(jí)拉起。所以云原生給到用戶的是彈性的計(jì)算環(huán)境，只要用戶把自己要計(jì)算的業(yè)務(wù)封裝成Docker image，傳上來就能跑。

云原生究竟有哪些優(yōu)勢(shì)

云原生有資源調(diào)度更靈活，內(nèi)存、網(wǎng)絡(luò)隔離更完善等優(yōu)點(diǎn)，這些都是技術(shù)優(yōu)勢(shì)，我今天重點(diǎn)介紹兩個(gè)用戶使用端的優(yōu)勢(shì)。分別是“更靈活的配置性”以及“業(yè)務(wù)模塊的一致性”。

?

更靈活的配置性

傳統(tǒng)的機(jī)器學(xué)習(xí)平臺(tái)的架構(gòu)是如下圖這種模式：

在用戶層只給客戶開放了APP的上傳通道，而計(jì)算框架和依賴包需要平臺(tái)層提前在集群配置好，而且不易更改。這會(huì)造成很大的麻煩，比如用戶上傳了一個(gè)python的代碼包，這個(gè)包依賴于numpy這個(gè)python庫，如果平臺(tái)層沒有內(nèi)置numpy，用戶是無法運(yùn)行的，因?yàn)槠脚_(tái)并沒有給用戶開放安裝依賴包的口子。基于傳統(tǒng)的Yarn調(diào)度的模式，在技術(shù)可行性方面也比較難實(shí)現(xiàn)用戶自己在集群層面安裝依賴。

反過來看云原生的平臺(tái)，用戶可以在用戶層自己指定依賴的lib包，設(shè)置可以安裝計(jì)算框架。從用戶開發(fā)環(huán)境的角度比較，云原生的機(jī)器學(xué)習(xí)平臺(tái)一定是更user friendly。

業(yè)務(wù)模塊的一致性

我們知道，傳統(tǒng)的Apache Yarn，設(shè)置整個(gè)Hadoop生態(tài)是基于大數(shù)據(jù)開發(fā)為業(yè)務(wù)背景去設(shè)計(jì)的。相比于機(jī)器學(xué)習(xí)建模，大數(shù)據(jù)開發(fā)場(chǎng)景相對(duì)會(huì)更單純。因?yàn)榇髷?shù)據(jù)開發(fā)環(huán)境的輸入和輸出都是表。而機(jī)器學(xué)習(xí)場(chǎng)景輸入的是數(shù)據(jù)，輸出的是模型，模型還要部署成服務(wù)才可以使用。基于這樣的體系，會(huì)產(chǎn)生以下這種機(jī)器學(xué)習(xí)架構(gòu)，

大部分玩算法的人會(huì)把模型計(jì)算引擎和模型服務(wù)引擎解耦，甚至?xí)r間長了，覺得這兩個(gè)部分就應(yīng)該是不同的模塊。基于這樣很割裂的架構(gòu)，會(huì)衍生出模型傳遞網(wǎng)絡(luò)性能問題、引擎間模型格式不兼容等一系列問題。

?

有了云原生方式，會(huì)打破了Apache傳統(tǒng)的以大數(shù)據(jù)方式建模的束縛。所有的建模相關(guān)的服務(wù)都可以做出Docker Image，部署到一個(gè)集群中，通過kubeflow的pipline去編排相互執(zhí)行順序。

這樣就解決了上述提到的問題，讓整個(gè)業(yè)務(wù)都可以集中在一個(gè)集群，同時(shí)相互之間又有資源隔離機(jī)制，使得業(yè)務(wù)模塊一致性更強(qiáng)。

總結(jié)

經(jīng)過這幾天研究云原生機(jī)器學(xué)習(xí)業(yè)務(wù)的調(diào)研，我覺得kubeflow未來可期，需要所有從業(yè)的產(chǎn)品經(jīng)理和開發(fā)人員重新更新自己的技術(shù)棧。

有一個(gè)問題需要時(shí)間驗(yàn)證，機(jī)器學(xué)習(xí)PaaS層產(chǎn)品是否是偽命題？

目前百度、阿里、騰訊都有PaaS層的機(jī)器學(xué)習(xí)產(chǎn)品，這些產(chǎn)品在云原生時(shí)代是否還有價(jià)值。因?yàn)樵圃A段會(huì)大大推動(dòng)開源生態(tài)各種模型部署、算法框架的演進(jìn)，用戶完全可以利用這些開源的工具配合Docker在虛擬機(jī)上拉起來構(gòu)建一個(gè)機(jī)器學(xué)習(xí)PaaS層服務(wù)，這樣的話Yarn那一套有點(diǎn)落伍。

未來可能在機(jī)器學(xué)習(xí)領(lǐng)域，只存在SaaS業(yè)務(wù)層和IaaS計(jì)算資源層，PaaS的比重會(huì)下降。這是我的一個(gè)猜測(cè)，作為PaaS層機(jī)器學(xué)習(xí)產(chǎn)品經(jīng)理，==！好擔(dān)心自己會(huì)下崗。

?

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的详解云原生机器学习平台的优势的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。