阿里云贾扬清：大数据+AI工程化，让数据从「成本」变为「资产」
5 月 20 日，阿里巴巴副總裁、阿里云計(jì)算平臺(tái)負(fù)責(zé)人賈揚(yáng)清在媒體溝通會(huì)做了《科技創(chuàng)新時(shí)代的數(shù)字力量》演講，本文對(duì)其演講內(nèi)容做了精簡(jiǎn)編輯，以饗讀者。
01 科技創(chuàng)新時(shí)代的數(shù)字力量
我們先來(lái)認(rèn)識(shí)一家建筑公司。
說(shuō)建筑公司的原因是，每一次工業(yè)革命往前升級(jí)、向前發(fā)展的背后，最重要的其實(shí)是現(xiàn)有行業(yè)怎么革新自己的生產(chǎn)力。建筑行業(yè)是非常典型的一個(gè)例子，今天說(shuō)了那么多大數(shù)據(jù)和 AI，到底能給他們帶來(lái)什么樣的價(jià)值？
這家公司叫中建三局一公司，是國(guó)家基建中的核心力量，一直以建筑速度跟效率著稱(chēng)。
30 多年以前，1985 年，就以「三天一層樓」建造了深圳第一座超高層地標(biāo)性建筑、當(dāng)時(shí)「中國(guó)高樓之最」——深圳國(guó)貿(mào)大廈。
1996 年，又以「九天四個(gè)結(jié)構(gòu)層」的速度締造了當(dāng)時(shí)亞洲第一、世界第四高樓——深圳地王大廈，將中國(guó)建筑業(yè)從一般超高層推向可與世界摩天大樓相媲美的領(lǐng)先水平。
放眼全國(guó)乃至世界，都有他們的作品，承建了非常多我們耳熟能詳?shù)臉?biāo)桿性建筑 ：國(guó)家體育館（鳥(niǎo)巢）、央視新址 CCTV 大樓…… 除了地標(biāo)性建筑，他們還建了機(jī)場(chǎng)、地鐵、高速、醫(yī)院（雷神山醫(yī)院）、學(xué)校（清華美院）、辦公大樓（阿里騰訊新浪移動(dòng)等辦公大樓）……
中建三局一公司高效的建筑能力，給我們帶來(lái)非常大的價(jià)值。
幾十年過(guò)去了，建筑設(shè)計(jì)變得越來(lái)越新，磚瓦結(jié)構(gòu)變成了鋼筋混凝土結(jié)構(gòu)，中建三局一公司對(duì)建筑行業(yè)的理解也一直在向前發(fā)展。30 多年前，他們依靠人與時(shí)間的賽跑；如今，他們依靠數(shù)據(jù)的流動(dòng)。去年，中建三局一公司聯(lián)手阿里云，共同建設(shè)數(shù)據(jù)中臺(tái)。
造一座高樓，有非常多的物質(zhì)在流轉(zhuǎn)，從一粒沙子到磚頭、玻璃、鋼筋、螺絲、各種工程機(jī)械，怎么讓它們更高效地流轉(zhuǎn)起來(lái)，是建筑公司都會(huì)遇到的問(wèn)題。不僅如此，他們還需要考慮怎樣提升建造工藝、提升創(chuàng)新的建筑方法，以及通過(guò)數(shù)字化能力，來(lái)管理建筑過(guò)程、建筑物料等一系列問(wèn)題。
阿里云基于一站式數(shù)據(jù)開(kāi)發(fā)和綜合治理平臺(tái) DataWorks 打造的數(shù)據(jù)中臺(tái)，為中建三局一公司建設(shè)了一個(gè)「數(shù)字孿生體」，用數(shù)據(jù)和算法來(lái)預(yù)測(cè)，何時(shí)補(bǔ)沙子、何時(shí)調(diào)配工程機(jī)械，以及做其他運(yùn)營(yíng)管理方面的事情。
今天，我們看到，中國(guó)整個(gè)建筑市場(chǎng)有 10 萬(wàn)家建筑公司，除了中建三局一公司這種大型的標(biāo)桿企業(yè)，還有很多中小型的建筑公司，從業(yè)人員共有 5000 余萬(wàn)。幫助這些中小型企業(yè)從傳統(tǒng)的、小作坊式的、刀耕火種的模式變成像中建三局一公司那樣，是阿里云希望在數(shù)據(jù)方面做的一些事情。
我們相信把阿里云數(shù)據(jù)中臺(tái)建設(shè)的核心能力，和各行各業(yè)的專(zhuān)業(yè)知識(shí)結(jié)合起來(lái)之后，可以幫助更多企業(yè)，就像中建三局一公司一樣實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
02 「一體兩面」，助力企業(yè)用好數(shù)據(jù)
雖然每個(gè)人都在提大數(shù)據(jù)，每個(gè)人也都覺(jué)得自己在用大數(shù)據(jù)，但其實(shí)誰(shuí)也不知道大數(shù)據(jù)到底該怎么用。
阿里云打造了一系列將數(shù)據(jù)用起來(lái)的「武器」，希望通過(guò)云上數(shù)據(jù)綜合治理及智能化，賦予企業(yè)數(shù)字力量。
企業(yè)經(jīng)常面臨的挑戰(zhàn)是，建了很多零碎的數(shù)據(jù)系統(tǒng)，表格、Word、照片、視頻等異構(gòu)數(shù)據(jù)存在 Excel、數(shù)據(jù)倉(cāng)庫(kù)等不同的數(shù)據(jù)庫(kù)里，最后成為「數(shù)據(jù)孤島」。
因此，企業(yè)在建設(shè)數(shù)據(jù)中臺(tái)時(shí)，經(jīng)常會(huì)在技術(shù)、業(yè)務(wù)、組織三方面遇到挑戰(zhàn)。技術(shù)上，數(shù)據(jù)怎么打通；業(yè)務(wù)上，不同口徑的數(shù)據(jù)如何總結(jié)；組織上，怎么把存放在不同地點(diǎn)的數(shù)據(jù)統(tǒng)一管理起來(lái)。
商業(yè)公司經(jīng)常遇到的一個(gè)挑戰(zhàn)是——算收入會(huì)面臨財(cái)務(wù)、證監(jiān)會(huì)等各種各樣的不同口徑，運(yùn)營(yíng)同學(xué)需要去看不同情況的營(yíng)業(yè)額，這些最后都會(huì)下沉到一句 SQL 語(yǔ)言或者一個(gè)數(shù)據(jù)任務(wù)上。這些任務(wù)如果不一致，最后就會(huì)出現(xiàn)數(shù)據(jù)的不一致，結(jié)果的不一致，口徑的不一致，都是一系列問(wèn)題。
從技術(shù)角度來(lái)講，我們逐漸構(gòu)建了一套完整的數(shù)據(jù)處理體系，叫「一體兩面」。
「一體」是指一體化的數(shù)據(jù)開(kāi)發(fā)和數(shù)據(jù)綜合治理平臺(tái) DataWorks，各種各樣的行業(yè)應(yīng)用都基于這個(gè)平臺(tái)搭建。
DataWorks 迄今為止已經(jīng)累積了約 8 萬(wàn)名用戶(hù)。每天阿里大概有 1/4 的員工在 DataWorks 上做數(shù)據(jù)開(kāi)發(fā)和應(yīng)用。
一體化的開(kāi)發(fā)平臺(tái)下，有兩種不同的數(shù)據(jù)組織形態(tài)——數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)湖，即所謂「兩面」。
「數(shù)據(jù)倉(cāng)庫(kù)」的概念很早以前就有了，可以將其理解為一個(gè)巨大的 Excel 表格或者一堆巨大的 Excel 表格。阿里很早以前就建了自己的數(shù)據(jù)倉(cāng)庫(kù) MaxCompute，它是「飛天」的重要組成部分之一，已經(jīng)沉淀了非常好的大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)能力 。
在 MaxCompute 的演進(jìn)過(guò)程中，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析的需求誕生了。比方說(shuō)，雙 11 時(shí)，促銷(xiāo)策略要根據(jù)用戶(hù)的購(gòu)買(mǎi)行為進(jìn)行及時(shí)調(diào)整。于是，幾年前，我們開(kāi)發(fā)了一套實(shí)時(shí)計(jì)算引擎 Flink。Flink 最開(kāi)始是由德國(guó)一個(gè)團(tuán)隊(duì)做的，現(xiàn)在阿里巴巴和德國(guó)團(tuán)隊(duì)一起，繼續(xù)把 Flink 作為一個(gè)開(kāi)源的流計(jì)算實(shí)施標(biāo)準(zhǔn)往前推進(jìn)。
以前，我們只是對(duì)數(shù)據(jù)進(jìn)行總結(jié)，出報(bào)表；但越來(lái)越多的數(shù)據(jù)開(kāi)始需要實(shí)時(shí)的服務(wù)，比方說(shuō)「猜你喜歡」，既需要實(shí)時(shí)化，也需要對(duì)用戶(hù)的歷史行為做實(shí)時(shí)分析，然后迅速對(duì)相關(guān)產(chǎn)品做服務(wù)。
前幾年開(kāi)始，我們?cè)凇窽+1」計(jì)算的離線(xiàn)數(shù)倉(cāng)基礎(chǔ)上，做了實(shí)時(shí)數(shù)倉(cāng) + 服務(wù)一體化的應(yīng)用——交互式分析產(chǎn)品 Hologres，它在雙 11 支撐了非常多的實(shí)時(shí)決策。淘寶、天貓的決策層可以通過(guò) Hologres 實(shí)時(shí)看到每一個(gè)商品品類(lèi)在每一個(gè)地區(qū)的實(shí)時(shí)的銷(xiāo)售額情況，當(dāng)發(fā)現(xiàn)銷(xiāo)售額 / 觸達(dá)率與預(yù)期不一致時(shí)，可以及時(shí)調(diào)整策略。
隨著異構(gòu)數(shù)據(jù)越來(lái)越多，在我們做各種服務(wù)的時(shí)候，不再是表格那么精準(zhǔn)的數(shù)據(jù)呈現(xiàn)形式，可能是像日志（log）的形式，這些圖片、視頻、語(yǔ)音等數(shù)據(jù)形態(tài)對(duì)傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)就不是那么合適了。記得我們 2013 年在谷歌剛開(kāi)始做機(jī)器學(xué)習(xí)的時(shí)候，把一堆圖片存在了數(shù)據(jù)倉(cāng)庫(kù)里，結(jié)果發(fā)現(xiàn)，所有圖片都是一堆字符串，看不見(jiàn)圖片的內(nèi)容。
于是，「數(shù)據(jù)湖」的概念興起了。先不著急把數(shù)據(jù)都存成 Excel 表格，該是 Word 就是 Word，該是圖片就是圖片，該是視頻就是視頻，不管數(shù)據(jù)來(lái)源和格式，先把這些數(shù)據(jù)都放到一個(gè)湖里。
但業(yè)務(wù)數(shù)據(jù)，有些存在湖里，有些存在倉(cāng)里，怎么合起來(lái)統(tǒng)一做分析和處理？去年，我們提出「湖倉(cāng)一體」，在傳統(tǒng)的數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)上建一個(gè)數(shù)據(jù)中臺(tái)。
圖片
這對(duì)于創(chuàng)新業(yè)務(wù)來(lái)說(shuō)，沒(méi)什么問(wèn)題。但現(xiàn)有非常多的企業(yè)，本身已經(jīng)有數(shù)據(jù)倉(cāng)庫(kù)了，那如何把已有的資源利用起來(lái)？
我們?cè)诩夹g(shù)側(cè)做了很多工作。通過(guò)最底層的存儲(chǔ)資源、計(jì)算資源的打通，讓大家能夠更加容易地從數(shù)據(jù)倉(cāng)庫(kù)的角度存取數(shù)據(jù)湖里的信息，或者在數(shù)據(jù)湖上構(gòu)建一系列開(kāi)源引擎，同時(shí)分析數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)里的數(shù)據(jù)。
03 AI 加持，挖掘數(shù)據(jù)的價(jià)值，變「成本」為「資產(chǎn)」
管好數(shù)據(jù)的同時(shí)，我們發(fā)現(xiàn)，數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)的單位價(jià)值越來(lái)越低。
因此，我們開(kāi)始思考，怎么挖掘數(shù)據(jù)的價(jià)值，幫助企業(yè)創(chuàng)新業(yè)務(wù)、提高效率，將數(shù)據(jù)從成本變成資產(chǎn)。
AI 可以讓數(shù)據(jù)更加智能。AI 算法不只能做數(shù)據(jù)的總結(jié)，還可以做分析和決策。
但并不是所有的企業(yè)都具備將 AI 變?yōu)樯a(chǎn)力的能力，為自己所用。Gartner 的調(diào)查研究發(fā)現(xiàn)，只有 53% 的項(xiàng)目能夠從人工智能（AI）原型轉(zhuǎn)化為生產(chǎn)。AI 要成為企業(yè)生產(chǎn)力，就必須以工程化的技術(shù)來(lái)解決模型開(kāi)發(fā)、部署、管理、預(yù)測(cè)、推理等全鏈路生命周期管理的問(wèn)題。
我們總結(jié)發(fā)現(xiàn)，AI 工程化領(lǐng)域有三大亟待推進(jìn)的事情：數(shù)據(jù)和算力的云原生化，調(diào)度和編程范式的規(guī)?；?#xff0c;開(kāi)發(fā)和服務(wù)的標(biāo)準(zhǔn)化普惠化。
第一，從供給角度看，AI 工程化是數(shù)據(jù)和算力的云原生化。
智能時(shí)代是靠數(shù)據(jù)和算力來(lái)驅(qū)動(dòng)的。無(wú)論是計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理，還是其他的 AI 系統(tǒng)，都與數(shù)據(jù)量密不可分。
上世紀(jì)九十年代，手寫(xiě)體郵政編碼已經(jīng)在用 AI 識(shí)別，那時(shí)用來(lái)訓(xùn)練 AI 模型的數(shù)據(jù)量?jī)H有 10M 左右。阿里與清華大學(xué)不久前合作發(fā)布的超大規(guī)模中文多模態(tài)預(yù)訓(xùn)練模型 M6，是用 2TB 圖像、300GB 語(yǔ)料數(shù)據(jù)預(yù)訓(xùn)練而成的。今天，在產(chǎn)業(yè)界，訓(xùn)練一個(gè) AI 模型需要的數(shù)據(jù)量通常會(huì)更大。
OpenAI 曾做過(guò)一個(gè)統(tǒng)計(jì)，從 2012 年做出 AlexNet，到 2018 年 DeepMind 做出 AlphaGo Zero，對(duì)于計(jì)算量的需求增長(zhǎng)了約 30 萬(wàn)倍。
根據(jù)摩爾定律，每 18 個(gè)月，CPU 單核的計(jì)算能力就會(huì)增長(zhǎng)一倍。但 2008 年前后，摩爾定律就開(kāi)始「失效」，算力的增速開(kāi)始逐漸變緩。
可以看到，隨著數(shù)據(jù)量越來(lái)越大，模型變得越來(lái)越精準(zhǔn)、高效且復(fù)雜，無(wú)論是在數(shù)據(jù)還是計(jì)算方面，都需要有一個(gè)更大規(guī)模、更大體量的底座，來(lái)支撐上層 AI 的需求。而云計(jì)算能夠在數(shù)據(jù)和算力上提供更強(qiáng)的支持。
第二，從核心技術(shù)的角度看，AI 工程化是調(diào)度和編程范式的規(guī)?；?。
因?yàn)榇笠?guī)模、大體量底座的背后，往往面臨兩個(gè)成本問(wèn)題：
一個(gè)是資源的成本。訓(xùn)練一個(gè)大模型，往往需要一堆 GPU 來(lái)做大規(guī)模計(jì)算。英偉達(dá)最新的 DGX-2，售價(jià)大概在一臺(tái) 20 萬(wàn)美元，真的貴。OpenAI 訓(xùn)練模型大概需要 512 塊 GPU、64 臺(tái)機(jī)器。如果搭一個(gè)專(zhuān)門(mén)用來(lái)做大規(guī)模訓(xùn)練的集群，可能是小一個(gè)億的成本。這個(gè)時(shí)候，如果跑去跟公司、研究院或者跟政府說(shuō)，我需要一個(gè)億，就是為了搭一個(gè)集群，這個(gè)集群就是為了訓(xùn)練一個(gè)模型，這個(gè)模型拿來(lái)還不知道怎么用，我得先訓(xùn)練出來(lái)看看。這顯然是很麻煩的事情。
管理大規(guī)模的集群和大規(guī)模的系統(tǒng)，需要用到非常典型的「削峰填谷」方法，考驗(yàn)我們是否能夠把 AI 計(jì)算任務(wù)掰開(kāi)、揉碎，變成一小塊一小塊的任務(wù)，部署在資源空閑的機(jī)器上。這背后是一個(gè)巨大的訓(xùn)練任務(wù)，AI 工程師需要做非常多的工作。
我們?cè)谟?xùn)練 M6 模型的時(shí)候沒(méi)有買(mǎi)新的機(jī)器，就是在現(xiàn)有的生產(chǎn)集群上面，利用「潮汐效應(yīng)」，把計(jì)算量提出來(lái)，用來(lái)訓(xùn)練模型。
另一個(gè)是人的成本。AI 沒(méi)有 SQL 那么清晰干凈的、以目標(biāo)導(dǎo)向的框架，比如，寫(xiě)一句 SQL，就能驅(qū)動(dòng) MaxCompute 等計(jì)算引擎拉一堆機(jī)器來(lái)做運(yùn)算；AI 也不像在線(xiàn)服務(wù)一樣，可以實(shí)現(xiàn)非常簡(jiǎn)單的、一臺(tái)機(jī)器和幾臺(tái)機(jī)器的簡(jiǎn)單復(fù)制，機(jī)器間不需要交互，操作簡(jiǎn)單。
AI 程序要在各種各樣的機(jī)器、資源之間（GPU 與 GPU 間，或 GPU 與 CPU 間）搗騰數(shù)據(jù)，要把一個(gè)算法（一個(gè)數(shù)學(xué)公式）放到參數(shù)服務(wù)器上，告訴機(jī)器 A 何時(shí)與機(jī)器 B 說(shuō)話(huà)，機(jī)器 B 何時(shí)與機(jī)器 C 說(shuō)話(huà)，并且最好是快一點(diǎn)。于是，AI 工程師就得寫(xiě)一堆無(wú)比復(fù)雜、很多人看不懂的代碼。
AI 工程師都聽(tīng)說(shuō)過(guò)數(shù)據(jù)并行、模型并行等概念，這些概念下需要有一個(gè)相對(duì)簡(jiǎn)單的軟件編程范式，讓我們更加容易把集群以及計(jì)算的需求切片，把 Computer 跟 Communication 比較好地分配。但是編程范式今天還沒(méi)有達(dá)到一個(gè)讓彼此都很好理解的程度。因此，人力成本非常高。
也就是說(shuō)，在大量的數(shù)據(jù)和算力基礎(chǔ)上，一個(gè)非常明顯的需求是如何更好地做到資源調(diào)度和資源調(diào)配，以及如何讓工程師更容易撰寫(xiě)分布式編程范式，特別是如何來(lái)規(guī)模化，這是 AI 工程化的第二個(gè)體現(xiàn)。
我們?cè)O(shè)計(jì)了一個(gè)相對(duì)簡(jiǎn)單、干凈的編程框架 Whale，讓開(kāi)發(fā)者能夠更容易地從單機(jī)的編程范式跳到分布式的編程范式。比如，只需告訴 Whale，將模型分為 4 個(gè) stage，Whale 就會(huì)自動(dòng)把這些 stage 放到不同的機(jī)器上去做運(yùn)算。
第三，從需求或者出口的角度看，AI 工程化是開(kāi)發(fā)和服務(wù)的標(biāo)準(zhǔn)化、普惠化。
AI 做了非常多有意思的模型，為了使這些模型能夠更加緊密地應(yīng)用在實(shí)際場(chǎng)景中，還需要很多工作。但并不是每個(gè)人都有時(shí)間來(lái)學(xué)習(xí) AI 如何建模，如何訓(xùn)練和部署等。
所以，我們一直在思考，如何讓大家更容易上手這些高大上的 AI 技術(shù)。
阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI 團(tuán)隊(duì)，基于阿里云 IaaS 產(chǎn)品，在云上構(gòu)建了一個(gè)完整的 AI 開(kāi)發(fā)全生命周期的管理體系，從最開(kāi)始寫(xiě)模型，到訓(xùn)練模型，到部署模型。其中，Studio 平臺(tái)提供可視化建模，DLC 平臺(tái)（Deep Learning Container）提供云原生一站式的深度學(xué)習(xí)訓(xùn)練，DSW 平臺(tái)（Data Science Workshop）提供交互式建模， EAS 平臺(tái)（Elastic Algorithm Service ）提供更簡(jiǎn)易、省心的模型推理服務(wù)。我們的目標(biāo)是，希望 AI 工程師能在幾分鐘之內(nèi)就開(kāi)始寫(xiě)第一行 AI 代碼。
迄今為止，阿里云通過(guò)大數(shù)據(jù)、AI 平臺(tái)已經(jīng)服務(wù)了各行各業(yè)的客戶(hù)，寶鋼、三一集團(tuán)、四川農(nóng)信、太平洋保險(xiǎn)、小紅書(shū)、VIPKID、斗魚(yú)、親寶寶等。我們希望通過(guò)我們的大數(shù)據(jù)和 AI 能力，給企業(yè)提供升級(jí)的動(dòng)力。
原文鏈接：https://developer.aliyun.com/article/784298?
版權(quán)聲明：本文內(nèi)容由阿里云實(shí)名注冊(cè)用戶(hù)自發(fā)貢獻(xiàn)，版權(quán)歸原作者所有，阿里云開(kāi)發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請(qǐng)查看《阿里云開(kāi)發(fā)者社區(qū)用戶(hù)服務(wù)協(xié)議》和《阿里云開(kāi)發(fā)者社區(qū)知識(shí)產(chǎn)權(quán)保護(hù)指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫(xiě)侵權(quán)投訴表單進(jìn)行舉報(bào)，一經(jīng)查實(shí)，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的阿里云贾扬清：大数据+AI工程化，让数据从「成本」变为「资产」的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 阿里云联合中国信通院发布《云计算开放应用
- 下一篇： 阿里云 AI 编辑部获 CCBN 创新奖