阿里云边缘计算与云边端协同网络的融合与挑战
簡介: 本文來自阿里云高級技術專家張毅萍(屹平)的分享原文,闡述了他對邊緣計算的理解、阿里云邊緣計算的布局及云邊端三體協同網絡的融合與挑戰。
本文來自阿里云高級技術專家張毅萍(屹平)的分享原文,闡述了他對邊緣計算的理解、阿里云邊緣計算的布局及云邊端三體協同網絡的融合與挑戰。
分享主要包括以下幾塊內容:
一、邊緣計算順勢而生
二、阿里云四層邊緣計算技術棧與挑戰
三、關于云-邊-端協同網絡
四、邊緣計算的潛在應用場景
?
順勢而生:中心與邊緣、20年一輪回
?
在屹平看來,1999、2009和2019在中國互聯網發展歷史上非常關鍵。1999年互聯網爆發,同時也是阿里巴巴成立的年份。隨著應用中心化,邁入2009年,云計算也逐漸被激活,2009年也是阿里云成立的年份,到了2019年,5G元年,邊緣計算順勢走上風口。
“從1999年互聯網初期的應用邊緣分散狀態,再到后來的應用中心化、中心云化,再到如今邊緣計算、云邊緣化的進程,這是一個邊緣到中心再到邊緣的輪回。那么這其中輪回的原動力是什么?”屹平認為:促使其輪回最重要因素是成本,計算和應用中心化,集約資源必然帶來資源的復用率提升和成本的節約,只要數據傳輸成本夠低,計算中心化沒有任何問題,這也是過去20年互聯網發展的過程。然而,傳輸成本在互聯網應用中是不可忽略的重要成本構成之一,在音視頻類應用中尤為明顯,互聯網傳輸成本在過去20年的大幅下降,使得大量應用得以實現規模化,云計算也有了爆發的基礎。
?
隨著5G的到來,邊緣應用的數據量呈幾何級數上漲,這些數據都在終端形成、積累,傳送到云端,進行數據處理,再返回到終端指導業務。這一系列動作將對網絡帶寬產生數百Gbps每秒的超高需求,不僅會存在延遲,還需要面臨弱網卡頓、連接成功率低等諸多問題,用戶體驗無法保障。同時,大帶寬對回傳網絡、業務中心造成巨大傳輸壓力,也會讓企業面臨著巨額的帶寬成本。
?
這意味著集中式的數據存儲、處理模式將面臨難解的瓶頸和壓力。最終,成本作為關鍵因素之一,使得云邊緣化的趨勢得以發展,集中的計算再次走向邊緣,如此就形成了這樣一個20年的輪回。
?
一場算力的遷徙:云計算與邊緣計算的協同
?
云計算和邊緣計算,這二者并不是此消彼長的關系,邊緣計算正在拓展云計算的邊界。
?
以常見的互動直播場景舉例,大量的彈幕、刷禮物、連麥、秒殺等交互,使數據量激增,同時互動直播場景需要十分準確、快速的計算能力。如果在端上進行視頻計算,會大量消耗端的算力,對終端的性能要求很高且耗電量很大,但是將計算放在云中心,又面臨高昂的視頻傳輸成本。
?
這時候,終端算力上移、云端算力下沉,在邊緣形成算力融合,云-邊-端三體協同的架構將會發揮重要的作用。
?
如此,直播平臺可以根據自己業務的特點和需求,利用云中心實現強大的算力支撐和海量存儲的支持,在云中心統一管控下完成核心數據的處理,將部分業務下沉部署到邊緣進行終結,這相當于給云中心增加了分布式能力,不僅能在在邊緣計算領域建立一套新的生態系統,進行本地數據的初步分析和處理,承擔部分“云“的工作,減輕云中心的壓力。還能減少復雜網絡中各種路由轉發和網絡設備處理的時延,獲取到更低延時,更加能大幅減少網絡傳輸和多級轉發帶來的帶寬成本。如此一來,既能解決處理能力問題,又能優化成本的問題。
?
「在《邊緣云計算技術與標準化白皮書》中也對邊緣計算(此處指邊緣云計算)進行定義:邊緣云計算是基于云計算技術的核心和邊緣計算的能力,構筑在邊緣基礎設施之上的云計算平臺。形成邊緣位置的計算、網絡、存儲、安全等能力全面的彈性云平臺。通過將網絡轉發、存儲、計算,智能化數據分析等工作放在邊緣處理,降低響應時延、減輕云端壓力、降低帶寬成本,并供全網調度、算力分發等云服務。」
?
面向城市的四層邊緣計算技術棧
?
當5G萬物智聯時代到來,城市中蘊含著巨大的計算場景,大量扎根于城市的服務比如智慧交通、智慧園區、智慧零售、智能家居等等,都會產生非常多的數據。阿里云邊緣計算未來主要是以地市、區縣為單位開展,面向城市服務的交通、醫療、健康、教育、新零售等場景提供算力基礎。
?
城市計算的技術布局,在基礎設施之上,阿里云邊緣計算更包含四層技術棧:邊緣硬件和芯片、邊緣計算平臺、邊緣計算操作系統、邊緣中件間和面向邊緣的應用與服務。
?
?
在基礎設施層,其實是基于復雜的、異構的基礎設施進行資源拉通;在芯片/設備方面,阿里云邊緣計算采用通用芯片、專用芯片和自研芯片解決未來面向場景的邊緣計算成本問題;在邊緣計算平臺方面,阿里云著重打造邊緣操作系統,提供三種計算形態(虛機、容器、函數)和三種交付形態(Server、Serverlet、Serverless),為客戶營造一個利于使用的計算環境;對于邊緣中間件,阿里云要從原本“內容分發的調度”轉變為“計算的調度”,同時疊加AI、存儲等新技術,逐步形成面向城市應用場景的獨特中間件能力;至于上層的邊緣應用及服務,則需要結合整個生態和垂直行業伙伴共同推動技術進步。
?
城市邊緣計算的四大技術挑戰
?
當然,在建設整個5G時代的IT基礎設施,為產業提供“離用戶更近的計算”這條前行之路上,也會遇到很多技術挑戰。
?
首先,是如何構建緊湊小型化計算架構以及災備體系非常重要。如果把云計算比作一個城堡,那么它可以通過修圍墻、排哨兵、巡邏兵去保護城堡,但是在偏遠的村莊(邊緣計算)也需要通過安全體系的建設,來抵御外敵入侵。
?
其次是災備,云計算基本上可以做到的單節點內幾十萬臺機器之間做災備,邊緣節點跨節點災備系統面臨更大挑戰。
?
第三個挑戰是云邊端協同的問題,把中心云、邊緣計算以及IoT進行連接和計算力的協同,發揮云中心規模化、邊緣計算本地化與低成本、IoT終端感知等各方面的優勢,為客戶提供最合適、最經濟的“上車點”,也就是計算發生的位置。
?
最后一個挑戰是如何做好大規模資源平臺的運營和運維支撐,將復雜度、穩定性等問題封裝,盡量實現上層業務透明化對邊緣計算來講也十分重要。邊緣計算操作系統需要把解決計算在哪里、如何簡化計算的復雜度、如何更便捷地運維分布式計算資產等問題提前解決,客戶開發人員只需要簡單地調用接口,就可以使用廣泛地使用邊緣計算策略,而不用擔心部署和計算在哪里的問題。
?
基于場景的云-邊-端協同網絡
?
上文提到,構建邊緣計算基礎設施和上層操作系統將面臨著諸多難題,如何打造云-邊-端協同網絡就是其中的關鍵。
?
屹平認為:“云-邊-端協同網絡是以云為中心,逐層分散延伸的網絡。假設云中心REGION在全國10數量級部署,百到千數量級的ENS節點負責廣覆蓋、流量調度,萬數量級的MEC節點負責就近接入。這其中,涉及到云邊協同、邊邊協同和邊端協同三部分。”
?
云邊網絡
?
云邊網絡,想要做好云與邊之間的網絡,主要有兩個關鍵點:虛實結合、動態選路。在全國所有邊緣節點中,選擇一批分布地域較好的節點,將這些節點通過專線與云中心連接,其它大部分節點是通過互聯網連接。同時,采取專線和互聯網鏈路的動態選擇和各種穩定性報障措施,來代替上層應用解決不同網絡形態下回云連通性的問題。對于上層應用來說,并不需要去感知接入節點的網絡形態。總結下來,云邊網絡這就是回云的安全和加速網絡。
邊邊網絡
?
邊邊網絡,需要保障上層應用使用的邊緣節點之間數據傳輸透明且安全。涉及兩關鍵詞,Fullmesh和安全加速。當前很多互聯網應用的數據傳輸都還是采用多層結構,即有中心層、有一個或兩個外層,然后一層一層做數據流量的收斂,如果有數據交互的話,通過中心層繞道是常見的一種方式,這種方式在技術實現上更簡單清晰,但是從成本角度考慮卻并不是合適。Fullmesh在這里表示的就是邊邊網絡實現的邊緣節點之間的直接通訊,無需通過中心繞道;而邊邊直接通訊是基于由眾多邊緣節點構建的分布式傳輸加速網絡來克服互聯網的數據傳輸穩定性、跨運營商的傳輸速度瓶頸等問題。將這種安全加速網絡的能力與邊緣節點網絡融合,從而為上層應用提供透明的邊邊數據傳輸加速的體驗。
?
?
端邊網絡
?
端邊網絡,端邊網絡更注重智能調度和安全接入,本身與應用場景高度相關,這里引用一個終端安全接入的場景來介紹。終端通過集成SDK的方式來解決安全調度問題,應用的服務接入點調度由SDK實現,應用本身不用去關心應該去訪問哪一個節點,通過專門的高防節點(防DDoS)與終端SDK通訊實現調度指令的下發。假設某個邊緣節點被攻擊至無法服務時,調度實現第一時間的流量切換,同時也能根據邊緣節點持續被攻擊的來源識別出哪些是真實流量,哪些是攻擊流量,長此以往對攻擊數據的積累,能夠逐步形成攻擊源數據庫,作為調度和安防策略的依據。每當發生攻擊時,基于攻擊源數據庫的記錄就可以更快地發現攻擊并完成流量調度。
屹平表示:“云邊、邊邊、端邊形成了整體的云邊端協同網絡。我們希望上層應用在使用阿里云邊緣計算服務作為其應用基礎設施時,盡量把網絡傳輸優化這部分的工作能夠省去,以應用透明的方式直接享受到更穩定可靠、更極速、更經濟的網絡傳輸安全加速服務。”
?
潛在的城市計算場景與實踐
?
阿里巴巴集團擁有龐大的生態體系,業務場景豐富,基于此,云邊端協同問題可以得到更好的實踐和解決。屹平介紹到阿里云邊緣計算,在算力資源層,通過自建節點和遍布全球的多樣化邊緣節點,確保資源的覆蓋;在此之上的操作系統層,依托云計算和邊緣操作系統的協同,打造基于體驗的分布式計算分發平臺;頂層則通過開放API,融合視頻直播、RTC、邊緣智能、物聯網等各類生態技術能力,實現對客戶的交付。
?
未來城市中存在大量的攝像頭、傳感器,如何把這些數據及時分析,對城市治理形成幫助,這是一個非常大的命題。比如,在市政、交通場景中,把從學校、餐飲、醫院的數千萬攝像頭采集的視頻匯聚、傳輸到城市邊緣計算平臺,數據在邊緣節點進行有效收斂、AI及結構化處理,關鍵性數據再回傳到中心云。
?
在城市大腦中,這種計算下沉邊緣的模式相比直接上公有云可以很好節省回源帶寬,相比專有云可以提升交付效率和降低運營成本。在某些典型場景中,網絡帶寬成本占的比例是占到57%,這是非常大的成本,經過邊緣計算的數據收斂之后,帶寬可以做到原來的5%,對總成本節省可以到54%。
?
?
屹平認為:在5G萬物智聯時代真正到來之后,當傳感器、攝像頭就成為整個社會的眼睛,邊緣計算解決了時滯和帶寬成本的問題,我們就能更好地通過眼睛去識別環境、回傳信息、智能分析,實現更智慧的城市管理。這就好像一個人,他的眼睛看到一個物體馬上可以識別出來,識別完了之后再將結構化信息傳回大腦,邊緣計算就是如此。
?
阿里云從2017年開始基于飛天平臺研發邊緣操作系統,基于CDN節點改造邊緣計算節點,在2018年4月完成錘煉,正式進行基礎設施產品化,發布邊緣節點服務(ENS),將計算推進至100公里的邊緣,建立了標準、安全、多租戶的邊緣計算底座,在2019年先后發布ENS 2.0和國內首個全域覆蓋的邊緣節點服務,宣布完成國內30多個省份300+邊緣計算節點的全域覆蓋。2019年9月杭州云棲大會上,阿里云對外公布將致力于打造基于場景的城市計算能力,圍繞城市場景去建設邊緣計算基礎設施和靈活易用的上層操作系統。
?
總結
以上是生活随笔為你收集整理的阿里云边缘计算与云边端协同网络的融合与挑战的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2019 年 AI 领域都发生了什么?
- 下一篇: 什么技能产品经理不会提,但技术人必须懂?