近日，英雄聯(lián)盟S8全球總決賽落下帷幕，中國戰(zhàn)隊(duì)IG零封FNC奪得冠軍。這場比賽引起了國內(nèi)網(wǎng)友的超高關(guān)注度，也給直播平臺帶來了不小的技術(shù)挑戰(zhàn)。虎牙直播平臺結(jié)合阿里云邊緣節(jié)點(diǎn)技術(shù)方案，保障了總決賽當(dāng)日7000萬在線用戶的低延時(shí)、穩(wěn)定流暢以及實(shí)時(shí)互動，為觀眾提供了流暢的體驗(yàn)。

那么類似S8賽事這樣的大型活動直播的特點(diǎn)和技術(shù)挑戰(zhàn)是什么？為什么業(yè)務(wù)要下沉到邊緣？自建邊緣節(jié)點(diǎn)和與云服務(wù)廠商合作到底該如何選擇？邊緣節(jié)點(diǎn)服務(wù)（ENS）又是如何進(jìn)行技術(shù)支撐？提供的針對性優(yōu)化方案有哪些？本文將為你一一揭曉。

為什么要將業(yè)務(wù)下沉到邊緣？

互動直播場景，通常包括音視頻推流、轉(zhuǎn)碼、分發(fā)、播放等核心業(yè)務(wù)模塊，和彈幕、打賞禮物等互動業(yè)務(wù)邏輯，在體驗(yàn)上有清晰度、播放流暢度、播放延時(shí)等方面的要求。基于上述特點(diǎn)分析，結(jié)合直播的體驗(yàn)需求，賽事直播面臨的技術(shù)挑戰(zhàn)主要在以下幾個(gè)方面：

1、瞬時(shí)流量增長時(shí)的性能保證

賽事直播的直播流和觀看用戶比較集中，而且賽事的時(shí)間是計(jì)劃性的，在開賽時(shí)間的負(fù)載會有一個(gè)突發(fā)，對系統(tǒng)高并發(fā)壓力較大。同時(shí)，在競技比賽中的瞬時(shí)熱點(diǎn)事件時(shí)刻，會有更加迅猛的業(yè)務(wù)和流量壓力變化，比如比賽在一個(gè)意外情況下突然分出勝負(fù)，將會激發(fā)觀眾發(fā)送大量彈幕，當(dāng)同房間所有觀眾同一時(shí)刻發(fā)送數(shù)據(jù)時(shí)，數(shù)據(jù)量會有一個(gè)爆炸式的增長，瞬時(shí)負(fù)載可想而知。

應(yīng)對瞬時(shí)流量增長和高并發(fā)等壓力，通常從根本上有效解決的方法，一是預(yù)留足夠的資源水位，確保流量峰值時(shí)系統(tǒng)處理能力是滿足需求的，這就要求系統(tǒng)具備很好的資源彈性能力；二是通過流量調(diào)度系統(tǒng)，把負(fù)載分散到不同資源上并行處理，緩解單點(diǎn)壓力。

2、秒開/低延時(shí)/流暢度等核心體驗(yàn)保障

直播的核心體驗(yàn)指標(biāo)直接決定了用戶的播放和觀看體驗(yàn)，最常見的指標(biāo)就是播放延時(shí)和播放流暢度，提升體驗(yàn)指標(biāo)的方法有很多，比如調(diào)度和網(wǎng)絡(luò)鏈路的質(zhì)量優(yōu)化、協(xié)議優(yōu)化、P2P傳輸技術(shù)、播放器優(yōu)化等。

保障體驗(yàn)指標(biāo)的關(guān)鍵，還是在于內(nèi)容分發(fā)速度和網(wǎng)絡(luò)傳輸質(zhì)量等層面，直播中的分發(fā)環(huán)節(jié)就是依賴CDN系統(tǒng)的能力保證網(wǎng)絡(luò)分發(fā)的速度和質(zhì)量，同時(shí)形成用戶就近訪問的效果，降低網(wǎng)絡(luò)時(shí)延，減少跨網(wǎng)或復(fù)雜網(wǎng)絡(luò)鏈路訪問帶來的不穩(wěn)定。其實(shí)除了直播流分發(fā)，直播場景中還可以將更多業(yè)務(wù)模塊放到邊緣完成，比如推流后的轉(zhuǎn)碼、彈幕的分發(fā)等，充分利用邊緣網(wǎng)絡(luò)和邊緣計(jì)算的優(yōu)勢，達(dá)到更好的體驗(yàn)。

3、服務(wù)穩(wěn)定性

服務(wù)穩(wěn)定的重要性毋庸置疑，尤其在大型賽事直播中，穩(wěn)定性一旦出問題，影響會非常大。
服務(wù)的穩(wěn)定性首先取決于架構(gòu)和方案的設(shè)計(jì)，針對系統(tǒng)風(fēng)險(xiǎn)點(diǎn)進(jìn)行高可用設(shè)計(jì)，確保不出現(xiàn)單點(diǎn)故障對全鏈路的影響，核心模塊要有failover能力或降級方案。其次，穩(wěn)定性要重點(diǎn)做好監(jiān)控和運(yùn)維，確保故障及時(shí)發(fā)現(xiàn)，并具備高效的問題定位和處置恢復(fù)能力。

實(shí)際上，在面臨了以上種種業(yè)務(wù)挑戰(zhàn)之后，越來越多的直播平臺已經(jīng)在將業(yè)務(wù)下沉到邊緣，充分利用邊緣網(wǎng)絡(luò)和計(jì)算的優(yōu)勢，第一，可以降低網(wǎng)絡(luò)延時(shí)，為用戶提供更好的觀看體驗(yàn)。第二，緩解了中心資源和單點(diǎn)資源的壓力，化解瞬時(shí)壓力，保障業(yè)務(wù)洪峰的平穩(wěn)度過。

那么如果自建節(jié)點(diǎn)，會面臨哪些問題？

就像上圖所說，自建基礎(chǔ)設(shè)施的過程中會面臨很多痛點(diǎn)和挑戰(zhàn)：

1、資產(chǎn)重，成本高

首先，自建基礎(chǔ)設(shè)施意味著從商務(wù)采購、服務(wù)器采購等供應(yīng)鏈管理、到節(jié)點(diǎn)建設(shè)都要自己來做，會導(dǎo)致資產(chǎn)投入過重和成本過高等問題。

2、彈性能力差

其次，當(dāng)應(yīng)對一些突發(fā)業(yè)務(wù)需求的時(shí)候，由于新建節(jié)點(diǎn)交付的周期長，彈性能力比較差，而臨時(shí)業(yè)務(wù)高峰過后又會有很多的資源閑置。

3、運(yùn)維難度大

另外，自建基礎(chǔ)設(shè)施還帶來運(yùn)維的挑戰(zhàn)，首先需要將邊緣節(jié)點(diǎn)從建設(shè)、交付到運(yùn)行的整個(gè)流程管理起來，其次要管理邊緣節(jié)點(diǎn)內(nèi)物理服務(wù)器層面、操作系統(tǒng)層面、以及軟件應(yīng)用層面的運(yùn)維問題，出現(xiàn)問題時(shí)要有一組工具幫助遠(yuǎn)程查看日志和問題排查定位，這些對運(yùn)維的自動化和白屏化提出了很高的要求。

4、安全、可靠性考驗(yàn)

最后一個(gè)挑戰(zhàn)是安全和可靠性方面，首先邊緣DC基礎(chǔ)環(huán)境的可靠性依賴第三方運(yùn)營商的服務(wù)，需要應(yīng)對各種復(fù)雜的情形，包括針對運(yùn)營商網(wǎng)絡(luò)割接考慮應(yīng)對策略等問題。針對邊緣節(jié)點(diǎn)中各種可能軟硬件故障，還要有及時(shí)發(fā)現(xiàn)和調(diào)度的能力，這些要求將直接體現(xiàn)到業(yè)務(wù)架構(gòu)的設(shè)計(jì)開發(fā)中，挑戰(zhàn)和成本都很大。另外安全方面要著重考慮網(wǎng)絡(luò)流量安全、主機(jī)安全等不同層面的安全問題，每個(gè)層面的安全方案開發(fā)成本都很高，比如DDoS防護(hù)，當(dāng)針對某個(gè)邊緣節(jié)點(diǎn)內(nèi)IP的攻擊發(fā)生時(shí)，可能整個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)都出現(xiàn)不可用問題，而想要達(dá)到預(yù)期的防護(hù)效果，可能需要在每個(gè)邊緣節(jié)點(diǎn)都部署一套軟件加硬件的系統(tǒng)方案。

阿里云推出的邊緣節(jié)點(diǎn)服務(wù)（ENS）這個(gè)云產(chǎn)品，就是針對前面提到的目標(biāo)場景，來應(yīng)對客戶自建邊緣設(shè)施遇到的痛點(diǎn)和挑戰(zhàn)的。ENS將阿里云的公共云邊界進(jìn)一步拓展到邊緣，與公共云一起完整支撐客戶“中心+邊緣”的復(fù)雜業(yè)務(wù)架構(gòu)需求，真正將云的基礎(chǔ)設(shè)施能力做到下沉到用戶身邊。目前該服務(wù)已經(jīng)在官網(wǎng)上線，同時(shí)在虎牙直播平臺S8賽事護(hù)航中，得了很好的場景應(yīng)用和能力驗(yàn)證。

邊緣節(jié)點(diǎn)服務(wù)（ENS）對直播業(yè)務(wù)場景的支撐

我們回歸直播業(yè)務(wù)本身，它是一個(gè)非常依賴內(nèi)容分發(fā)能力的業(yè)務(wù)場景，CDN系統(tǒng)能夠支持主播就近推流以及直播流的分發(fā)和就近訪問，確保整個(gè)流程的低時(shí)延，同時(shí)大大降低帶寬分發(fā)的成本。而ENS正是基于已有的CDN節(jié)點(diǎn)形成更豐富的計(jì)算、存儲、網(wǎng)絡(luò)、安全等能力，可以很方便地支撐客戶自有的CDN系統(tǒng)，以及在邊緣DC中運(yùn)行的直播服務(wù)模塊。

1、更好的支撐資源彈性需求

前面提到應(yīng)對業(yè)務(wù)流量突發(fā)以及瞬時(shí)流量增長最有效的方法是預(yù)留足夠的資源，實(shí)際上是資源彈性的需求。目前“中心-終端”架構(gòu)的業(yè)務(wù)，已經(jīng)可以通過使用阿里云的彈性計(jì)算服務(wù)輕松的具備這個(gè)能力；直播業(yè)務(wù)由于需要基于大量的CDN節(jié)點(diǎn)進(jìn)行分發(fā)，其資源彈性需求有很大部分在邊緣，實(shí)際上是一個(gè)“中心-邊緣-終端”的架構(gòu)。

ENS正是面向這種架構(gòu)和場景需求設(shè)計(jì)的，依托ENS在全國各地區(qū)和運(yùn)營商的完整覆蓋，以及節(jié)點(diǎn)豐富的計(jì)算和帶寬資源能力，能夠支撐大型賽事或活動的直播的資源彈性需求。ENS具備應(yīng)用和鏡像下發(fā)能力，資源創(chuàng)建可以在1分鐘左右完成，極大提升資源擴(kuò)縮容的效率。

2、完整開放的場景服務(wù)能力

ENS封裝了邊緣節(jié)點(diǎn)底層復(fù)雜的基礎(chǔ)設(shè)施和網(wǎng)絡(luò)環(huán)境，向客戶提供標(biāo)準(zhǔn)的計(jì)算、存儲、網(wǎng)絡(luò)、及安全能力，客戶不需關(guān)心底層設(shè)施和環(huán)境的各種差異，也不需關(guān)心底層運(yùn)維問題。

在這些邊緣實(shí)例和算力資源上，可以將直播業(yè)務(wù)中適合放到邊緣的任何模塊進(jìn)行下沉，指定好資源規(guī)格及帶寬用量即可。ENS提供了多種存儲方案，以及DDoS防護(hù)能力，能夠完整支撐直播及其他多種場景的基礎(chǔ)能力需求。

3、可靠的連續(xù)服務(wù)能力

ENS系統(tǒng)是基于阿里云飛天2.0 Apsara Edge架構(gòu)設(shè)計(jì)開發(fā)，繼承了阿里云飛天系統(tǒng)多年的技術(shù)沉淀，結(jié)合阿里云全球領(lǐng)先的自動運(yùn)維系統(tǒng)，形成可靠的連續(xù)服務(wù)能力。ENS實(shí)例和算力資源通過底層自動化遷移能力確保高可用，在節(jié)點(diǎn)網(wǎng)絡(luò)方面也具備完整覆蓋監(jiān)控能力，實(shí)時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)抖動。ENS支持客戶級別的資源隔離，避免資源爭搶，這些都確保了直播邊緣業(yè)務(wù)模塊運(yùn)行的穩(wěn)定性。

4、方便高效的運(yùn)維支撐

ENS有完整易用的Web管理控制臺和OpenAPI，支持邊緣實(shí)例的遠(yuǎn)程在線管理，支持CPU/存儲IO/網(wǎng)絡(luò)流量等各項(xiàng)運(yùn)行指標(biāo)的實(shí)時(shí)可視化監(jiān)控，以及數(shù)據(jù)的可視化統(tǒng)計(jì)分析，極大提升了監(jiān)控運(yùn)維的能力和效率。

5、顯著降低中心帶寬成本

ENS除了能節(jié)省業(yè)務(wù)初始階段的資源建設(shè)、開發(fā)成本，和后期的運(yùn)維、管理成本外，還可以節(jié)省中心到邊緣的帶寬成本，有數(shù)據(jù)統(tǒng)計(jì)，平均可節(jié)約30%的中心帶寬成本。

ENS針對賽事直播業(yè)務(wù)場景的優(yōu)化

阿里云ENS團(tuán)隊(duì)針對常規(guī)活動/賽事/電競直播這一業(yè)務(wù)場景，也做了很多技術(shù)優(yōu)化。同時(shí)，在大型賽事直播需求下，團(tuán)隊(duì)也會啟動針對性的風(fēng)險(xiǎn)評估和護(hù)航規(guī)劃，在賽事初期就開始密切跟蹤直播平臺各項(xiàng)業(yè)務(wù)指標(biāo)、性能指標(biāo)以及穩(wěn)定性方面的表現(xiàn)，每場比賽都有專人進(jìn)行值班護(hù)航，及時(shí)發(fā)現(xiàn)和解決直播中遇到的問題。

1、邊緣節(jié)點(diǎn)內(nèi)彈幕服務(wù)丟包問題優(yōu)化

彈幕在直播平臺是非常常見的互動模式，從技術(shù)層面一般屬于多人在線聊天室的架構(gòu)，每個(gè)在線用戶的發(fā)言均廣播給在線的所有其他用戶，因此在一些重要賽點(diǎn)，經(jīng)常性的突發(fā)極高的瞬間流量，與其它常規(guī)業(yè)務(wù)流量模型差異較大。不同時(shí)間粒度的采樣帶寬曲線如下圖所示。

可以看到采樣粒度稍大時(shí)帶寬波動比較平滑，根本看不出任何問題，節(jié)點(diǎn)帶寬水位也很充足，但秒級的帶寬瞬時(shí)波動非常大，而且?guī)挿逯禃虻胶芨?#xff0c;正是因?yàn)檫@種突發(fā)的極高瞬間帶寬，會打滿服務(wù)器網(wǎng)卡，單節(jié)點(diǎn)內(nèi)多臺服務(wù)器疊加形成對交換機(jī)瞬間極大處理壓力，導(dǎo)致丟包。

針對以上問題，ENS通過網(wǎng)卡流量整形的方式，避免數(shù)據(jù)瞬間集中廣播。流量整形后經(jīng)線上驗(yàn)證效果良好，可以有效避免丟包情況的出現(xiàn)。

2、部分網(wǎng)絡(luò)傳輸業(yè)務(wù)實(shí)例丟包問題優(yōu)化

直播的效果是依賴網(wǎng)絡(luò)傳輸?shù)?#xff0c;部分網(wǎng)絡(luò)傳輸業(yè)務(wù)的實(shí)例會發(fā)現(xiàn)丟包問題，針對這個(gè)問題，ENS也會進(jìn)行一些優(yōu)化。首先進(jìn)行排查，如交換機(jī)、實(shí)例本身有沒有異常，CPU負(fù)載高不高，丟包的嚴(yán)重程度與帶寬密切相關(guān)。然后，進(jìn)一步對實(shí)例CPU多核負(fù)載進(jìn)行分析，定位問題源頭所在。

比如部分核心負(fù)載過高，網(wǎng)卡中斷處理能力不足導(dǎo)致時(shí)延和丟包率上升的情況下，ENS可針對實(shí)例開啟RPS特性，從而保障實(shí)例的時(shí)延和丟包率的正常。在平時(shí)業(yè)務(wù)5倍壓力的情況下，ENS實(shí)例仍能保證性能和服務(wù)穩(wěn)定。

3、定制化監(jiān)控

針對直播的業(yè)務(wù)特點(diǎn)，以及活動/賽事/電競等大型活動期間核心關(guān)注點(diǎn)，阿里云邊緣計(jì)算團(tuán)隊(duì)基于過往經(jīng)驗(yàn)，和客戶的溝通，進(jìn)行了深入分析，將該業(yè)務(wù)場景下的數(shù)據(jù)進(jìn)行可視化監(jiān)控。

ENS支持定制化開發(fā)，更貼近用戶業(yè)務(wù)需求的監(jiān)控報(bào)警能力，在網(wǎng)絡(luò)抖動、節(jié)點(diǎn)和實(shí)例實(shí)時(shí)服務(wù)能力等方面確保第一時(shí)間發(fā)現(xiàn)問題并通知客戶，與客戶的系統(tǒng)形成聯(lián)動，在最短的時(shí)間內(nèi)響應(yīng)并解決問題。在重大賽事的護(hù)航方面，根據(jù)比賽時(shí)間開發(fā)自動化排班值班系統(tǒng)，形成響應(yīng)和處理的專項(xiàng)綠色通道，保障服務(wù)穩(wěn)定性。

關(guān)于ENS多存儲方案及安全能力

除了直播場景，ENS在其他邊緣場景支撐上還有不少關(guān)鍵能力。

1、多種存儲方案支撐更豐富的場景需求

不同業(yè)務(wù)場景對實(shí)例塊存儲的需求差異比較大，體現(xiàn)在存儲容量、IO性能、存儲可靠性等不同方面，業(yè)務(wù)邏輯有狀態(tài)的場景可能需要確保數(shù)據(jù)不丟失或可恢復(fù)，像CDN等業(yè)務(wù)場景則需要海量存儲空間，并且IO讀性能足夠高。這些需求用統(tǒng)一一套存儲方案很難將各類需求支撐到極致，ENS設(shè)計(jì)開發(fā)了云盤、本地盤等多種存儲架構(gòu)的方案，能夠支持各種存儲需求。從目前線上的反饋看，無論是IO性能、IO吞吐，還是存儲容量、存儲高可用等各方面都形成了穩(wěn)定的服務(wù)能力。

2. 邊緣節(jié)點(diǎn)安全能力

ENS邊緣節(jié)點(diǎn)還具備網(wǎng)絡(luò)流量安全防護(hù)能力，支持DDoS檢測和清洗，當(dāng)針對某個(gè)邊緣節(jié)點(diǎn)內(nèi)IP的攻擊發(fā)生時(shí)，能夠秒級實(shí)時(shí)檢測發(fā)現(xiàn)并自動進(jìn)行流量清洗，同時(shí)結(jié)合IP黑洞能力為節(jié)點(diǎn)提供高可用的穩(wěn)定持續(xù)服務(wù)能力，控制風(fēng)險(xiǎn)范圍。客戶還可以結(jié)合阿里云的云盾等其他安全產(chǎn)品一起使用，達(dá)到更好的整體安全防護(hù)效果。

除了直播，其他業(yè)務(wù)如何應(yīng)用ENS?

邊緣節(jié)點(diǎn)可以支持全網(wǎng)廣覆蓋、本地化服務(wù)兩個(gè)類業(yè)務(wù)場景。

第一，在全網(wǎng)廣覆蓋這類場景中，主要以互聯(lián)網(wǎng)行業(yè)的線上業(yè)務(wù)為主，對服務(wù)的目標(biāo)范圍一般是沒有太多區(qū)域限制的，邊緣節(jié)點(diǎn)也要做到全網(wǎng)足夠廣泛的覆蓋。比如CDN業(yè)務(wù)本身就是典型的邊緣計(jì)算場景，可以無縫地直接跑到ENS上，從而為整體成本、運(yùn)維能力等方面帶來明顯的收益和提升。互動直播和實(shí)時(shí)音視頻通信，則是低時(shí)延的要求以及帶寬成本節(jié)省的訴求。探測監(jiān)控這類業(yè)務(wù)需求主要是希望在距離用戶最近的邊緣，匹配真實(shí)的業(yè)務(wù)和網(wǎng)絡(luò)環(huán)境，去探測一些業(yè)務(wù)邏輯的正確性、業(yè)務(wù)穩(wěn)定性以及核心業(yè)務(wù)的性能指標(biāo)等。游戲加速和SD-WAN，這類場景本質(zhì)是希望在邊緣節(jié)點(diǎn)上做邊緣軟網(wǎng)關(guān)或軟路由，通過網(wǎng)絡(luò)協(xié)議和網(wǎng)絡(luò)鏈路的優(yōu)化，完成加速和安全等目標(biāo)，邊緣節(jié)點(diǎn)在其中起到的作用與實(shí)時(shí)通信是類似的。

第二大類的典型場景是本地化，關(guān)注的是十公里以內(nèi)超低時(shí)延及大帶寬業(yè)務(wù)場景，要求延時(shí)在1ms以內(nèi)來滿足業(yè)務(wù)需求。這類場景更多偏向傳統(tǒng)行業(yè)或者線下業(yè)務(wù)，具有區(qū)域性的特點(diǎn)。比如城市大腦這類場景中的視頻監(jiān)控上云，新零售場景中一些店鋪在視頻AI及監(jiān)控的自動化識別和售賣等環(huán)節(jié)的應(yīng)用上云，本地行業(yè)的一些IT設(shè)施上云等，這些阿里云都在逐步形成成熟的案例。

目前，ENS服務(wù)已經(jīng)在阿里云官網(wǎng)正式上線，支持直接在線申請開通、控制臺創(chuàng)建算力資源、進(jìn)行業(yè)務(wù)部署和效果測試。同時(shí)，業(yè)務(wù)正式上線運(yùn)營后，可直接通過控制臺管理、查看用量和動態(tài)監(jiān)控。

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的当S8遇上边缘计算：谈阿里云ENS对直播业务场景的支撑的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。