摘要： 對于創(chuàng)業(yè)成長型的企業(yè)來說，離線計(jì)算已經(jīng)必不可少了，通過離線計(jì)算我們可以生成復(fù)雜的業(yè)務(wù)報(bào)表，通過離線計(jì)算我們也能精確的算出用戶畫像。離線計(jì)算已經(jīng)當(dāng)今的企業(yè)中成為了不可或缺的存在。那么使用彈性計(jì)算能夠?qū)﹄x線計(jì)算領(lǐng)域帶來什么好處呢？本文將介紹如何使用彈性計(jì)算節(jié)省企業(yè)離線計(jì)算成本。

背景

對于目前創(chuàng)業(yè)成長型的企業(yè)來說，離線計(jì)算已經(jīng)必不可少了，通過離線計(jì)算我們可以生成復(fù)雜的業(yè)務(wù)報(bào)表，通過離線計(jì)算我們也能精確的算出用戶畫像。離線計(jì)算已經(jīng)當(dāng)今的企業(yè)中成為了不可或缺的存在。那么使用彈性計(jì)算能夠?qū)﹄x線計(jì)算領(lǐng)域帶來什么好處呢？小編告訴你好處肯定是有的，且聽小編娓娓道來。

常見離線計(jì)算架構(gòu)

從上圖中我們用最常見的離線計(jì)算開源產(chǎn)品Hadoop作為例子，如上圖所示大家會(huì)把存儲服務(wù)跟計(jì)算符合放在一臺ECS上。但是隨著業(yè)務(wù)的擴(kuò)張，我們對計(jì)算的需求越來越大，我們需要用數(shù)據(jù)做各種運(yùn)算，為了增強(qiáng)離線集群的計(jì)算能力，我們會(huì)想到直接通過添加計(jì)算節(jié)點(diǎn)的方式來獲得。但是隨著計(jì)算節(jié)點(diǎn)的添加我們會(huì)遇到另一個(gè)問題，那就是資源利用率不夠的問題。雖然計(jì)算通過擴(kuò)容能夠提升計(jì)算能力，但是數(shù)據(jù)可不會(huì)像計(jì)算那樣突然猛增，所以對于存儲來說擴(kuò)容操作會(huì)暫時(shí)導(dǎo)致資源利用率的下降。再加上離線計(jì)算每天的計(jì)算時(shí)間只有一段時(shí)間，擴(kuò)容之后的ECS在每天離線計(jì)算完成之后將大量空閑，這段時(shí)間將是對成本極大的浪費(fèi)！那么很多客戶會(huì)想是否有一種方法能夠?qū)⒂?jì)算存儲分開進(jìn)行擴(kuò)容，并且在離線計(jì)算的時(shí)候?qū)τ?jì)算節(jié)點(diǎn)擴(kuò)容，在計(jì)算完成之后將擴(kuò)容的計(jì)算節(jié)點(diǎn)釋放掉，從而達(dá)到節(jié)省成本的目的。這個(gè)架構(gòu)肯定是有的，不過為了讓大家更好的理解接下來的架構(gòu)，小編先要給大家介紹一下競價(jià)實(shí)例和彈性伸縮。

競價(jià)實(shí)例簡單介紹

從上面的圖中大家可以發(fā)現(xiàn)競價(jià)實(shí)例是一種按照供需關(guān)系變化價(jià)格波動(dòng)的一種后付費(fèi)類型實(shí)例，相對于按量付費(fèi)實(shí)例價(jià)格有較低的折扣。不過同時(shí)競價(jià)實(shí)例是有可能隨時(shí)被阿里云釋放的，這點(diǎn)請大家務(wù)必注意。簡而言之就是競價(jià)實(shí)例便宜，但是可能隨時(shí)被釋放。

彈性伸縮簡單介紹

彈性伸縮總共有如下三個(gè)優(yōu)點(diǎn)：

提升容錯(cuò)能力

彈性伸縮會(huì)定時(shí)檢查ECS健康狀態(tài)，如果發(fā)現(xiàn)ECS不健康，那么ECS將會(huì)創(chuàng)建一臺新的ECS去替換它并且將不健康的ECS釋放掉。

增強(qiáng)可用性

彈性伸縮能夠通過定時(shí)、自動(dòng)伸縮保證應(yīng)用程序始終有合適的容量去滿足當(dāng)前的請求流量。

優(yōu)化成本

彈性計(jì)算通過自動(dòng)動(dòng)態(tài)的方式按需增減實(shí)例，在需要的時(shí)候添加實(shí)例，不需要的時(shí)候釋放實(shí)例，從而節(jié)約IT成本。

存儲計(jì)算分離之后的離線計(jì)算架構(gòu)

經(jīng)過上面對競價(jià)實(shí)例以及彈性伸縮簡單的介紹，現(xiàn)在小編可以大聲的告訴大家，存在一種基于彈性計(jì)算的架構(gòu)能夠不僅能夠滿足用戶對于海量數(shù)據(jù)的計(jì)算能力需求，而且還能降低大家的計(jì)算成本。

• 將Hadoop的存儲計(jì)算節(jié)點(diǎn)分離
• 使用彈性伸縮來按時(shí)、按需創(chuàng)建、釋放計(jì)算計(jì)算節(jié)點(diǎn)
• 計(jì)算節(jié)點(diǎn)的付費(fèi)類型采用競價(jià)方式

這里相信大家肯定又有疑問了，競價(jià)實(shí)例不是會(huì)被阿里云釋放嗎，這里使用競價(jià)實(shí)例合適嗎？答案是絕對合適的。第一競價(jià)實(shí)例的價(jià)格變量付費(fèi)便宜很多，第二就算競價(jià)實(shí)例被阿里云釋放了，影響的也緊緊只是我們離線計(jì)算的速度。在上面的架構(gòu)圖上小編也留了一臺ECS沒有加入伸縮組，這一臺ECS我們可以采用預(yù)付費(fèi)的方式為我們計(jì)算資源提供“保底”的計(jì)算能力，當(dāng)然我們也可以根據(jù)自身的需要來設(shè)置“保底”ECS的數(shù)量。

使用競價(jià)實(shí)例+彈性伸縮搭建離線計(jì)算架構(gòu)Tips

Spot Instance出價(jià)策略

通過阿里云ECS的售賣頁面查看競價(jià)實(shí)例多可用區(qū)的歷史價(jià)格，從而選擇一個(gè)合理的出價(jià)。

AutoScaling伸縮組配置

• 不要在整點(diǎn)觸發(fā)定時(shí)擴(kuò)容任務(wù)，整點(diǎn)擴(kuò)容的客戶比較多，大家可以選擇整點(diǎn)過后5-10分鐘進(jìn)行擴(kuò)容，這樣價(jià)格相對會(huì)低一些
• 通過監(jiān)測計(jì)算節(jié)點(diǎn)的CPU/MEM指標(biāo)來觸發(fā)報(bào)警任務(wù)
• 通過在伸縮組選擇多可用區(qū)來增加成功購買競價(jià)實(shí)例的概率
• 在伸縮組內(nèi)配置最大ECS數(shù)目防止彈性伸縮創(chuàng)建ECS數(shù)量超過預(yù)期
• 創(chuàng)建一條伸縮任務(wù)進(jìn)行手動(dòng)擴(kuò)容以備不時(shí)之需

使用Spot Instance + AutoScaling成本

原文鏈接

干貨好文，請關(guān)注掃描以下二維碼：

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的离线计算成本节省的神兵利器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。