推荐系统-07-lambda架构
Lambda 架構(gòu)
Lambda 架構(gòu)由Storm的作者Nathan Marz提出,其設(shè)計目的在于提供一個能滿足大數(shù)據(jù)系統(tǒng)關(guān)鍵特性的架構(gòu),包括高容錯、低延遲、可擴展等。其整合離線計算與實時計算,融合不可變性、讀寫分離和復雜性隔離等原則,可集成Hadoop, Kafka, Spark,Storm等各類大數(shù)據(jù)組件。
Lambda 架構(gòu)可分解為三層Layer,即Batch Layer, Real-Time(Speed) Layer和Serving Layer。
Batch Layer : 存儲數(shù)據(jù)集,在數(shù)據(jù)集上預先計算查詢函數(shù),并構(gòu)建查詢所對應(yīng)的View。Batch Layer可以很好的處理離線數(shù)據(jù),但有很多場景數(shù)據(jù)是不斷實時生成且需要實時查詢處理,對于這情況, Speed Layer更為適合。
Speed Layer : Batch Layer處理的是全體數(shù)據(jù)集,而Speed Layer處理的是最近的增量數(shù)據(jù)流。Speed Layer為了效率,在接收到新的數(shù)據(jù)后會不斷更新Real-time View,而Batch Layer是根據(jù)全體離線數(shù)據(jù)集直接得到Batch View。
Serving Layer : Serving Layer用于合并Batch View和Real-time View中的結(jié)果數(shù)據(jù)集到最終數(shù)據(jù)集。
推薦系統(tǒng)之lambda架構(gòu)
斗魚大數(shù)據(jù)架構(gòu)
《新程序員》:云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的推荐系统-07-lambda架构的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 漫画谈-微积分(一)
- 下一篇: 使用keepalived监控tomcat