机器学习从入门到精通50讲(四)-实时数仓应用实践案例
生活随笔
收集整理的這篇文章主要介紹了
机器学习从入门到精通50讲(四)-实时数仓应用实践案例
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
??隨著實時技術的不斷發展和商家實時應用場景的不斷豐富,有贊在實時數倉建設方面做了大量的嘗試和實踐。本文主要分享有贊在建設實時數倉過程中所沉淀的經驗,內容包括以下五個部分:
-
建設背景
-
應用場景
-
方案設計
-
項目應用
-
未來展望
一、建設背景
-
實時需求日趨迫切
產品需求和內部決策對于數據實時性的要求越來越迫切,需要實時數倉的能力來賦能。傳統離線數倉的數據時效性是T+1,調度頻率以天為單位,無法支撐實時場景的數據需求。即使能將調度頻率設置成小時,也只能解決部分時效性要求不高的場景,對于實效性要求很高的場景還是無法優雅的支撐。因此實時使用數據的問題必須得到有效解決。
-
實時技術日趨成熟
實時計算框架已經經歷了三代發展,分別是:Storm、SparkStreaming、Flink,計算框架越來越成熟。一方面,實時任務的開發已經能通過編寫SQL的方式來完成,在技術層面能很好地繼承離線數倉的架構設計思想;另一方面,有贊在線數據開發平臺所提供的功能對實時任務開發、調試、運維的支持也日漸趨于成熟,開發成本逐步降低,有助于去做這件事。
二、應用場景
-
實時BI看板
通過有贊BI工具基于實
總結
以上是生活随笔為你收集整理的机器学习从入门到精通50讲(四)-实时数仓应用实践案例的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 万字长文:对账系统从入门到精通(建议收藏
- 下一篇: 技术前沿资讯-Apache Flink