前言

本文根據(jù) Apache Flink 系列直播整理而成，由美團(tuán)點(diǎn)評(píng)數(shù)據(jù)系統(tǒng)研發(fā)工程師黃偉倫老師分享。主要內(nèi)容如下：

• 實(shí)時(shí)數(shù)倉(cāng)建設(shè)目的

• 如何建立實(shí)時(shí)數(shù)倉(cāng)

• 倉(cāng)庫(kù)質(zhì)量保證

實(shí)時(shí)數(shù)倉(cāng)建設(shè)目的

 

實(shí)時(shí)數(shù)倉(cāng)是一個(gè)很容易讓人產(chǎn)生混淆的概念。實(shí)時(shí)數(shù)倉(cāng)本身似乎和把 PPT 黑色的背景變得更白一樣，從傳統(tǒng)的經(jīng)驗(yàn)來(lái)講，我們認(rèn)為數(shù)倉(cāng)有一個(gè)很重要的功能，即能夠記錄歷史。通常，數(shù)倉(cāng)都是希望從業(yè)務(wù)上線的第一天開(kāi)始有數(shù)據(jù)，然后一直記錄到現(xiàn)在。

 

但實(shí)時(shí)處理技術(shù)，又是強(qiáng)調(diào)當(dāng)前處理狀態(tài)的一門(mén)技術(shù)，所以我們認(rèn)為這兩個(gè)相對(duì)對(duì)立的方案重疊在一起的時(shí)候，它注定不是用來(lái)解決一個(gè)比較廣泛?jiǎn)栴}的一種方案。于是，我們把實(shí)時(shí)數(shù)倉(cāng)建設(shè)的目的定位為解決由于傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)時(shí)效性低解決不了的問(wèn)題。

 

由于這個(gè)特點(diǎn)，我們給定了兩個(gè)原則：

 

• 傳統(tǒng)數(shù)倉(cāng)能解決的問(wèn)題，實(shí)時(shí)數(shù)倉(cāng)就不解決了。比如上個(gè)月的一些歷史的統(tǒng)計(jì)，這些數(shù)據(jù)是不會(huì)用實(shí)時(shí)數(shù)倉(cāng)來(lái)建設(shè)的。

• 問(wèn)題本身就不太適合用數(shù)倉(cāng)來(lái)解決，也不用實(shí)時(shí)數(shù)倉(cāng)解決。比如業(yè)務(wù)性很強(qiáng)的需求，或者是對(duì)時(shí)效性要求特別高的需求。這些需求我們也不建議通過(guò)實(shí)時(shí)數(shù)倉(cāng)這種方式來(lái)進(jìn)行解決。

 

當(dāng)然為了讓我們整個(gè)系統(tǒng)看起來(lái)像是一個(gè)數(shù)倉(cāng)，我們還是給自己提了一些要求的。這個(gè)要求其實(shí)跟我們建立離線數(shù)倉(cāng)的要求是一樣的，首先實(shí)時(shí)的數(shù)倉(cāng)是需要面向主題的，然后具有集成性，并且保證相對(duì)穩(wěn)定。

 

離線數(shù)倉(cāng)和實(shí)

總結(jié)

以上是生活随笔為你收集整理的Flink从入门到精通100篇（八）-美团点评是如何在 Flink平台建立 实时数仓的？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。