點擊▲關注 “中生代技術”? ?給公眾號標星置頂

更多精彩 第一時間直達

數據中臺是當下非常熱門的話題，可以解決企業重復造輪子的問題。雖然數據中臺在互聯網企業中已經有了多年的實踐，但是對于傳統企業來說還是一個比較新的話題。

本文選自《數據中臺架構：企業數據化最佳實踐》一書，本書作者袋鼠云合伙人、高級副總裁張旭及其團隊根據在多個數據中臺項目落地實踐中總結出的一套方法論總結而成——數據中臺建設五步法。

▲ 掃碼獲取本書詳情 ▲

《數據中臺架構》交流群

《數據中臺架構》圖書讀者交流群現在開放入群，各位對中臺架構感興趣的同學千萬不要錯過。

文末還有作者張旭老師的中臺架構直播分享，有任何技術問題都歡迎在群交流碰撞。除此之外，博文菌也會不時地奉上一些獨家增值資源與購書福利。

免費坑位有限，先到先得！

入群同學請遵守群規，不然可是會被博文菌無情踢出去的！

01

第一步：數據資源的盤點與規劃

數據化的基礎是信息化或者信息化所產生的數據。這些數據本就有數據化的含義，同時這些數據又會進入數據化框架體系，繼續通過計算產出更多的數據和更大的價值。所以，對企業數據資源的盤點是數據化建設的前提和基礎。一份完整、準確的數據資源是后續數據化建設的有力保障。

數據資源的盤點與規劃需要達到以下目的：

（1）對現有數據資源盤點和統計。

（2）對企業可以擁有或者應該擁有的數據資源進行規劃。

（3）構建盤點體系并使用必要工具，保證盤點的成果能夠始終與真實情況相符。

02

第二步：數據應用規劃與設計

企業要基于現有的技術條件和方案，進行相對完整的數據應用規劃。這個步驟可以回答如下問題。

?1. 企業中有哪些數據需求?

我們要從業務線、業務層級到最細粒度的崗位，梳理數據需求。

?2. 企業應該構建哪些數據應用?

我們要圍繞數據需求進行數據應用的整體規劃和設計。

?3. 應該按照什么順序實現這些數據應用?

我們要對數據應用建立評估模型，評估的維度包括數據應用是否可以實現、數據應用的業務價值、數據應用的實現成本這三個主要方面。通過評定結果，我們可以確定數據應用的實現路徑。

03

第三步：數據資產建設

數據資產的建設要依托數據中臺的核心產品完成。數據資產是企業數據化建設的關鍵基礎。所有的數據化建設最后都以數據資產為基礎，并且圍繞這個基礎展開。數據資產將是企業在全面數據化建設前期中投入最多、見效最慢的基礎層模塊。關于數據中臺的種種探討和爭議以及妥協的很大一部分原因是這個基礎建設龐大、復雜和投入高。?

數據資產建設的內容包括以下幾個方面：

?1. 技術建設?

（1）產品選型。產品選型包括如何選擇數據中臺產品、數據中臺產品應該具備的功能以及技術參數指標。

（2）技術架構設計。技術架構設計包括數據中臺產品如何部署、如何替換傳統的數據倉庫或者與之并行、數據中臺如何抽取當前的應用數據。

?2. 標準和數據倉庫模型構建?

（1）建模及開發規范。建模及開發規范包括數據倉庫模型設計規范的制定，數據開發規范的制定，如何避免當前較為常見的數據開發混亂、難以運維的情況。

（2）數據建模。數據建模包括進行數據倉庫模型構建，并提交評審。

?3. 數據抽取、數據開發、任務監控與運維?

（1）數據抽取。數據抽取包括從數據資源層抽取數據進入ODS層。

（2）數據開發。數據開發包括進行數據任務開發，進行數據清洗、數據計算。

（3）任務監控與運維。任務監控與運維包括監控所有數據任務，對異常和錯誤任務進行必要的人工干預和處理。

?4. 數據質量校驗?

數據質量校驗包括對當前發現的數據質量問題進行校驗和處理，推動數據治理工作開展和持續優化。

?5. 數據應用支撐?

數據應用支撐包括為當前的數據應用開發提供支撐開發平臺。

04

第四步：數據應用的詳細設計與實現

不管是使用瀑布模型還是敏捷模型，數據應用的設計大體上都可以遵循傳統信息化應用設計的過程和理念。數據應用中的數據開發一般在數據庫或者數據倉庫中完成。數據應用的內容展示可以采用BI分析工具展現，例如可視化大屏或者定制化開發應用。數據應用還可以通過API接口服務提供數據成果，讓其他外部應用按需調用。數據應用的開發與傳統信息化應用的開發有以下不同之處。

?1. 數據應用關注數據源的內容和質量?

我們在數據應用實施前應該充分了解企業當前的數據源情況，包括數據種類、每種數據的具體屬性、數據內容的質量等問題。大部分落地失敗的數據應用，都是由數據源的各種問題引起的，比如數據缺失或者數據質量問題。

?2. 復雜的數據開發需要不斷調優和迭代?

隨著機器學習、深度學習等算法的引入，數據模型的構建手段越來越豐富。但是在通常情況下，最終業務價值的產生是一個復雜的過程，不僅需要數據的支撐，還需要管理的配合。

?3. 數據應用的結果數據的驗證工作量占比高?

論證數據結果的正確與否或者評估數據應用的效果，是一項費時、費力的工作。即使相對簡單的指標計算，最后也經常會占用全部過程中1/3以上的時間進行正確性驗證。甚至很多算法類項目，需要提前構建成果評估模型，并首先獲得甲方企業的認可，然后才能開始進行數據開發。

?4. 數據應用的運維難度大?

因為數據中的各種異常情況往往是不可知或者意想不到的，所以數據運維需要有強大的人工保障，以保持任務的運轉。

?5. 數據應用的成果需要運營?

數據應用的開發完成只是數據發揮價值的第一步，如何讓業務部門理解模型、用好數據才是后續的關鍵。尤其是在剛剛引入新的數據，且尚未顯現業務價值的時候，企業更需要對數據進行深入運營。

05

第五步：數據化組織規劃

企業數據化應該是在未來一個時期內具有企業戰略高度的事情，數據化需要一個具有同等戰略高度的組織負責推進。無論是從傳統的IT部門轉型還是由戰略部門或者類似部門介入都是很好的選擇。組織是保障數據中臺順利落地的一個核心，也是推動企業數據化進程的人員抓手。

? 更多干貨請見??

《數據中臺架構：企業數據化最佳實踐》

張旭 戴麗 訚賽華 等 著?

• 中生代技術社區推薦IT圖書系列，當當上一網打盡，社區特別優惠碼?K3FT5X

（掃碼了解本書詳情）

• 中生代技術社區聯合博文視點，為社區小伙伴提供贈書福利；獲獎規則：本文末留言點在看，轉發本文到朋友圈（技術人必備三連），獲得點贊數前3名各獲得圖書一本

《數據中臺架構》主要作者張旭老師，日前在博文視點學院開展了一場關于【數據中臺架構】的直播分享，限時免費回看！

大家趕快識別下方二維碼，結合視頻分享來加速吸收本文的知識點吧！

▲掃碼收看回放▲

??熱文推薦??

• 中臺設計和實踐：海量并發業務中臺，新業務秒級接入交易中臺

• 大數據中臺之Kafka，到底好在哪里？

• 大中臺模式下如何構建復雜業務核心狀態機組件

• 漫畫：學習中臺，看這篇就夠了
  
  

想要加入中生代架構群的小伙伴，請添加群合伙人大白的微信

申請備注（姓名+公司+技術方向）才能通過哦！

? ?END ? ?? #接力技術，鏈接價值#

技術人素質三連，「在看、評論加轉發」

總結

以上是生活随笔為你收集整理的数据中台建设五步法（文末赠书）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。