簡介： Hologres+Flink+DataWorks實時數(shù)倉新方案為伊的家業(yè)務帶來了統(tǒng)一數(shù)據(jù)、統(tǒng)一服務、統(tǒng)一治理、統(tǒng)一存儲的價值，真的做到了開箱即用，所見即所得！

GitHub 地址
https://github.com/apache/flink
歡迎大家給 Flink 點贊送 star~

廣州伊的家網(wǎng)絡科技有限公司是一家專注于服務女性的B2B2C電商平臺，業(yè)務范圍包括護膚、彩妝、營養(yǎng)美容食品、私人定制服裝、跨境電商等領域。自2008年孵化項目，2011年5月上線天貓商城，全國8大配送中心，妍詩美、妍膳等品牌陸續(xù)成立，并于2013年上線了伊的家自主電商平臺，2020年全面啟動品牌升級。伊的家以互聯(lián)網(wǎng)主動式服務營銷，打造護膚老師與客戶強連接關(guān)系，從上到下嚴格貫徹以品質(zhì)及專業(yè)為基礎，以社交信任做連接，以服務獲得認可的經(jīng)營思路，經(jīng)過持續(xù)的創(chuàng)新和積累，成為社交電商翹楚。

業(yè)務場景與痛點分析

伊的家是一家集開發(fā)、設計、運營、銷售于一體一個B2B2B的電商平臺，服務百萬級會員之外，還同時支持上千級別經(jīng)銷商和代理商，業(yè)務應用多、數(shù)據(jù)量大、數(shù)據(jù)查詢并發(fā)要求高。

伊的家技術(shù)部門在近3年經(jīng)歷了高速發(fā)展，在發(fā)展過程中，始終堅持業(yè)務優(yōu)先，為此也進行了應用整合、拆分微服務、聚合分布式應用的多種技術(shù)升級改造，目前整個部門現(xiàn)狀分析如下：

• 架構(gòu)方面：多語言、多數(shù)據(jù)源、技術(shù)升級的業(yè)務入侵問題明顯；
• 數(shù)據(jù)方面：應用拆分引發(fā)的數(shù)據(jù)孤島問題，繼而造成大量的數(shù)據(jù)復制、重新建設問題；
• 應用方面：從業(yè)績的角度出發(fā)，業(yè)務方希望及時準確地看見業(yè)績數(shù)據(jù)，對實時性有了較高需求；
• 效率方面：體系化的流程與工具訴求愈發(fā)強烈；
• 成本方面：主要問題是既懂大數(shù)據(jù)又懂業(yè)務的人才招聘難，團隊建設成本高

伊的家近幾年業(yè)務高速增長，數(shù)據(jù)量激增，業(yè)務復雜度也隨之增大，解決在當前大數(shù)據(jù)架構(gòu)之下，“人才儲備難”、“業(yè)務升級受限于已有技術(shù)”、“雙11活動壓力大”等痛點問題已迫在眉睫。

產(chǎn)品選型

伊的家技術(shù)部門對于技術(shù)升級改造的需求有非常明確清晰的定義，主要圍繞關(guān)存儲彈性擴縮容、查詢性能優(yōu)化、OLAP、學習成本、查詢響應、可擴展等角度進行展開，核心關(guān)注以下3個問題：

1）如何快速完成數(shù)據(jù)清洗

2）如何快速精準完成數(shù)據(jù)校驗

3）如何快速進行故障恢復處理

在技術(shù)選型時始終堅持“技術(shù)選型是第一生產(chǎn)力”的原則，堅信技術(shù)儲備沒有最好只有更好，堅信技術(shù)選型是決定能力差異化所在，堅持提高一次性把事情做對的能力，堅信開放分享、認知升級的重要性。

早期耶基于Hadoop、HBase、Kafaka、Azkaban、Spark、Greenplum等開源大數(shù)據(jù)產(chǎn)品進行了許多摸索嘗試，通過性能對比最終采用了Greenplum，但最終發(fā)現(xiàn)Greenplum并發(fā)能力差，只適合分析場景，并不適合高并發(fā)的查詢服務。

后來，在阿里云大數(shù)據(jù)計算平臺團隊的建議下，伊的家技術(shù)部進行了全面架構(gòu)升級，整個架構(gòu)由DataWorks、實時計算Flink和Hologres組成，架構(gòu)簡單、學習成本非常低，僅通過SQL即可輕松跑通全鏈路。

下面將會給大家介紹，阿里云技術(shù)產(chǎn)品在伊的家落地的場景最佳實踐

最佳實踐

一、客戶系統(tǒng)實踐

伊的家原客戶關(guān)系管理系統(tǒng)（CRM）主要基于MySQL、MQ、Canal以及自研應用組成，為支持業(yè)務系統(tǒng)切斷式升級，技術(shù)部門自主研發(fā)了一套消息中間件，維護成本較高；基于Binlog、MQ、OLAP等產(chǎn)品自定義的數(shù)據(jù)開發(fā)流程過程繁瑣復雜、維護成本極高，且因為系統(tǒng)要求數(shù)據(jù)有序?qū)η逑吹牟l(fā)產(chǎn)生了一定的限制。

基于Hologres+DataWorks+實時計算Flink進行架構(gòu)升級后，直接通過DataWorks數(shù)據(jù)集成將數(shù)據(jù)庫數(shù)據(jù)實時寫入Hologres，然后通過實時計算Flink訂閱Hologres做進一步實時清洗，把結(jié)果表更新到數(shù)據(jù)庫，即可直接服務業(yè)務。

整體架構(gòu)清晰簡單、數(shù)據(jù)精準、端到端純實時、存儲分析一體化、托管式運維、全自動工具作業(yè)，原系統(tǒng)15人花了3個月才完成項目上線，當前架構(gòu)僅需2天即部署完成。

二、BI業(yè)績系統(tǒng)實踐

BI業(yè)績系統(tǒng)也可以理解為實時GMV大屏，業(yè)務數(shù)據(jù)主要有兩方面的要求：

• 實時
• 精準，業(yè)績計算絕不允許出錯。

原架構(gòu)如下圖圖所示，原始數(shù)據(jù)層通過Binlog，再經(jīng)過Canal套件實時寫入MQ，之后根據(jù)業(yè)務域進行業(yè)務數(shù)據(jù)分層和清洗。任務調(diào)度系統(tǒng)更新業(yè)績的順序為“日-月-季度-年”，這個看似完美的方案實際存在著幾個問題：

• 實時性問題：看似實時，其實過程中可能存在5~10分鐘的延遲；
• 并發(fā)問題：消費的并發(fā)有一定限度。
• 運維問題：如果圖中的某個環(huán)節(jié)出現(xiàn)問題，可能會導致系統(tǒng)也跟著出現(xiàn)問題。
• 數(shù)據(jù)清洗時效問題：清洗腳本運行一次可能需要數(shù)分鐘，這期間可能會發(fā)生許多其他事情。

下圖為升級后的BI業(yè)績系統(tǒng)新架構(gòu)。通過DataWorks實時同步明細數(shù)據(jù)至Hologres，基于Hologres數(shù)據(jù)再增加一份實時計算Flink的實時ETL作業(yè)，即可完成“日-月-季度-年”數(shù)據(jù)的加工，最后基于Hologres對上層應用提供分析查詢服務。整個系統(tǒng)純實時調(diào)度、實時性高、秒級延遲、全SQL開發(fā)、數(shù)據(jù)校驗高效。

三、實時應用數(shù)倉架構(gòu)實踐

伊的家的技術(shù)部門也一直在思考如何讓應用開發(fā)人員也具備大數(shù)據(jù)開發(fā)能力，如何讓大數(shù)據(jù)不僅僅為大數(shù)據(jù)團隊所用，還同時為應用開發(fā)團隊所用。

基于實時計算FLink+Hologres+DataWorks實時數(shù)倉架構(gòu)的落地，提升了數(shù)據(jù)底盤的可復用性，提高了應對業(yè)務變化的數(shù)據(jù)動態(tài)調(diào)整的靈活性，與應用團隊共同構(gòu)建起帶數(shù)據(jù)的應用系統(tǒng)。

四、集團數(shù)倉架構(gòu)實踐

伊的家數(shù)倉團隊服務在電商業(yè)務的同時，還需要支持集團內(nèi)部業(yè)務。集團數(shù)倉平臺如市場主流數(shù)倉架構(gòu)、基于開源大數(shù)據(jù)體系構(gòu)建，目前也已經(jīng)全面升級為Hologres+實時計算Flink+DataWorks實時數(shù)倉架構(gòu)。

業(yè)務價值與賦能

Hologres+實時計算Flink+DataWorks實時數(shù)倉新方案為業(yè)務上帶來的價值主要如下：

• 統(tǒng)一數(shù)據(jù)：一套方案就能支持完整流程，明細表、維度表等數(shù)據(jù)統(tǒng)一、有序
• 統(tǒng)一服務：由Hologers直接提供各種線上服務，包括數(shù)據(jù)分析，數(shù)據(jù)服務等，減少接口建設。
• 統(tǒng)一存儲：以Hologres為統(tǒng)一存儲，多數(shù)據(jù)源都能直接寫入到Hologres，無冗余存儲，節(jié)約成本
• 統(tǒng)一治理：DataWorks提供統(tǒng)一標準、統(tǒng)一作業(yè)和統(tǒng)一監(jiān)控等，為大數(shù)據(jù)開發(fā)平臺提供統(tǒng)一治理。

從業(yè)務上來說，新的大數(shù)據(jù)方案真的做到了開箱即用，所見即所得。

展望未來

在大數(shù)據(jù)領域，數(shù)據(jù)規(guī)模和業(yè)務復雜性是同時制約查詢性能的關(guān)鍵因素，在這個過程中，唯有我們的開發(fā)人員不斷打磨自己的數(shù)據(jù)模型，當數(shù)據(jù)模型達到一定成熟度，性能問題即可迎刃而解。

最后，希望大家擁抱技術(shù)、擁抱變化、贏在模型，數(shù)據(jù)服務業(yè)務，數(shù)據(jù)服務應用，讓我們?yōu)閼枚?#xff0c;為應用而戰(zhàn)。

作者：劉松森 ，伊的家CTO，高級工程師，副教授職稱，國內(nèi)多所高校客座教授

原文鏈接：https://developer.aliyun.com/article/784667?

版權(quán)聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻，版權(quán)歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔相應法律責任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權(quán)投訴表單進行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的Flink+Hologres助力伊的家电商平台建设新一代实时数仓的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。