?

?2020 年 10 月 13 日，在以“數(shù)字化 正當(dāng)潮”為主題的「神策 2020 數(shù)據(jù)驅(qū)動(dòng)用戶大會(huì)」現(xiàn)場(chǎng)，安信證券信息技術(shù)中心數(shù)據(jù)平臺(tái)團(tuán)隊(duì)負(fù)責(zé)人王環(huán)發(fā)表了《安信證券數(shù)據(jù)中臺(tái)建設(shè)歷程》的主題演講。（文末附 PPT 下載地址）

本文根據(jù)其現(xiàn)場(chǎng)演講整理所得，主要內(nèi)容如下：

數(shù)據(jù)中臺(tái)一詞現(xiàn)階段很熱，金融行業(yè)、互聯(lián)網(wǎng)行業(yè)、制造行業(yè)等等都在討論數(shù)據(jù)中臺(tái)的建設(shè)，但數(shù)據(jù)中臺(tái)到底是什么，大家對(duì)此是沒有共識(shí)的。我相信，在未來 2-3 年，關(guān)于數(shù)據(jù)中臺(tái)的討論越來越少、行動(dòng)越來越多的時(shí)候，數(shù)據(jù)中臺(tái)的共識(shí)才會(huì)形成。

數(shù)據(jù)中臺(tái)建設(shè)背景

1.我們?yōu)槭裁匆ㄔO(shè)數(shù)據(jù)中臺(tái)？

從業(yè)務(wù)角度看，數(shù)據(jù)中臺(tái)在發(fā)展過程中，面臨著以下挑戰(zhàn)：

第一，煙囪建設(shè)。雖然券商和銀行的體量差距較大，但日常運(yùn)營(yíng)系統(tǒng)規(guī)模卻相差無幾，從安信證券來看，我們現(xiàn)有系統(tǒng)大概 200 多套，功能俱全。但從數(shù)據(jù)角度看，缺少共享數(shù)據(jù)模型和規(guī)范，包括指標(biāo)、口徑等，數(shù)據(jù)重復(fù)存儲(chǔ)，導(dǎo)致資源浪費(fèi)。

第二，數(shù)據(jù)孤島。這個(gè)問題和煙囪建設(shè)密切相關(guān)，因?yàn)閿?shù)據(jù)分散在各個(gè)系統(tǒng)內(nèi)，無法有效整合打通，數(shù)據(jù)割裂嚴(yán)重，很難做統(tǒng)一的分析與統(tǒng)計(jì)，難以發(fā)揮全域數(shù)據(jù)的價(jià)值。

第三，需求響應(yīng)慢。為滿足業(yè)務(wù)場(chǎng)景需求，需要從多個(gè)系統(tǒng)里進(jìn)行數(shù)據(jù)采集，再做復(fù)雜的轉(zhuǎn)換加工，缺乏底層工具和平臺(tái)方面的支撐，疲于應(yīng)付臨時(shí)性提數(shù)分析需求，無暇顧及平臺(tái)級(jí)建設(shè)和數(shù)據(jù)治理，惡性循環(huán)。

第四，缺乏沉淀積累。大數(shù)據(jù)開源組件眾多，更新迭代快，安裝部署維護(hù)使用的技術(shù)門檻高，證券場(chǎng)景復(fù)雜，無法做到技術(shù)、業(yè)務(wù)、人才的積累。

2.從數(shù)據(jù)技術(shù)架構(gòu)的演變歷程來看，數(shù)據(jù)的發(fā)展有著清晰的脈絡(luò)。

關(guān)系數(shù)據(jù)庫建立初始僅是底層數(shù)據(jù)庫存儲(chǔ)計(jì)算最基礎(chǔ)的一個(gè)部件，不管是數(shù)據(jù)分析還是報(bào)表功能，都是作為業(yè)務(wù)系統(tǒng)的附屬功能或者一部分而存在；九十年代數(shù)據(jù)倉庫概念提出之后，業(yè)務(wù)系統(tǒng)與管理系統(tǒng)逐漸分離，并陸續(xù)出現(xiàn)了專門為 OLAP 場(chǎng)景打造的專用數(shù)據(jù)庫產(chǎn)品。

自 2005 年，互聯(lián)網(wǎng)海量數(shù)據(jù)處理加工引發(fā)技術(shù)革命，以 Hadoop 開源生態(tài)為基礎(chǔ)的大數(shù)據(jù)技術(shù)棧興起，數(shù)據(jù)湖成為數(shù)據(jù)存儲(chǔ)加工的主要方式；直至近兩年，數(shù)據(jù)逐漸從業(yè)務(wù)過程的“副產(chǎn)品”轉(zhuǎn)變?yōu)椤氨旧砑礃I(yè)務(wù)，本身即服務(wù)”， 厚中臺(tái)、薄前端的理念才開始被業(yè)界認(rèn)可。?

3.數(shù)據(jù)中臺(tái)是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存儲(chǔ)和計(jì)算能力抽離，由單獨(dú)的數(shù)據(jù)處理平臺(tái)提供存儲(chǔ)和計(jì)算能力，抽象業(yè)務(wù)共性需求，提供共享復(fù)用的數(shù)據(jù)服務(wù)。

?在我的理解中，數(shù)據(jù)中臺(tái)包括 4 個(gè)部分的內(nèi)容：

第一，方法論。涉及大中臺(tái)、小前臺(tái)、業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化等一些概念，也包括現(xiàn)在常用的建模的理論等。

第二，組織。建設(shè)數(shù)據(jù)中臺(tái)需要有專業(yè)的數(shù)據(jù)團(tuán)隊(duì)，若單純依附于業(yè)務(wù)團(tuán)隊(duì)是不靠譜的，如果一個(gè)企業(yè)沒有專業(yè)的數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)，那么這個(gè)數(shù)據(jù)中臺(tái)一定是建不成的。

第三，工具鏈。如果只講方法論是沒有辦法落地的，因此，所有的方法論都需要有對(duì)應(yīng)的工具平臺(tái)做支撐推動(dòng)其落地，這里面包括最基礎(chǔ)的底層大數(shù)據(jù)平臺(tái)，包括任務(wù)調(diào)度工具、數(shù)據(jù)服務(wù)、自助查詢分析工具等。

第四，運(yùn)營(yíng)。也就是數(shù)據(jù)的運(yùn)營(yíng)，偏向于數(shù)據(jù)治理、從源頭做全生命周期的數(shù)據(jù)治理。

數(shù)據(jù)中臺(tái)發(fā)展歷史

安信證券是 2006 年 3 家券商合并組建的，相對(duì)于老品牌的證券公司歷史還是比較短的。在這 14 年間，經(jīng)歷了數(shù)據(jù)中心建設(shè)規(guī)劃到建設(shè)啟動(dòng)，到數(shù)據(jù)倉庫的建成、升級(jí)擴(kuò)容，再到大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)的建設(shè)，我們見證也被見證著數(shù)據(jù)平臺(tái)在安信證券的發(fā)展。??在 2018 年以前，我們的系統(tǒng)架構(gòu)還較為簡(jiǎn)單，采集工具包括商用的、開源的等，每個(gè)項(xiàng)目自行做技術(shù)選型，用各自的工具從業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)，然后存儲(chǔ)在我們的大數(shù)據(jù)平臺(tái)、數(shù)倉或資訊類的數(shù)據(jù)庫。

數(shù)據(jù)中臺(tái)建設(shè)內(nèi)容

1.在安信證券整個(gè)數(shù)據(jù)中臺(tái)的建設(shè)過程中，遵循著以下六大基本原則：

第一，業(yè)務(wù)數(shù)據(jù)化。數(shù)字化這個(gè)問題相對(duì)比較復(fù)雜，我們很多時(shí)候連信息化的過程都還沒有完成，線下業(yè)務(wù)很難記錄到線上系統(tǒng)中，因此，要匯聚全域、全部業(yè)務(wù)過程和結(jié)果數(shù)據(jù)，統(tǒng)一存儲(chǔ)，建設(shè)企業(yè)級(jí)數(shù)據(jù)倉庫。

第二，數(shù)據(jù)標(biāo)準(zhǔn)化。通過規(guī)范化的加工處理，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，完成全流程數(shù)據(jù)治理。

第三，數(shù)據(jù)可視化。在建設(shè)系統(tǒng)的過程中，我們希望能夠把數(shù)據(jù)采集、開發(fā)、探索、分析、查詢?nèi)鞒炭梢暬?#xff0c;降低數(shù)據(jù)開發(fā)使用門檻，不僅可以支持?jǐn)?shù)據(jù)團(tuán)隊(duì)和 IT 團(tuán)隊(duì)使用，還能直接賦能業(yè)務(wù)團(tuán)隊(duì)。

第四，數(shù)據(jù)資產(chǎn)化。這里我們的主要工作是規(guī)范完善元數(shù)據(jù)信息，提供數(shù)據(jù)地圖、數(shù)據(jù)目錄等，幫助各部門高效便捷獲取數(shù)據(jù)信息，使得數(shù)據(jù)可見、可懂、可用。

第五，數(shù)據(jù)服務(wù)化。數(shù)據(jù)怎樣變成服務(wù)？怎樣降低數(shù)據(jù)使用成本？這就要求我們能夠提供統(tǒng)一標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù) API。

第六，數(shù)據(jù)業(yè)務(wù)化。數(shù)據(jù)作為產(chǎn)品和數(shù)據(jù)服務(wù)的一部分，提升客戶體驗(yàn)和業(yè)務(wù)價(jià)值是重要內(nèi)容。

2.從建設(shè)維度上來看，安信證券主要從技術(shù)體系、數(shù)據(jù)體系、數(shù)據(jù)治理與運(yùn)營(yíng)體系、數(shù)據(jù)應(yīng)用四方面入手。

?目前，安信證券的系統(tǒng)架構(gòu)在 2018 年版本的基礎(chǔ)之上做了具體組件的替換和補(bǔ)充，對(duì)內(nèi)外部數(shù)據(jù)源的同步采集做了統(tǒng)一規(guī)整：通過自研的批量同步工具（類似阿里的 DataX），輕松對(duì)接各類型數(shù)據(jù)源，實(shí)現(xiàn)可插拔的適配；通過 AR、OGG 等商業(yè)化工具做實(shí)時(shí)同步；通過神策數(shù)據(jù)埋點(diǎn)功能進(jìn)行 APP 行為數(shù)據(jù)的采集；通過 Flume 進(jìn)行服務(wù)端日志采集。以上數(shù)據(jù)在采集之后統(tǒng)一匯入到 CDH 集群里面，在此基礎(chǔ)之上，安信自研了任務(wù)調(diào)度系統(tǒng)，包括所有采集和計(jì)算的任務(wù)的調(diào)度、任務(wù)的依賴等。

在數(shù)據(jù)平臺(tái)端，安信證券將其分為三類，分別是：數(shù)據(jù)服務(wù)平臺(tái)、AI 服務(wù)平臺(tái)、數(shù)據(jù)資產(chǎn)平臺(tái)。??

關(guān)于數(shù)據(jù)倉庫模型，安信在原來數(shù)倉模型基礎(chǔ)之上做了重構(gòu)與標(biāo)準(zhǔn)化分層，參考證券行業(yè)模型做了拆解和增補(bǔ)，以此來適配安信證券的業(yè)務(wù)發(fā)展。

3.安信證券的數(shù)據(jù)治理和數(shù)據(jù)運(yùn)營(yíng)。

在數(shù)據(jù)治理上，安信證券針對(duì)專項(xiàng)任務(wù)和日常事件（包括用戶和業(yè)務(wù)的問題反饋）對(duì)數(shù)據(jù)質(zhì)量做系統(tǒng)性地梳理和排查，也會(huì)結(jié)合公司監(jiān)管和戰(zhàn)略層面的一些重大任務(wù)來推動(dòng)，通過這兩個(gè)抓手推動(dòng)數(shù)據(jù)質(zhì)量的提升和標(biāo)準(zhǔn)化。整體上來說，數(shù)據(jù)治理要從源頭做起，然后再滲透到全生命周期。

另外，傳統(tǒng)證券公司的數(shù)據(jù)團(tuán)隊(duì)更多承擔(dān)著經(jīng)營(yíng)分析、統(tǒng)計(jì)等脫離實(shí)際業(yè)務(wù)流程的、偏管理性質(zhì)的工作，因此在企業(yè)內(nèi)部培養(yǎng)數(shù)據(jù)文化，強(qiáng)化公司、部門、員工的數(shù)據(jù)意識(shí)，利用數(shù)據(jù)做決策、運(yùn)營(yíng)，才能保證數(shù)據(jù)治理和運(yùn)營(yíng)達(dá)到預(yù)期效果。

在此過程中，安信重視數(shù)據(jù)團(tuán)隊(duì)對(duì)業(yè)務(wù)系統(tǒng)建設(shè)的參與度，抽象共性場(chǎng)景提煉數(shù)據(jù)服務(wù)，支撐業(yè)務(wù)部門對(duì)數(shù)據(jù)的需求，以實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化的目標(biāo)。?

4.通過實(shí)時(shí)資產(chǎn)、投研云、用戶畫像三個(gè)實(shí)際應(yīng)用場(chǎng)景介紹安信證券的數(shù)據(jù)平臺(tái)落地實(shí)踐：

第一個(gè)，實(shí)時(shí)資產(chǎn)，它重度依賴大數(shù)據(jù)平臺(tái)能力，特別是大數(shù)據(jù)的處理能力和流計(jì)算模式，是 APP 上用戶重度依賴的功能，DAU 可達(dá)數(shù)千萬。

第二個(gè)，投研云平臺(tái)，最初建立是基于量化部門的需求，他們?cè)谟脝误w服務(wù)器做研發(fā)時(shí)面臨著數(shù)據(jù)和算力的挑戰(zhàn)，基于這兩個(gè)痛點(diǎn)，安信證券通過 Spark 改寫量化策略，在大數(shù)據(jù)平臺(tái)做運(yùn)行與訓(xùn)練，并逐漸探索深度學(xué)習(xí)的模型，以此提升部門和企業(yè)的研發(fā)效率。

第三個(gè)，用戶畫像，它完全構(gòu)建在大數(shù)據(jù)平臺(tái)之上，對(duì)用戶的基本特征、資產(chǎn)收益、投資能力、投資風(fēng)格等進(jìn)行體系化畫像，是在應(yīng)用端所做的展示。

現(xiàn)階段，大數(shù)據(jù)平臺(tái)特別是 Hadoop 這個(gè)生態(tài)體系已經(jīng)完善和成熟；在未來，其基礎(chǔ)設(shè)施會(huì)逐漸云原生化，實(shí)時(shí)數(shù)倉和流批融合驅(qū)動(dòng)業(yè)務(wù)時(shí)效性增強(qiáng)，數(shù)據(jù)和智能漸趨融合，數(shù)據(jù)治理等朝著更加智能化的方向發(fā)展。

?安信證券會(huì)持續(xù)關(guān)注數(shù)字化趨勢(shì)，積極嘗試，驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)！?

總結(jié)

以上是生活随笔為你收集整理的安信证券王环：安信证券数据中台建设历程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。