案例背景

東吳證券股份有限公司作為全國第18家上市券商，擁有全部證券類業(yè)務(wù)牌照，在全國建立了18家分公司，134個(gè)營(yíng)業(yè)部，并實(shí)現(xiàn)在香港和新加坡兩個(gè)重要境外資本市場(chǎng)的布局，穩(wěn)居地級(jí)市券商首位，堅(jiān)定向著頭部券商看齊。

公司在2017年建設(shè)大數(shù)據(jù)平臺(tái)后，逐漸把30多套系統(tǒng)的數(shù)據(jù)通過ETL抽取并存儲(chǔ)在平臺(tái)上，但由于這些系統(tǒng)由不同的供應(yīng)商設(shè)計(jì)實(shí)施，且經(jīng)過多年的發(fā)展，幾乎每套系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)一直在持續(xù)的變更，這給我們通過平臺(tái)提供數(shù)據(jù)服務(wù)，給業(yè)務(wù)部門或其他系統(tǒng)帶來很多困難，主要發(fā)現(xiàn)有以下幾方面的問題和痛點(diǎn)：

第一、缺少全局?jǐn)?shù)據(jù)觀

主要是數(shù)據(jù)分散、雜亂、割裂，數(shù)據(jù)質(zhì)量參差不齊，數(shù)據(jù)處理環(huán)節(jié)中產(chǎn)生大量錯(cuò)誤和質(zhì)量較差的數(shù)據(jù)，數(shù)據(jù)處理不及時(shí)，導(dǎo)致后續(xù)數(shù)據(jù)錯(cuò)誤。

第二、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一

統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)未完全落地，導(dǎo)致數(shù)據(jù)模型的相關(guān)含義比較模糊，令運(yùn)維和開發(fā)的相關(guān)人員難以理解，增加溝通成本，降低了效率；同時(shí)亦使得不同應(yīng)用間的數(shù)據(jù)集成和數(shù)據(jù)共享相對(duì)比較困難。

第三、存在數(shù)據(jù)安全隱患

現(xiàn)有的技術(shù)系統(tǒng)難以完全匹配和滿足數(shù)據(jù)管理需求，IT系統(tǒng)越來越多，其復(fù)雜度也越來越高，數(shù)據(jù)架構(gòu)與業(yè)務(wù)流程、應(yīng)用架構(gòu)之間的關(guān)系不清晰，導(dǎo)致存在數(shù)據(jù)安全和風(fēng)險(xiǎn)隱患。

第四、數(shù)據(jù)處理提供復(fù)雜

很多數(shù)據(jù)存儲(chǔ)在不同的系統(tǒng)中，但現(xiàn)在的需求需要把各系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)后提供，但由于各系統(tǒng)設(shè)計(jì)差異，雖然數(shù)據(jù)已經(jīng)集中到大數(shù)據(jù)平臺(tái)上，但系統(tǒng)間的差異提高了每次數(shù)據(jù)需求處理難度和復(fù)雜度，對(duì)人員的要求也提高了。

第五、部分?jǐn)?shù)據(jù)可能丟失

很多源系統(tǒng)在考慮數(shù)據(jù)存儲(chǔ)時(shí)對(duì)某些數(shù)據(jù)并未進(jìn)行歷史歸檔，導(dǎo)致后續(xù)在這部分歷史數(shù)據(jù)需求提出后，需求處理人員將束手無策。

第六、業(yè)務(wù)人員自助數(shù)據(jù)分析

隨著證券業(yè)務(wù)的快速發(fā)展，傳統(tǒng)的純依賴后臺(tái)的技術(shù)人員在很多場(chǎng)景已經(jīng)很難滿足業(yè)務(wù)需求，有不少的業(yè)務(wù)部門和業(yè)務(wù)人員亟需根據(jù)自己的需求自助的進(jìn)行數(shù)據(jù)分析。

解決方案

為解決上述問題，在公司的數(shù)字化轉(zhuǎn)型中，讓數(shù)據(jù)發(fā)揮更大的價(jià)值，公司從數(shù)據(jù)治理和數(shù)據(jù)集市兩個(gè)層面開展工作。

在數(shù)據(jù)治理方面，公司主要以數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、元數(shù)據(jù)、主數(shù)據(jù)以及生命周期的管理作為重點(diǎn)領(lǐng)域，通過有效的數(shù)據(jù)資源控制手段，在保證數(shù)據(jù)安全的情況下，對(duì)數(shù)據(jù)進(jìn)行有效的管理和控制，以提升數(shù)據(jù)質(zhì)量進(jìn)而提升數(shù)據(jù)變現(xiàn)的能力，為公司的業(yè)務(wù)和管理提供多樣化、統(tǒng)一的數(shù)據(jù)服務(wù)調(diào)用，在公司數(shù)字化轉(zhuǎn)型的過程中扮演極其重要的角色。

數(shù)據(jù)集市以數(shù)據(jù)治理為基礎(chǔ)，利用數(shù)據(jù)治理工具治理過的企業(yè)數(shù)據(jù)，按照公司各種業(yè)務(wù)需求主體，建設(shè)單獨(dú)的應(yīng)用數(shù)據(jù)集市，確保滿足數(shù)據(jù)的完整性、及時(shí)性、準(zhǔn)確性和一致性要求，同時(shí)為各類系統(tǒng)提供數(shù)據(jù)服務(wù)。

整個(gè)數(shù)據(jù)集市的體系架構(gòu)結(jié)合東吳證券數(shù)據(jù)的實(shí)際現(xiàn)狀，參考市場(chǎng)技術(shù)熱點(diǎn)和同業(yè)建設(shè)情況，遵循按需建設(shè)、良性演變的原則，對(duì)應(yīng)未來發(fā)展需求來進(jìn)行統(tǒng)一規(guī)劃和建設(shè)。

在建設(shè)數(shù)據(jù)集市時(shí)，公司充分利用了工具和系統(tǒng)，前臺(tái)業(yè)務(wù)部門和后臺(tái)數(shù)字支撐部技術(shù)人員合理分工，緊密合作。數(shù)字支撐部主要提供數(shù)據(jù)基礎(chǔ)平臺(tái)及工具開發(fā)支持、數(shù)據(jù)治理的落地研發(fā)、建設(shè)數(shù)據(jù)集市、利用報(bào)表工具開發(fā)固定的數(shù)據(jù)報(bào)表；業(yè)務(wù)部門在數(shù)據(jù)集市上利用BI工具在自己的數(shù)據(jù)集市基礎(chǔ)上進(jìn)行數(shù)據(jù)分析。

整體數(shù)據(jù)架構(gòu)圖

應(yīng)用場(chǎng)景和價(jià)值

場(chǎng)景一：經(jīng)紀(jì)數(shù)據(jù)集市

通過數(shù)據(jù)治理體系的建設(shè)，零售客戶部利用構(gòu)建的經(jīng)紀(jì)業(yè)務(wù)數(shù)據(jù)集市，持續(xù)為經(jīng)紀(jì)業(yè)務(wù)的經(jīng)營(yíng)發(fā)展、客戶信息屬性以及產(chǎn)品設(shè)計(jì)的發(fā)展奠定夯實(shí)的基礎(chǔ)。經(jīng)紀(jì)業(yè)務(wù)數(shù)據(jù)集市由客戶主題、產(chǎn)品主題、團(tuán)隊(duì)主題、渠道主題進(jìn)行設(shè)計(jì)，四個(gè)主題對(duì)應(yīng)著券商客戶服務(wù)流程四大要素：客戶、產(chǎn)品、團(tuán)隊(duì)、渠道。

參考客戶服務(wù)流程模型，從產(chǎn)品端到客戶端主要是：產(chǎn)品向團(tuán)隊(duì)和渠道提供產(chǎn)品組合，團(tuán)隊(duì)和渠道了解客戶需求，并推送產(chǎn)品給客戶；而客戶端到產(chǎn)品端主要是：客戶提出意見，反饋信息給團(tuán)隊(duì)和渠道，最終推送到產(chǎn)品端，來提升產(chǎn)品類型和管理。

?

帆軟BI報(bào)表工具建立了渠道方面的設(shè)備數(shù)據(jù)集、用戶數(shù)據(jù)集、客戶數(shù)據(jù)集、客戶資產(chǎn)匯總表以及客戶出入金匯總表等，然后在報(bào)表組件中加入了數(shù)據(jù)總覽模塊、渠道引流趨勢(shì)模塊、客戶出入金趨勢(shì)模塊以及客戶交易趨勢(shì)模塊，以便運(yùn)營(yíng)人員可以清晰的了解渠道引流效果以及客戶開戶之后的資產(chǎn)和交易活躍度。

?

渠道流量數(shù)字化匯總

在團(tuán)隊(duì)方面的應(yīng)用，零售客戶部為了能夠更好地量化員工的線上化率，通過帆軟來制作大屏展示。以在線活躍員工為指標(biāo)維度，實(shí)時(shí)監(jiān)測(cè)員工在線人數(shù)以及員工類型，幫助運(yùn)營(yíng)人員了解員工活躍時(shí)間以及登陸員工類型的分布。

此外，區(qū)分APP和PC端，可以看到不同平臺(tái)的在線員工數(shù)。

?

CRM在線活躍員工數(shù)實(shí)時(shí)監(jiān)測(cè)

?

總之，經(jīng)紀(jì)數(shù)據(jù)集市是通過數(shù)據(jù)基礎(chǔ)平臺(tái)與運(yùn)營(yíng)相關(guān)體系建設(shè)，形成數(shù)據(jù)運(yùn)營(yíng)、員工運(yùn)營(yíng)、產(chǎn)品經(jīng)理、研發(fā)標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)協(xié)作流程，提升數(shù)據(jù)服務(wù)效率，將數(shù)據(jù)轉(zhuǎn)化成數(shù)字化運(yùn)營(yíng)生產(chǎn)力。

場(chǎng)景二：風(fēng)險(xiǎn)數(shù)據(jù)集市

同一客戶管理要求是證券公司信用風(fēng)險(xiǎn)管理的關(guān)注重點(diǎn)之一。風(fēng)險(xiǎn)管理部通過利用風(fēng)險(xiǎn)數(shù)據(jù)集市，構(gòu)建了同一客戶風(fēng)險(xiǎn)監(jiān)控搜索展臺(tái)。

同時(shí)，FineBI系統(tǒng)作為可視化展示平臺(tái)，風(fēng)險(xiǎn)數(shù)據(jù)管理團(tuán)隊(duì)通過模糊搜索結(jié)合多維篩選方式幫助用戶迅速定位目標(biāo)同一客戶及關(guān)聯(lián)關(guān)系。在此基礎(chǔ)上完成了支持同一客戶在公司的資產(chǎn)負(fù)債情況查詢功能；支持按資產(chǎn)、負(fù)情況進(jìn)行排名統(tǒng)計(jì)查詢。通過“關(guān)鍵字”及“篩選條件”進(jìn)行模糊搜索，支持多維數(shù)據(jù)查詢與展示。

風(fēng)險(xiǎn)數(shù)據(jù)集市提取所需數(shù)據(jù)。風(fēng)險(xiǎn)數(shù)據(jù)集市積累了風(fēng)險(xiǎn)信息數(shù)據(jù)，為以后更好地實(shí)現(xiàn)對(duì)風(fēng)險(xiǎn)計(jì)量和分析提供數(shù)據(jù)支持。

?

?

場(chǎng)景三：信用業(yè)務(wù)數(shù)據(jù)集市

為強(qiáng)化監(jiān)管，推動(dòng)證券公司規(guī)范開展在上海、深圳證券交易所開展的質(zhì)押式報(bào)價(jià)回購交易、約定購回式證券交易及股票質(zhì)押式回購交易，信用業(yè)務(wù)部門按照證監(jiān)會(huì)相關(guān)指引要求，利用管理駕駛艙的報(bào)表工具，建設(shè)了信用業(yè)務(wù)數(shù)據(jù)集市，完善了機(jī)構(gòu)監(jiān)管綜合信息系統(tǒng)（CISP）相關(guān)報(bào)表事項(xiàng)。

原先，月報(bào)數(shù)據(jù)生成需要業(yè)務(wù)人員在不同系統(tǒng)間進(jìn)行數(shù)據(jù)取數(shù)、核對(duì)、填報(bào)，經(jīng)常會(huì)遇到工作量大、重復(fù)性多、容易出錯(cuò)的數(shù)據(jù)處理情況。這種傳統(tǒng)報(bào)表報(bào)送的方法對(duì)工作的質(zhì)量和效率帶來很大的風(fēng)險(xiǎn)隱患。

所以，我們必須引入一些新的方法，為業(yè)務(wù)人員減負(fù)，讓其在現(xiàn)有工作基礎(chǔ)上有足夠的時(shí)間去高效及時(shí)地完成工作任務(wù)。新建或改造現(xiàn)有系統(tǒng)可以解決問題，但新建或改造系統(tǒng)需要不少的投入。而且，這種新建和改建系統(tǒng)某些情況下可能是殺雞用了牛刀，最后也不一定達(dá)到最佳效果。

?

數(shù)字支撐部根據(jù)現(xiàn)有系統(tǒng)架構(gòu)，結(jié)合信用業(yè)務(wù)部實(shí)際需求，調(diào)研評(píng)估后，在大數(shù)據(jù)平臺(tái)建設(shè)了信用數(shù)據(jù)集市，快速地完成了功能開發(fā)，并通過基于帆軟報(bào)表工具建設(shè)的管理駕駛艙提供給相關(guān)業(yè)務(wù)人員使用。

管理駕駛艙不但是數(shù)據(jù)展示的應(yīng)用層服務(wù)，而且給業(yè)務(wù)人員的工作上帶來了極大的好處。現(xiàn)在，信用業(yè)務(wù)人員只需通過輕松地點(diǎn)擊相關(guān)的功能菜單，就能處理原先一些既復(fù)雜，又耗時(shí)的工作，還能減少人工差錯(cuò)率，直接節(jié)省每月3個(gè)人天的工作量，進(jìn)一步保證了監(jiān)管報(bào)表的正確性、及時(shí)性和安全性。

?

?

數(shù)據(jù)治理后提供了標(biāo)準(zhǔn)的模型，便利了數(shù)據(jù)集市的建設(shè)，而數(shù)據(jù)集市的建設(shè)又為后續(xù)的標(biāo)準(zhǔn)化數(shù)據(jù)分析服務(wù)提供了很好的數(shù)據(jù)基礎(chǔ)，在此基礎(chǔ)上極大的減少了業(yè)務(wù)部門提交給后臺(tái)業(yè)務(wù)部門的數(shù)據(jù)分析報(bào)表數(shù)量，目前已經(jīng)有300張左右的報(bào)表為業(yè)務(wù)部門人員自主處理。

由于數(shù)據(jù)已標(biāo)準(zhǔn)化，業(yè)務(wù)部門在數(shù)據(jù)集市基礎(chǔ)上所提及技術(shù)部門的需求比以往容易被技術(shù)人員理解，也在一定程度上提升了技術(shù)人員實(shí)現(xiàn)需求的進(jìn)度和質(zhì)量。

項(xiàng)目心得

由于業(yè)務(wù)人員和技術(shù)人員的緊密協(xié)同，合理分工，短短半年時(shí)間，公司就把核心系統(tǒng)的重要數(shù)據(jù)進(jìn)行治理，并在此基礎(chǔ)上根據(jù)業(yè)務(wù)需求建設(shè)了相應(yīng)的數(shù)據(jù)集市，并快速投入了生產(chǎn)，產(chǎn)生了非常好的效果。我們覺得項(xiàng)目的成功，主要在以下幾個(gè)方面：

1、數(shù)據(jù)治理是基礎(chǔ)。

經(jīng)過治理的數(shù)據(jù)能提高數(shù)據(jù)集市建設(shè)進(jìn)度，降低數(shù)據(jù)集市建設(shè)難度，統(tǒng)一不同集市的數(shù)據(jù)標(biāo)準(zhǔn)，提高數(shù)據(jù)集市的數(shù)據(jù)質(zhì)量。

2、明確分工，緊密協(xié)同。

在集市建設(shè)過程中，技術(shù)部門主要做基礎(chǔ)工作，并對(duì)業(yè)務(wù)部門提出的問題和需求進(jìn)行及時(shí)反饋，業(yè)務(wù)部門主要提出集市建設(shè)的要求，及時(shí)對(duì)發(fā)現(xiàn)的問題像技術(shù)部門提出。

3、好的平臺(tái)和工具。

在集市建設(shè)過程中，我們根據(jù)公司實(shí)際情況，充分利用了現(xiàn)有的平臺(tái)和工具。公司的數(shù)據(jù)數(shù)據(jù)治理和數(shù)據(jù)集市的建設(shè)基礎(chǔ)是大數(shù)據(jù)平臺(tái)，平臺(tái)提供了非常實(shí)用的數(shù)據(jù)抽取和計(jì)算工具，大容量的數(shù)據(jù)存儲(chǔ)。同時(shí)我們也整合了BI工具和報(bào)表工具，使數(shù)據(jù)能夠適應(yīng)不同的業(yè)務(wù)需求和場(chǎng)景，讓數(shù)據(jù)能夠真正地用起來。

總結(jié)

以上是生活随笔為你收集整理的一招彻底破除数据孤岛！这家企业用数据集市整合了30套系统的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。