大数据?人工智能?揭秘银行数据仓库发展趋势
整個系列的文章從銀行數據倉庫架構,ETL,模型,數據管理以及幾大方面應用介紹了數據倉庫,可以讓大家對銀行數據倉庫有個概要的了解。
前文回顧:
《銀行數據倉庫的系統架構是什么?看這篇足矣》
《深度分析|一文讀懂銀行數據架構體系》
《銀行數據倉庫都是這樣的,一文了解》
但在各子系統設計,技術方面沒有太深入介紹,后續也會陸續補充。作為這個系列文章的最后一節,簡單談談對銀行數據倉庫發展的一些想法。
數據倉庫作為銀行數據中心,在這個大數據時代也發揮了重要的作用,那隨著銀行業業務系統架構的演變,特別是目前目前銀行業務系統都在向采用微服務的分布式架構的轉變,提高系統的吞吐量和運行效率,適應互聯網高并發量和高用戶數的特點。隨之而來的可能有以下變化:
1.數據的分散化:
之前一個貸款系統包含貸前申請,貸中核額,貸后管理的并且還有許多實時查詢,在微服務架構下,一個貸款系統可能會分成貸前,核額,貸后,前端(H5,app,pc)等業務系統,還會調用短信,簽章,客戶信息系統等多個關聯系統。那一個業務流程的數據會分散到各個子系統中。
?
2.數據量增長:
銀行通過多種自有互聯網渠道(手機、公眾號),以及通過與互聯網平臺合作、開放API等將在互聯網扮演中后臺的角色,即用戶可能感受不到銀行的存在,但是在使用銀行的服務,如目前許多銀行將自己的二、三類賬戶的能力提供給互聯網公司,客戶在互聯網開立的賬戶其實是在其它銀行開立的。因此銀行的賬戶數以及客戶量會快速增長,隨之就是交易量的爆發。
3.數據應用的多樣化:
隨著大數據及AI技術的發展、數據應用將會大幅增長。同時實時應用和數據統計需求將會更多的出現,如風控、營銷、投資決策、反欺詐等模型服務,如業務量的實時監控和實時預警等,目前FLINK、SPARK STREAM等實時數據處理平臺發展也迅速。
大數據軟件Finereport做出的雙11大屏
數據的分散化和應用的多樣化必然會帶來數據需求的井噴,數據量的增長對技術平臺的擴展性和性能要求將會更高,數據倉庫也需要逐步進行架構和功能的演變,以適應業務發展需求:
1.技術平臺方面將會出現更高性能和更大存儲的技術平臺
開源的HADOOP平臺出現,降低了數據倉庫以及大數據平臺的技術門檻和成本,但在易用性和效率方面商用的版本或者大廠(google、Facebook、阿里、騰訊、華為等)的內部優化版本更有優勢,后續雙方也會互相借鑒,特別是一些大廠對開源社區的貢獻將會促使更強大的數據處理技術平臺出現。
2.數據倉庫多集群化
隨著數據量增加以及需求應用的增加,為降低耦合性以及提高靈活性,數據倉庫不同功能會在分散到多個集群且不用集群技術平臺可能也不同,如基礎數據區,各數據集市,實時應用,歷史數據,非結構化數據等可能都會單獨建立集群,因此集群之間的數據快速交換也會要求更高。后續可能從底層存儲復制或共享等方面有新的技術的出現。
3.數據倉庫技能通用化
另外隨著數據分散化以及應用的增多,為提高效率,會有多個團隊在數據倉庫上共同開發,數據倉庫將會是一個基礎平臺和基本技能,因此需要做好資源隔離,同時需要將數據倉庫的功能組件化,工具標準化,在全行或全公司的推廣中減少學習成本,提高開發效率。
4.AI平臺和數據倉庫技術平臺融合
AI后續將會逐步變為一個通用功能,hadoop生態目前也有支持機器學習的組件,如mahout、sparklib,但和專業的AI平臺還是有算法、功能和性能的差距,AI平臺也支持以hadoop作為數據處理平臺,因此后續兩者也會逐步融合,出現更智能的數據處理技術平臺。
?
未來其實并不遙遠,科技的世界里真的可以是一日千里。作為數據倉庫開發、產品經理或者管理者,在做好平時工作的同時需要持續學習新的技術,以便在新的數據需求出現時有技術儲備來提供高效的數據服務。
也需要熟悉數據內容以及在數據背后業務流程,發掘數據后面業務或產品的優化點。以終為始,促進業務和產品的發展。
總結
以上是生活随笔為你收集整理的大数据?人工智能?揭秘银行数据仓库发展趋势的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 前出塞数据挖掘的一些必须了解的概念
- 下一篇: 2013年上半年工作总结,哇哈哈哈,给自