在企業(yè)數(shù)據(jù)建設(shè)過程中，大數(shù)據(jù)治理受到越來越多的重視。從企業(yè)數(shù)據(jù)資產(chǎn)管理和提升數(shù)據(jù)質(zhì)量，到自服務(wù)和智能化的數(shù)據(jù)應(yīng)用，大數(shù)據(jù)治理的內(nèi)容在不斷發(fā)展和完善，其落地實施的過程中會遇到各種各樣的難題和挑戰(zhàn)。本篇文章通過分析大數(shù)據(jù)治理建設(shè)中的溝溝坎坎，總結(jié)出了大數(shù)據(jù)治理需要具備的能力和關(guān)鍵技術(shù)。

一、困難重重卻充滿光明的大數(shù)據(jù)治理發(fā)展之路

1. 傳統(tǒng)數(shù)據(jù)治理一直無法逃脫的魔咒

大數(shù)據(jù)治理從建設(shè)內(nèi)容和實施目標(biāo)上可以劃分成不同的階段，每個階段完成不同的任務(wù)，隨著階段的遞進(jìn)，建設(shè)內(nèi)容逐步加深，不同的企業(yè)切入點和訴求也各不相同。大致分為以下幾個階段：

(1) 摸家底階段

• 內(nèi)容：企業(yè)元數(shù)據(jù)梳理和采集
• 目標(biāo)：構(gòu)建企業(yè)數(shù)據(jù)資產(chǎn)庫

(2) 建體系

• 內(nèi)容：建立企業(yè)標(biāo)準(zhǔn)和質(zhì)量提升體系
• 目標(biāo)：提升數(shù)據(jù)質(zhì)量

(3) 促應(yīng)用

• 內(nèi)容：自服務(wù)通道、構(gòu)建企業(yè)知識圖譜
• 目標(biāo)：數(shù)據(jù)智能應(yīng)用

然而，大數(shù)據(jù)治理建設(shè)之路并不是一帆風(fēng)順的，甚至可以說充滿了各種問題和困難，如何管理企業(yè)級的數(shù)據(jù)資產(chǎn)、如何讓業(yè)務(wù)積極參與到數(shù)據(jù)建設(shè)中來、如何降低數(shù)據(jù)治理的落地難度等一系列問題，一直困擾著數(shù)據(jù)治理的發(fā)展，傳統(tǒng)數(shù)據(jù)治理的問題主要體現(xiàn)在以下幾個方面：

(4) 管理范圍窄

要做數(shù)據(jù)治理首先要知道有哪些數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)治理往往只管理了數(shù)據(jù)領(lǐng)域，很少關(guān)注業(yè)務(wù)、管理和開發(fā)相關(guān)的數(shù)據(jù)資產(chǎn)，數(shù)據(jù)管理范圍比較窄，而且，受限于技術(shù)實現(xiàn)，即使在數(shù)據(jù)領(lǐng)域的數(shù)據(jù)資產(chǎn)也很難做到精確管理;

(5) 業(yè)務(wù)難結(jié)合

業(yè)務(wù)元數(shù)據(jù)的廣泛缺失，導(dǎo)致業(yè)務(wù)人員無法使用技術(shù)性的元數(shù)據(jù)系統(tǒng)，元數(shù)據(jù)缺乏業(yè)務(wù)用戶，使用者少;

(6) 應(yīng)用場景缺

元數(shù)據(jù)被當(dāng)成單獨的系統(tǒng)，而不是廣泛的技術(shù)基礎(chǔ)，導(dǎo)致只關(guān)心元數(shù)據(jù)本身的應(yīng)用場景;

(7) 技術(shù)不完善

在技術(shù)層面存儲缺乏擴(kuò)展性，采集自動程度不高，管理實時性不高。

2. 自服務(wù)大數(shù)據(jù)治理是解決問題之道

自服務(wù)的大數(shù)據(jù)治理平臺具備管理、開發(fā)、共享、使用等能力，通過自動、自助、智能化的大數(shù)據(jù)治理，能夠?qū)崿F(xiàn)對數(shù)據(jù)的找、供、用、治，從而一站式解決傳統(tǒng)數(shù)據(jù)治理在大數(shù)據(jù)時代的各種難題，具體涉及到以下幾個方面。

(1) 建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)

自服務(wù)大數(shù)據(jù)治理平臺可以實現(xiàn)有數(shù)據(jù)可管理。現(xiàn)在的企業(yè)數(shù)據(jù)資產(chǎn)繁雜眾多，特別是建設(shè)大數(shù)據(jù)平臺的企業(yè)，數(shù)據(jù)的類型、分布、實現(xiàn)技術(shù)、所屬部門等都很繁雜，通過手工一點點梳理是不現(xiàn)實的，如何低成本、快速有效地將數(shù)據(jù)梳理和管理起來?這是做大數(shù)據(jù)治理遇到的第一個坎。

自服務(wù)大數(shù)據(jù)治理平臺可以通過自動化手段，自動識別企業(yè)數(shù)據(jù)資產(chǎn)并標(biāo)明數(shù)據(jù)方位和屬性，建立業(yè)務(wù)能理解的數(shù)據(jù)服務(wù)目錄。

(2) 建立數(shù)據(jù)治理體系，監(jiān)控并快速發(fā)現(xiàn)問題

自服務(wù)大數(shù)據(jù)治理平臺可以保障企業(yè)數(shù)據(jù)資產(chǎn)的質(zhì)量。企業(yè)內(nèi)數(shù)據(jù)環(huán)境復(fù)雜，很容易出現(xiàn)數(shù)據(jù)不一致、數(shù)據(jù)不及時、數(shù)據(jù)缺失等一系列問題，如何識別并快速定位數(shù)據(jù)問題?特別是針對海量數(shù)據(jù)，如何在不影響性能情況下找出問題數(shù)據(jù)?這是做大數(shù)據(jù)治理遇到的第二個坎。

通過自服務(wù)大數(shù)據(jù)治理平臺建立和支撐起基于數(shù)據(jù)指標(biāo)、質(zhì)量檢核、問題發(fā)現(xiàn)和監(jiān)控的完善數(shù)據(jù)治理體系，從事前、事中和事后等各個環(huán)節(jié)規(guī)避、發(fā)現(xiàn)和解決數(shù)據(jù)問題，將能保證數(shù)據(jù)應(yīng)用無后顧之憂。

二、大數(shù)據(jù)治理技術(shù)需要不斷革新

數(shù)據(jù)治理的目標(biāo)是把數(shù)據(jù)管起來、用起來、保證數(shù)據(jù)質(zhì)量，這些目標(biāo)離不開各種技術(shù)的支持，這些技術(shù)包括元數(shù)據(jù)自動采集和關(guān)聯(lián)、數(shù)據(jù)質(zhì)量的探查和提升、數(shù)據(jù)的自助服務(wù)和智能應(yīng)用等。

1. 管起來：數(shù)據(jù)資產(chǎn)的自動化采集、存儲技術(shù)要實現(xiàn)大數(shù)據(jù)治理的資產(chǎn)管理，需要做足三個方面的工作：

采集：指從各種工具中，把各種類型的元數(shù)據(jù)采集進(jìn)來。

存儲：采集元數(shù)據(jù)之后需要相應(yīng)的存儲策略來對元數(shù)據(jù)進(jìn)行存儲，這需要在不改變存儲架構(gòu)的情況下擴(kuò)展元數(shù)據(jù)存儲的類型;

管理和應(yīng)用：在采集和存儲完成后，對已經(jīng)存儲的元數(shù)據(jù)進(jìn)行管理和應(yīng)用。

第一，針對數(shù)據(jù)資產(chǎn)的存儲，模型體系規(guī)范為元數(shù)據(jù)管理提供了基礎(chǔ)，通過模型管理可以實現(xiàn)統(tǒng)一穩(wěn)定的元數(shù)據(jù)存儲，統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范能很好地解決通用性和擴(kuò)展性。

傳統(tǒng)數(shù)據(jù)資產(chǎn)管理采用CWM規(guī)范進(jìn)行數(shù)據(jù)資產(chǎn)存儲設(shè)計，該規(guī)范提供了一個描述相關(guān)數(shù)據(jù)信息元數(shù)據(jù)的基礎(chǔ)框架，并為各種元數(shù)據(jù)之間的通信和共享提供了一套切實可行的標(biāo)準(zhǔn)。但是，隨著元數(shù)據(jù)管理范圍的不斷擴(kuò)大，CWM規(guī)范已經(jīng)不能滿足通用的元數(shù)據(jù)管理需求，針對微服務(wù)、業(yè)務(wù)等也需要一套規(guī)范支撐。MOF規(guī)范位于模型體系最底層，可以為元數(shù)據(jù)存儲提供統(tǒng)一的管理理論基礎(chǔ)。

第二，元數(shù)據(jù)管理第二個核心問題是解決各類元數(shù)據(jù)的采集，由于元數(shù)據(jù)類型多種多樣，而且在不斷增加，所以，如何以最小代價，快速納入管理新類型元數(shù)據(jù)的能力，是元數(shù)據(jù)管理的核心。

采用可插拔的適配器方式實現(xiàn)元數(shù)據(jù)的采集是一個很好的選擇。其中，數(shù)據(jù)采集適配器應(yīng)支持各類數(shù)據(jù)源的采集，當(dāng)有一個新的數(shù)據(jù)源需要接入的時候，只需按照規(guī)范快速開發(fā)一套針對性的適配器，就能實現(xiàn)新類型元數(shù)據(jù)的納入管理。

第三，與人工相比，技術(shù)的最突出特點是速度快和精確。因此，如何通過技術(shù)手段精確地獲取數(shù)據(jù)資產(chǎn)是關(guān)鍵，特別是元數(shù)據(jù)關(guān)系，一般都存在于模型設(shè)計工具、ETL工具，甚至開發(fā)的SQL腳本中，因此需要通過工具組件解析(接口、數(shù)據(jù)庫)、SQL語法解析等手段完成關(guān)系的獲取和建立。準(zhǔn)確解析后的關(guān)系，還需要通過直觀的關(guān)系圖展現(xiàn)出來。

2. 有保障：數(shù)據(jù)質(zhì)量探查和提升技術(shù)

通過大數(shù)據(jù)治理來提升數(shù)據(jù)質(zhì)量的過程中，涉及到很多環(huán)節(jié)、工作和技術(shù)，其中包括：通過合理的技術(shù)找出數(shù)據(jù)問題并找到問題數(shù)據(jù);從各個維度監(jiān)控數(shù)據(jù)問題，并能通過最直觀和快捷的方式反饋給相關(guān)責(zé)任人;實現(xiàn)問題發(fā)現(xiàn)、認(rèn)責(zé)、處理、歸檔等數(shù)據(jù)問題的閉環(huán)解決流程等。中間主要涉及到以下兩個方面：

第一，要想及時全面地找到問題數(shù)據(jù)，不僅要關(guān)注關(guān)鍵點，還要有合適的方法。數(shù)據(jù)最容易出現(xiàn)質(zhì)量問題的地方就是數(shù)據(jù)集成(流動)點，例如：性別在單系統(tǒng)中，有1和0或者男和女表示都行，但是系統(tǒng)間集成時就會有問題。因此，解決數(shù)據(jù)質(zhì)量的關(guān)鍵，就在于在集成點檢查數(shù)據(jù)質(zhì)量。另外，針對大數(shù)據(jù)量的數(shù)據(jù)質(zhì)量檢查，即要保證實時性，也要保證不影響業(yè)務(wù)系統(tǒng)的正常運行，因此在對特別大的數(shù)據(jù)量進(jìn)行檢查時，要采用抽樣檢查的方式。

第二，數(shù)據(jù)問題發(fā)現(xiàn)后，還要直觀地將數(shù)據(jù)問題展現(xiàn)出來并及時通知相關(guān)人員。因此大數(shù)據(jù)治理平臺應(yīng)提供實時、全面的數(shù)據(jù)監(jiān)控，實現(xiàn)多維度實時的數(shù)據(jù)資產(chǎn)信息展示：

從作業(yè)、模型、物理資源等各方面進(jìn)行全面的數(shù)據(jù)資產(chǎn)盤點;

對數(shù)據(jù)及時性、問題數(shù)據(jù)量等方面的數(shù)據(jù)健康環(huán)境進(jìn)行全面的預(yù)警。

3. 用起來：自助化數(shù)據(jù)服務(wù)構(gòu)建技術(shù)

大數(shù)據(jù)治理的最終目標(biāo)是為最終用戶提供數(shù)據(jù)，這需要快速找到數(shù)據(jù)，并快速建立數(shù)據(jù)交換的通道。

知識圖譜是一種非常好用、直觀的數(shù)據(jù)應(yīng)用方式。人工智能的知識圖譜構(gòu)建，可以從以下步驟考慮：

基于企業(yè)元數(shù)據(jù)信息，通過自然語言處理、機(jī)器學(xué)習(xí)、模式識別等算法，以及業(yè)務(wù)規(guī)則過濾等方式，實現(xiàn)知識的提取;

以本體形式表示和存儲知識，自動構(gòu)建成起資產(chǎn)知識圖譜;

通過知識圖譜關(guān)系，利用智能搜索、關(guān)聯(lián)查詢等手段，為最終用戶提供更加精確的數(shù)據(jù)。

基于元數(shù)據(jù)的自助數(shù)據(jù)服務(wù)開發(fā)，可以簡單快速地建立數(shù)據(jù)通道。通過自助化的數(shù)據(jù)生產(chǎn)線，數(shù)據(jù)使用方(業(yè)務(wù)人員)大大減少了對開發(fā)人員依賴，80%以上的數(shù)據(jù)需求，都能通過自己進(jìn)行整合開發(fā)，最終獲取數(shù)據(jù)。讓所有用數(shù)據(jù)的人能方便得到想要的數(shù)據(jù)。其中，提供所需數(shù)據(jù)的自助查詢能力、自動生成數(shù)據(jù)服務(wù)、及時穩(wěn)定的獲得數(shù)據(jù)通道、保證數(shù)據(jù)安全是實現(xiàn)自助化的大數(shù)據(jù)生產(chǎn)線的四個關(guān)鍵點。

三、如何選擇合適的大數(shù)據(jù)治理工具?

工欲善其事必先利其器，大數(shù)據(jù)治理的落地開展離不開工具的支撐。大數(shù)據(jù)治理工具一般分為兩類：一類是單個工具，另一類是集成平臺，用于不同的階段、場景和客戶。其中，單獨工具有：元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)等，集成平臺包括數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)治理平臺、自助服務(wù)平臺等。

下面重點介紹其中兩個核心的工具：一個是元數(shù)據(jù)，另一個是自助數(shù)據(jù)服務(wù)平臺;

1. 大數(shù)據(jù)治理的核心——元數(shù)據(jù)管理工具

元數(shù)據(jù)是大數(shù)據(jù)治理的核心，元數(shù)據(jù)管理工具應(yīng)該支持企業(yè)級數(shù)據(jù)資產(chǎn)管理，并且從技術(shù)上支持各類數(shù)據(jù)采集與數(shù)據(jù)的直觀展現(xiàn)，從應(yīng)用上也要支持不同類型用戶的實際應(yīng)用場景，一個合格的元數(shù)據(jù)管理工具，需要具備以下幾項基本能力：

首先，元數(shù)據(jù)要有全面的數(shù)據(jù)管理能力。無論是傳統(tǒng)數(shù)據(jù)還是大數(shù)據(jù)，無論是工具還是模板等，都應(yīng)該是元數(shù)據(jù)的管理范疇。對于企業(yè)來說，要想統(tǒng)一管理所有信息資產(chǎn)，還依靠原來人工錄入資產(chǎn)的方式肯定是不行的，企業(yè)需要從技術(shù)上提供各種自動化能力，實現(xiàn)對資產(chǎn)信息的自動獲取，包括自動數(shù)據(jù)信息采集、自動服務(wù)信息采集與自動業(yè)務(wù)信息采集等，這要求企業(yè)使用的數(shù)據(jù)管理工具支持一系列的采集器，并且多采用直連的方式來采集相關(guān)信息。

其次，盡管元數(shù)據(jù)是一個基礎(chǔ)的管理工具，也需要具備好的顏值和便捷的使用方式，以便給用戶帶來好的應(yīng)用感受。作為一款元數(shù)據(jù)管理工具，能讓用戶能在一個界面全面了解到元數(shù)據(jù)信息，通過圖像從更多維度、更直觀地了解企業(yè)數(shù)據(jù)全貌和數(shù)據(jù)關(guān)系是很重要的。除此之外，通過H5等流行的展現(xiàn)技術(shù)實現(xiàn)各瀏覽器的兼容，支持界面的移植也是元數(shù)據(jù)管理工具必不可少的能力。

再次，元數(shù)據(jù)管理工具不僅僅是一個工具，還需要關(guān)注各類人的使用訴求，跟具體用戶的使用場景相結(jié)合。對于業(yè)務(wù)人員來說，通過元數(shù)據(jù)管理的業(yè)務(wù)需求管理，能更容易地和技術(shù)人員溝通，便于需求的技術(shù)落地;對于開發(fā)人員來說，通過元數(shù)據(jù)管理能管控系統(tǒng)的開發(fā)上線、提升開發(fā)規(guī)范性，自動生成上線腳本，降低開發(fā)工作難度和出錯幾率;對于運維人員來說，通過元數(shù)據(jù)管理能讓日常巡檢、版本維護(hù)等工作變得簡單可控，輔助日常問題分析查找，簡化運維工作。

2. 大數(shù)據(jù)治理的最佳實踐——自助化數(shù)據(jù)服務(wù)平臺

大數(shù)據(jù)治理最終目標(biāo)不僅僅是為了管理數(shù)據(jù)，而是為用戶提供一套數(shù)據(jù)服務(wù)的生產(chǎn)線，讓用戶能通過這條生產(chǎn)線自助地找到數(shù)據(jù)、獲得數(shù)據(jù)，并規(guī)范化地使用數(shù)據(jù)，因此自助化數(shù)據(jù)服務(wù)共享平臺是大數(shù)據(jù)治理必不可少的工具。

作為大數(shù)據(jù)治理的落地工具，自助化數(shù)據(jù)服務(wù)共享平臺不僅要為開發(fā)者提供一套完整的數(shù)據(jù)生產(chǎn)線，也需要給運維者提供易用的監(jiān)控界面，畢竟系統(tǒng)的運維才是工具應(yīng)用的常態(tài)。全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力和數(shù)據(jù)問題跟蹤能力同樣重要，通過全局的數(shù)據(jù)資產(chǎn)監(jiān)控能力，能使客戶方便地了解到企業(yè)數(shù)據(jù)共享交換的全貌、系統(tǒng)間的數(shù)據(jù)關(guān)系和數(shù)據(jù)提供方和消費方的使用情況;通過數(shù)據(jù)問題跟蹤能力，能實現(xiàn)數(shù)據(jù)問題的智能定位，減少運維工作難度。

四、總結(jié)

大數(shù)據(jù)治理對企業(yè)數(shù)據(jù)建設(shè)的重要性不言而喻，然而實現(xiàn)的困難有時也會讓人望而卻步，選擇合適的技術(shù)和工具會達(dá)到事半功倍的效果。希望通過本文介紹能夠幫助在建，或者準(zhǔn)備規(guī)劃大數(shù)據(jù)治理的各位，在大數(shù)據(jù)治理的資產(chǎn)管理、數(shù)據(jù)質(zhì)量保證、數(shù)據(jù)應(yīng)用等方面的技術(shù)和工具選擇上有所幫助。

本文作者：佚名

來源：51CTO

總結(jié)

以上是生活随笔為你收集整理的大数据治理需要具备哪些能力和关键技术？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。