日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

数据仓库之元数据管理

發(fā)布時間:2023/12/10 编程问答 38 豆豆
生活随笔 收集整理的這篇文章主要介紹了 数据仓库之元数据管理 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

文章目錄

      • 一、元數(shù)據(jù)類型
      • 二、元數(shù)據(jù)功能
      • 三、元數(shù)據(jù)應用
      • 四、總結(jié)

元數(shù)據(jù)(Meta Data),主要記錄數(shù)據(jù)倉庫中模型的定義、各層級間的映射關系、監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)及 ETL 的任務運行狀態(tài)。一般會通過元數(shù)據(jù)資料庫(Metadata Repository)來統(tǒng)一地存儲和管理元數(shù)據(jù),其主要目的是使數(shù)據(jù)倉庫的設計、部署、操作和管理能達成協(xié)同和一致。元數(shù)據(jù)是數(shù)據(jù)倉庫管理系統(tǒng)的重要組成部分,元數(shù)據(jù)管理是企業(yè)級數(shù)據(jù)倉庫中的關鍵組件,貫穿了數(shù)據(jù)倉庫的整個生命周期,使用元數(shù)據(jù)驅(qū)動數(shù)據(jù)倉庫的開發(fā),使數(shù)據(jù)倉庫自動化,可視化。

構建數(shù)據(jù)倉庫的主要步驟之一是 ETL。這時元數(shù)據(jù)將發(fā)揮重要的作用,它定義了源數(shù)據(jù)系統(tǒng)到數(shù)據(jù)倉庫的映射、數(shù)據(jù)轉(zhuǎn)換的規(guī)則、數(shù)據(jù)倉庫的邏輯結(jié)構、數(shù)據(jù)更新的規(guī)則、數(shù)據(jù)導入歷史記錄以及裝載周期等相關內(nèi)容。數(shù)據(jù)抽取和轉(zhuǎn)換的專家以及數(shù)據(jù)倉庫管理員正是通過元數(shù)據(jù)高效地構建數(shù)據(jù)倉庫。

用戶在使用數(shù)據(jù)倉庫時,通過元數(shù)據(jù)訪問數(shù)據(jù),明確數(shù)據(jù)項的含義以及定制

報表。數(shù)據(jù)倉庫的規(guī)模及其復雜性離不開正確的元數(shù)據(jù)管理,包括增加或移

除外部數(shù)據(jù)源,改變數(shù)據(jù)清洗方法,控制出錯的查詢以及安排備份等。

一、元數(shù)據(jù)類型

?元數(shù)據(jù)可分為技術元數(shù)據(jù)業(yè)務元數(shù)據(jù)管理過程元數(shù)據(jù)

1、 技術元數(shù)據(jù)為開發(fā)和管理數(shù)據(jù)倉庫的 IT 人員使用,它描述了與數(shù)據(jù)倉庫開發(fā)、管理和維護相關的數(shù)據(jù),包括數(shù)據(jù)源信息、數(shù)據(jù)轉(zhuǎn)換描述、數(shù)據(jù)倉庫模型、數(shù)據(jù)清洗與更新規(guī)則、數(shù)據(jù)映射和訪問權限等。

2、 業(yè)務元數(shù)據(jù)為管理層和業(yè)務分析人員服務,從業(yè)務角度描述數(shù)據(jù),包括商務術語、數(shù)據(jù)倉庫中有什么數(shù)據(jù)、數(shù)據(jù)的位置和數(shù)據(jù)的可用性等,幫助業(yè)務人員更好地理解數(shù)據(jù)倉庫中哪些數(shù)據(jù)是可用的以及如何使用。

3、 管理過程元數(shù)據(jù)指描述管理領域相關的概念、關系和規(guī)則的數(shù)據(jù),主要包括管理流程、人員組織、角色職責等信息。

二、元數(shù)據(jù)功能

1、血緣分析:向上追溯元數(shù)據(jù)對象的數(shù)據(jù)來源。血緣分析可以幫助您輕松回答:'我正在查看的報告數(shù)據(jù)來源是什么?'以及’對當前分析的數(shù)據(jù)應用了哪些轉(zhuǎn)換處理?'等問題。這樣的機制及對這些問題的回答確保了對所分析的數(shù)據(jù)更高的信任水平,并有助于實現(xiàn)許多行業(yè)(包括醫(yī)療、金融、銀行和制造業(yè)等)對所呈現(xiàn)數(shù)據(jù)的特殊監(jiān)管及合規(guī)性要求。

2、影響分析:向下追溯元數(shù)據(jù)對象對下游的影響。影響分析可以讓您輕松應對變更可能產(chǎn)生的影響,自動識別與其相關的依賴項和潛在的影響還可以跟蹤所有對象及其依賴關系,最后我們還提供數(shù)據(jù)全生命周期的可視化顯示。例如,如果您的某一信息系統(tǒng)中準備將“銷售額”從包含稅費更改為不包括稅費,則SE-DWA將自動顯示所有使用了“銷售金額”字段,以便您可以確定有哪些工作需要完成,并且建議您在更改前完成該工作。

3、同步檢查:檢查源表到目標表的數(shù)據(jù)結(jié)構是否發(fā)生變更。

4、指標一致性分析:定期分析指標定義是否和實際情況一致。

5、實體關聯(lián)查詢:事實表與維度表的代理鍵自動關聯(lián)。

三、元數(shù)據(jù)應用

1、ETL自動化管理:使用元數(shù)據(jù)信息自動生成物理模型,ETL程序腳本,任務依賴關系和調(diào)度程序。

2、數(shù)據(jù)質(zhì)量管理:使用數(shù)據(jù)質(zhì)量規(guī)則元數(shù)據(jù)進行數(shù)據(jù)質(zhì)量測量。數(shù)據(jù)質(zhì)量根據(jù)設定的規(guī)則幫助您過濾出有問題的數(shù)據(jù),并智能分析數(shù)據(jù)質(zhì)量缺陷。

3、數(shù)據(jù)安全管理:使用元數(shù)據(jù)信息進行報表權限控制。可以方便查看用戶和訪問權限,并啟用對象級和行級安全管理。對象級安全性確保通過身份驗證的用戶只能訪問他們被授權查看的數(shù)據(jù)、表或列,其它數(shù)據(jù)則不可見。基于行的安全性會更進一步,可以限制特定的組成員只可以訪問表中特定的數(shù)據(jù)。

4、數(shù)據(jù)標準管理:使用元數(shù)據(jù)信息生成標準的維度模型。

5、數(shù)據(jù)接口管理:使用元數(shù)據(jù)信息進行接口統(tǒng)一管理。多種數(shù)據(jù)源接入,并提供多種插件對接最流行的源系統(tǒng)。應該可以簡單方便獲取數(shù)據(jù)。

6、項目文檔管理:使用元數(shù)據(jù)可以自動、方便的生成的健壯全面的項目文檔,其以幫助您應對各種對于數(shù)據(jù)合規(guī)性要求。讀取元數(shù)據(jù)模型,并生成pdf格式的描述文件。生成文檔您查看每個對象的名稱、設置、描述和代碼。

7、數(shù)據(jù)語義管理:業(yè)務用戶在自助服務分析中面臨的挑戰(zhàn)他們不了解數(shù)據(jù)倉庫從而無法正確解釋數(shù)據(jù),使用元數(shù)據(jù)可以語義層建模,使用易于業(yè)務用戶理解的描述來轉(zhuǎn)換數(shù)據(jù)。

四、總結(jié)

? 由上可見,元數(shù)據(jù)不僅定義了數(shù)據(jù)倉庫中數(shù)據(jù)的模式、來源、抽取和轉(zhuǎn)換規(guī)則等,而且是整個數(shù)據(jù)倉庫系統(tǒng)運行的基礎,元數(shù)據(jù)把數(shù)據(jù)倉庫系統(tǒng)中各個松散的組件聯(lián)系起來,組成了一個整體數(shù)據(jù)倉庫解決方案。

總結(jié)

以上是生活随笔為你收集整理的数据仓库之元数据管理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯,歡迎將生活随笔推薦給好友。