dama数据管理知识体系指南_DAMA知识体系解读(6)数据操作管理
數(shù)據(jù)操作管理是提供從數(shù)據(jù)獲取到數(shù)據(jù)清理的全過程支持,關(guān)聯(lián)圖:
一、概念
數(shù)據(jù)操作管理是結(jié)構(gòu)化數(shù)據(jù)的開發(fā)、維護和支持活動。包括兩個職能:數(shù)據(jù)庫支持和數(shù)據(jù)技術(shù)管理。數(shù)據(jù)管理員(DBA)在該活動中起著重要的作用。
數(shù)據(jù)操作管理的目標:
- 保護和確保結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)的完整性;
- 管理數(shù)據(jù)在其生命周期內(nèi)的可用性;
- 優(yōu)化數(shù)據(jù)庫事務(wù)性能;
二、數(shù)據(jù)庫支持
數(shù)據(jù)庫支持由DBA完成,DBA分為開發(fā)DBA和產(chǎn)品DBA。開發(fā)DBA關(guān)注開發(fā)活動,產(chǎn)品DBA關(guān)注實施數(shù)據(jù)操作管理活動。因此,數(shù)據(jù)庫支持更準確的說是由產(chǎn)品DBA完成的。
DBA的數(shù)據(jù)庫支持工作主要包括:
1、創(chuàng)建產(chǎn)品數(shù)據(jù)庫環(huán)境、配置環(huán)境
管理工作包括:
- 安裝、更新DBMS以及其他相關(guān)數(shù)據(jù)技術(shù)工具;
- 管理數(shù)據(jù)庫的連通性,包括為相關(guān)操作用戶提供技術(shù)指導(dǎo)和服務(wù)支持;
- 劃分適當空間,優(yōu)化不同存儲技術(shù)不同種類的數(shù)據(jù);
- 與其他工作人員合作調(diào)整與DBMS協(xié)作的操作系統(tǒng)、網(wǎng)絡(luò)和事務(wù)處理中間層的性能;
可以準備一份清單,列出上述工作的步驟,建立數(shù)據(jù)庫管理機制和工作流程。這樣DBA可以有效的實施管理和控制,將應(yīng)用程序的數(shù)據(jù)庫修改實施到質(zhì)控環(huán)境和產(chǎn)品環(huán)境中,加強環(huán)境管理。
DBA是所有數(shù)據(jù)庫修改的監(jiān)管人,其他人員只能提出修改請求,由DBA定義準確的修改方案,并實施和控制更改。
2、數(shù)據(jù)采集管理:獲取來自外部的數(shù)據(jù)
外部數(shù)據(jù)可能是許可的,也可能是免費的。它們以不同的格式一次性、或通過訂閱服務(wù)定期更新。數(shù)據(jù)采集的管理需要把數(shù)據(jù)訂閱服務(wù)職責交給數(shù)據(jù)分析人士。
- 數(shù)據(jù)分析師把外部數(shù)據(jù)源記錄在邏輯數(shù)據(jù)模型和數(shù)據(jù)辭典內(nèi);
- 開發(fā)人員據(jù)此設(shè)計并外部數(shù)據(jù)的讀取程序;
- DBA負責將數(shù)據(jù)加載到數(shù)據(jù)庫中,供其他程序使用;
3、規(guī)劃數(shù)據(jù)恢復(fù)
數(shù)據(jù)治理委員會與IT數(shù)據(jù)管理部門建立數(shù)據(jù)可用性及恢復(fù)的服務(wù)水平協(xié)議。協(xié)議設(shè)定數(shù)據(jù)可用性期望,允許進行數(shù)據(jù)庫維護和備份時間,設(shè)定不同場景下的數(shù)據(jù)恢復(fù)期望時間,包括潛在的災(zāi)難事件等。
DBA保證制定的所有計劃(數(shù)據(jù)庫、數(shù)據(jù)庫服務(wù)器恢復(fù)),要覆蓋所有導(dǎo)致數(shù)據(jù)丟失、損壞的可能場景。
管理層和組織的業(yè)務(wù)連續(xù)性管理部門(如果存在)應(yīng)該評審并批準數(shù)據(jù)恢復(fù)規(guī)劃。所有的計劃可以被DBA訪問。DBA備份所有恢復(fù)計劃聯(lián)同所有相關(guān)軟件,以及有關(guān)安裝、DBMS配置說明、安全碼等應(yīng)存放于除現(xiàn)場外的安全地方,以備災(zāi)難發(fā)生時應(yīng)用。數(shù)據(jù)庫備份亦同樣處理。
4、備份和恢復(fù)數(shù)據(jù)
DBA定期備份數(shù)據(jù)庫、OLTP數(shù)據(jù)庫和數(shù)據(jù)庫事務(wù)日志。在數(shù)據(jù)庫服務(wù)水平協(xié)議中定義備份頻率。DBA需要對數(shù)據(jù)的重要性和保護數(shù)據(jù)所需付出的代價(存儲資源空間)之間做出權(quán)衡。每個數(shù)據(jù)庫每天至少要進行一次完全備份。
同時,數(shù)據(jù)庫的存儲區(qū)域需要根據(jù)數(shù)據(jù)的情況進行設(shè)置,并根據(jù)數(shù)據(jù)更新頻率和數(shù)據(jù)量來設(shè)置數(shù)據(jù)備份策略、日志數(shù)據(jù)轉(zhuǎn)儲策略等內(nèi)容。以便可以提供更好的數(shù)據(jù)保護,并減少備份對服務(wù)器資源以及程序帶來的影響和沖擊。
對于重要數(shù)據(jù)或者業(yè)務(wù)應(yīng)用場景要求高的,還需要考慮數(shù)據(jù)庫發(fā)生事故時的切換,以保障應(yīng)用服務(wù)的繼續(xù)運行。根據(jù)需要設(shè)置切換的方案,包括其他數(shù)據(jù)保護選項,比如服務(wù)器集群,熱備份等。必要時,DBA也需要負責通過重新加載必要的數(shù)據(jù)庫和事務(wù)日志備份最大可能的恢復(fù)丟失的數(shù)據(jù)或損壞的數(shù)據(jù)。
提供恰當?shù)谋Wo機制,可確保數(shù)據(jù)的持續(xù)可用性、完整性、可恢復(fù)性,安全性。
5、設(shè)定數(shù)據(jù)庫性能服務(wù)水平
數(shù)據(jù)庫的性能服務(wù)水平有兩方面:可用性和性能。性能是以可用性做為前提的。數(shù)據(jù)服務(wù)管理部門與數(shù)據(jù)所有人之間通過服務(wù)水平協(xié)議定義數(shù)據(jù)庫的性能期望。一般來說,協(xié)議中規(guī)定了數(shù)據(jù)庫的可用性時間和有選擇的幾個應(yīng)用程序事務(wù)(復(fù)雜查詢和更新的組合),在確定的可用性時間范圍內(nèi)指定最大允許執(zhí)行時間。
可用性是系統(tǒng)或數(shù)據(jù)庫能提供正常生產(chǎn)工作的時間百分比。
以下4個因素影響數(shù)據(jù)庫的可用性:
- 可管理性:產(chǎn)生可維護有效環(huán)境的能力;
- 可恢復(fù)性:發(fā)生中斷時重建服務(wù)的能力,更正不可預(yù)料事件發(fā)生所導(dǎo)致錯誤的能力;
- 可靠性:在規(guī)定時期內(nèi)提供指定服務(wù)水平的能力;
- 可服務(wù)性:確定問題所在、診斷錯誤原因以及修復(fù)和解決問題的能力;
很多因素都有可能導(dǎo)致數(shù)據(jù)庫喪失可用性。DBA的責任是采取有效措施保證數(shù)據(jù)庫在線運行正常。(P99頁列舉了可能導(dǎo)致數(shù)據(jù)庫不可用的因素)
6、監(jiān)控并調(diào)整數(shù)據(jù)庫性能
通過監(jiān)控數(shù)據(jù)庫性能和問題,DBA可以主動或被動的優(yōu)化數(shù)據(jù)庫性能。根據(jù)DBMS提供性能監(jiān)聽功能,生成分析報告。DBA應(yīng)當保存不同時期和版本的報告,以便進行新舊對比分析,通過報告中數(shù)據(jù)的發(fā)展趨勢,來分析是否出現(xiàn)了問題,也有助于分析哪些問題是伴隨時間推移而產(chǎn)生的。
書中列舉了大量可能導(dǎo)致性能低下的原因(P100),可重點關(guān)注這些方面,并有針對性的采取相應(yīng)措施,改善數(shù)據(jù)庫性能。但是需要注意的是,反范式化只能在其他行動無效后方可使用,并且在使用時仔細考慮其可能導(dǎo)致的其他后果。
7、規(guī)劃數(shù)據(jù)留存方案
不是所有的數(shù)據(jù)都會永遠存留的主存儲器上,所以物理數(shù)據(jù)庫設(shè)計的一個重要部分是數(shù)據(jù)的留存規(guī)劃。不再有效支持應(yīng)用程序處理的數(shù)據(jù)應(yīng)當歸檔并轉(zhuǎn)移到次存儲器上,對于廢棄、無用的數(shù)據(jù)也需要定期進行清理。
數(shù)據(jù)庫設(shè)計期間就需要與數(shù)據(jù)的所有者討論數(shù)據(jù)保留問題,并達成數(shù)據(jù)有效期內(nèi)如何使用數(shù)據(jù)的協(xié)議。
數(shù)據(jù)管理的主要原則之一就是維護數(shù)據(jù)的代價永遠不應(yīng)該超過這些數(shù)據(jù)帶給組織的價值。
8、歸檔、留存和清除數(shù)據(jù)
DBA應(yīng)當同應(yīng)用開發(fā)人員以及其操作人員合作實施已經(jīng)批準的數(shù)據(jù)留存規(guī)劃。對副存儲區(qū)、數(shù)據(jù)庫作業(yè)周期以及清理規(guī)則進行設(shè)置。
9、支持專用數(shù)據(jù)庫
特殊情況下可以使用特殊類型的數(shù)據(jù)庫,并進行專用的數(shù)據(jù)庫管理。在支持特殊數(shù)據(jù)庫管理上,DBA負責確保定期備份數(shù)據(jù)庫,執(zhí)行數(shù)據(jù)庫恢復(fù)測試。這個并不存在管理難度,核心是如果要將這個特殊的數(shù)據(jù)庫上的數(shù)據(jù)融合到其他的一個或多個關(guān)系數(shù)據(jù)庫中時,數(shù)據(jù)整合是極具挑戰(zhàn)性的工作。所以組織在購買數(shù)據(jù)庫時應(yīng)進行充分的考慮和討論,并給出妥善的解決方案。
三、數(shù)據(jù)技術(shù)管理
DBA需要理解數(shù)據(jù)技術(shù)需求,在了解數(shù)據(jù)技術(shù)原理,并且能夠知道數(shù)據(jù)技術(shù)在怎樣的情況下提供有效價值。
選擇數(shù)據(jù)技術(shù)的出發(fā)點:
- 解決的問題是什么?
- 提供其他數(shù)據(jù)技術(shù)沒有的功能嗎?
- 沒有而其他數(shù)據(jù)技術(shù)可提供的功能?
- 是否需要特殊硬件要求?
- 是否有特別的操作系統(tǒng)需求?
- 需要特殊的軟件才能獲得該數(shù)據(jù)技術(shù)所宣稱的功能?
- 是否有特殊的存儲需求?
- 對網(wǎng)絡(luò)或連接有特殊需求?
- 是否包括數(shù)據(jù)安全功能?
- 是否需要特殊技能來支持?是否需要從外面引進人才?
數(shù)據(jù)技術(shù)管理是對數(shù)據(jù)管理過程中需要的各類工具進行管理。包括:數(shù)據(jù)庫軟件、數(shù)據(jù)庫管理及輔助工作工具、數(shù)據(jù)建模和模型管理軟件、智能分析軟件、數(shù)據(jù)整合工具、數(shù)據(jù)質(zhì)量和清理工具、元數(shù)據(jù)管理軟件、虛擬化工具,以及涉及到版本管理、故障處理、測試等方面的工具。
數(shù)據(jù)技術(shù)管理工作包括:
- 定義數(shù)據(jù)技術(shù)架構(gòu)
- 評估數(shù)據(jù)技術(shù)
- 安裝和管理數(shù)據(jù)技術(shù)
- 備案和跟蹤數(shù)據(jù)技術(shù)的使用許可
- 支持數(shù)據(jù)技術(shù)的使用和問題
培訓(xùn)是做到有效地理解和應(yīng)用各種技術(shù)的關(guān)鍵。企業(yè)應(yīng)該針對每個參與實施人員、支持人員、使用數(shù)據(jù)人員、數(shù)據(jù)庫技術(shù)人員制定有效的培訓(xùn)計劃和預(yù)算。
四、數(shù)據(jù)操作管理的指導(dǎo)原則
實施數(shù)據(jù)操作管理的指導(dǎo)原則:(參考Craig Mullins編著的《數(shù)據(jù)庫管理》)
- 記錄所有事件;
- 保留所有記錄;
- 盡可能程序自動化處理;
- 集中理解每個任務(wù)的目的,管理范圍,簡化事情,一次做一件事;
- 三思而后行;
- 沉著冷靜,避免更多錯誤;
- 不僅了解技術(shù),也要了解業(yè)務(wù);
- 相互協(xié)作,提供幫助,彼此評審,共享知識;
- 利用所有資源;
- 持續(xù)更新;
五、過程總結(jié)
詳見鏈接:
DAMA數(shù)據(jù)管理各職能總結(jié)?note.youdao.com六、組織和文化的影響
企業(yè)往往從應(yīng)用的角度去看待數(shù)據(jù),安全的、可再利用的、高質(zhì)量的數(shù)據(jù)所帶來的的長期價值以及“將數(shù)據(jù)視為企業(yè)資源”的觀點,通常還不被企業(yè)認可和重視。
DBA與組織內(nèi)的其他角色,通常處于對立狀態(tài),對技術(shù)的改變適應(yīng)慢。可以通過一些方法和策略來促進更有效的合作方式,滿足企業(yè)數(shù)據(jù)和信息需求。了解誰是利益相關(guān)者,需求是什么?設(shè)立一套清晰、簡潔、實際、以業(yè)務(wù)為中心的標準,傳播和實施這些標準,為利益相關(guān)者提供最大的價值,以達到最佳的效果。
組織可以依據(jù)實際情況設(shè)置DBA的數(shù)量和區(qū)分DBA的類型,比如應(yīng)用DBA、過程DBA等。
總結(jié)
以上是生活随笔為你收集整理的dama数据管理知识体系指南_DAMA知识体系解读(6)数据操作管理的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux 定时运行脚本_教你如何在Li
- 下一篇: 一个算法对于某个输入的循环次数是可以事先