01

背景與挑戰(zhàn)

近幾年，隨著業(yè)務(wù)的增長、數(shù)字化轉(zhuǎn)型加速、互聯(lián)網(wǎng)金融業(yè)務(wù)快速發(fā)展和迭代，銀行數(shù)據(jù)中心傳統(tǒng)的IT架構(gòu)面臨著巨大的挑戰(zhàn)。數(shù)據(jù)庫作為最重要的IT基礎(chǔ)設(shè)施組件，數(shù)據(jù)庫的數(shù)量出現(xiàn)井噴式增長，同時數(shù)據(jù)庫的技術(shù)架構(gòu)和運行環(huán)境也越來越復(fù)雜。數(shù)據(jù)庫種類上從使用某單一企業(yè)級數(shù)據(jù)庫產(chǎn)品轉(zhuǎn)變?yōu)榛旌鲜褂枚喾N商業(yè)數(shù)據(jù)庫產(chǎn)品和開源數(shù)據(jù)庫產(chǎn)品；數(shù)據(jù)庫架構(gòu)也從依賴單機性能的集中式，轉(zhuǎn)變?yōu)樽x寫分離、分庫分表、分布式多活等各種復(fù)雜架構(gòu)；數(shù)據(jù)庫的運行環(huán)境也從物理主機轉(zhuǎn)變?yōu)楦鞣N虛擬化、私有云、公有云甚至容器。

在這樣的背景下，傳統(tǒng)的運維方式同樣面臨巨大挑戰(zhàn)，對傳統(tǒng)的DBA團隊也提出了更高的要求：

更高效：互聯(lián)網(wǎng)化開發(fā)運維模式的興起如敏捷開發(fā)、多重迭代、Devops等，對數(shù)據(jù)庫系統(tǒng)的快速交付提出了更高的要求，如從原來的每月發(fā)布版本變成了每周甚至每天發(fā)版；用戶群從柜臺轉(zhuǎn)為了線上，這意味著更短的數(shù)據(jù)庫停機時間，并且出故障后的影響程度大大增加，對故障的處理時間也提出了更高的要求。

更低成本：目前金融行業(yè)受外部環(huán)境等因素影響，面臨著巨大的成本壓力，數(shù)據(jù)中心越來越重視降本增效，更多的采用通用的廉價的硬件基礎(chǔ)設(shè)施，減少商業(yè)軟件，擁抱開源。數(shù)據(jù)庫從部署到運維，也應(yīng)減少對商業(yè)軟件的依賴，采用基于開源軟件的定制開發(fā)或者完全自研與行內(nèi)環(huán)境更加適配的運維平臺體系，這對DBA團隊提出了新的要求。

更智能：智能化程度決定著效率提升和成本降低的上限，隨著數(shù)據(jù)庫數(shù)量快速增長、數(shù)據(jù)庫環(huán)境的更加復(fù)雜多樣、監(jiān)控指標(biāo)紛繁蕪雜，沒有智能化的技術(shù)做依靠，也難以達到海量運維的要求。

02

用智能運維應(yīng)對挑戰(zhàn)

數(shù)字化經(jīng)濟、互聯(lián)網(wǎng)金融的發(fā)展對金融領(lǐng)域帶來的是挑戰(zhàn)，也是機遇。作為一家擁有強大創(chuàng)新基因的金融企業(yè)，民生銀行正在加快推進全面改革轉(zhuǎn)型，致力于成為“民營企業(yè)的銀行、科技金融的銀行、綜合服務(wù)的銀行”。為此，民生銀行正加速推進科技金融建設(shè)，以“數(shù)據(jù)+技術(shù)”雙輪驅(qū)動改革轉(zhuǎn)型，著力打造數(shù)字化智能銀行。

為了助力我行順利轉(zhuǎn)型，我行數(shù)據(jù)庫團隊基于自身的特點和經(jīng)驗，提出了民生銀行數(shù)據(jù)庫智能運維新理念，并且通過持續(xù)的建設(shè)，完成了部分的系統(tǒng)的開發(fā)和上線。該理念的主要內(nèi)容包括如下幾點：

標(biāo)準(zhǔn)化：數(shù)據(jù)庫產(chǎn)品逐漸收斂，按照場景固定使用某一種數(shù)據(jù)庫產(chǎn)品；數(shù)據(jù)庫配置固定，標(biāo)準(zhǔn)化場景后只能采用標(biāo)準(zhǔn)化配置進行部署和運行；流程固定，申請、變更、評審和問題處理等都采用標(biāo)準(zhǔn)化流程。

自動化：自動化是對標(biāo)準(zhǔn)化的進一步提升，通過自動化腳本和程序，進一步控制標(biāo)準(zhǔn)化的執(zhí)行，對安裝部署、監(jiān)控預(yù)警、變更管理、上線審核和問題處理等標(biāo)準(zhǔn)流程全部實現(xiàn)自動化處理。

集中化：集中化將各種自動化工具集中起來，通過統(tǒng)一的界面、接口、流程提供給用戶。通過集中化的管理，可以更好的節(jié)約運維成本，提高運維效率。

智能化：智能化是未來數(shù)據(jù)庫運維的重要方向，作為DBA，需要借助人工智能來應(yīng)對海量的數(shù)據(jù)庫和海量的運維指標(biāo)，提高問題定位的準(zhǔn)確性和預(yù)測能力，加快解決問題的速度。

03

智能運維的體系架構(gòu)

我行數(shù)據(jù)庫團隊基于“標(biāo)準(zhǔn)化”、“自動化”、“集中化”、“智能化”的運維理念，設(shè)計開發(fā)了一整套的流程、工具和平臺，形成了智能運維的體系架構(gòu)。

標(biāo)準(zhǔn)化：標(biāo)準(zhǔn)化對應(yīng)了各種規(guī)范、流程、制度等，制定這些規(guī)范、流程、制度的目的是讓數(shù)據(jù)庫運維更加精細(xì)、風(fēng)險更低、效率更高。

自動化：由各種自動化工具組成，通過這些工具來更好的輔助標(biāo)準(zhǔn)化的實施，這些工具大部分為自研開發(fā)，通過使用這些工具，減少了DBA大量的重復(fù)性勞動，也使標(biāo)準(zhǔn)更容易實施落地。

集中化：集中化指通過采用集中管理、開發(fā)統(tǒng)一的界面、提供統(tǒng)一的入口來將所有零散的數(shù)據(jù)庫工具進行整合，使操作更加人性化、更加便捷，提高DBA的工作效率。

智能化：為了在有限的人力的情況下應(yīng)對將來海量的數(shù)據(jù)庫數(shù)量和種類繁多的監(jiān)控指標(biāo)，我們必須借助機器的力量自動完成原來靠人力完成的工作，甚至借助機器學(xué)習(xí)的能力提前發(fā)現(xiàn)人力所不及的深層次問題。目前這層的很多工作還處于預(yù)研和試點階段。

04

數(shù)據(jù)庫PaaS平臺的技術(shù)架構(gòu)

通過近幾年我行的持續(xù)投入，已經(jīng)實現(xiàn)了該體系架構(gòu)下的若干子系統(tǒng)和子模塊，初步建成了我行的數(shù)據(jù)庫PaaS平臺。該平臺從上到下由數(shù)據(jù)庫網(wǎng)關(guān)層、數(shù)據(jù)庫層、資源層、物理層以及管理層組成。其平臺架構(gòu)如下圖所示：

物理層：主要是機房、網(wǎng)絡(luò)設(shè)備等基礎(chǔ)設(shè)施，目前主備機房已經(jīng)實現(xiàn)二層打通。

資源層：為了提高資源的利用率和彈性縮擴容，資源層主要由容器和虛擬機組成，由IAAS平臺實時分配，同時為了支持高負(fù)載的應(yīng)用，還需要兼容部分物理機的場景。

數(shù)據(jù)庫層：支持我行主流的數(shù)據(jù)庫，包括DB2、Oracle、MySQL，以及正在試點的各種分布式數(shù)據(jù)庫產(chǎn)品。為了降低存儲成本、提高部署的靈活性和切換速度，數(shù)據(jù)庫層采用數(shù)據(jù)庫日志復(fù)制技術(shù)進行主備的搭建，比如DB2 HADR、Oracle ADG、MySQL主從、MGR等。

數(shù)據(jù)庫網(wǎng)關(guān)層：為了對應(yīng)用屏蔽底層的數(shù)據(jù)庫主備關(guān)系和提供主備自動切換的能力，需要自研數(shù)據(jù)庫網(wǎng)關(guān)，提供路由轉(zhuǎn)發(fā)、探活切換等能力。目前這層我們還處于研發(fā)階段，路由轉(zhuǎn)發(fā)模塊可以考慮用類似LVS的反向代理或DNS的客戶端路由來實現(xiàn)。

管理層：提供數(shù)據(jù)庫PaaS平臺所有的管理功能和自助服務(wù)，由各種功能模塊組成，采用了微服務(wù)、ansible等技術(shù)，對外提供統(tǒng)一的入口。目前包括資源申請、監(jiān)控告警、性能容量管理、基礎(chǔ)運維、問題管理、SQL審核、SQL執(zhí)行、元數(shù)據(jù)管理、備份恢復(fù)等模塊。

05

總結(jié)和展望

我行數(shù)據(jù)庫團隊通過持續(xù)堅持“標(biāo)準(zhǔn)化”、“自動化”、“集中化”、“智能化”的運維理念，高效維護著全行幾百套系統(tǒng)、上千個不同類型的數(shù)據(jù)庫，同時經(jīng)過近幾年持續(xù)的研發(fā)投入，逐漸打造了民生銀行的數(shù)據(jù)庫PaaS平臺。

我們期望未來民生銀行數(shù)據(jù)庫PaaS平臺的三個方向分別是云化、分布式和智能化：云化指實踐各種容器化、虛擬化技術(shù)，讓資源分配、部署、監(jiān)控、管理、回收、變更更方便快捷，平臺更加自助式，最多程度的減少DBA的介入；分布式指接入企業(yè)級分布式數(shù)據(jù)庫，提高分布式數(shù)據(jù)庫的覆蓋率，同時推進存量系統(tǒng)的分布式架構(gòu)改造；智能化指開發(fā)推廣智能預(yù)警、根因分析、數(shù)據(jù)庫畫像等智能化場景，提高海量數(shù)據(jù)庫的運維能力。我們相信通過持續(xù)的投入和努力，一定可以達到更高效、更低成本和更智能化的運維要求。

朱彬：

多年數(shù)據(jù)庫的運維管理經(jīng)驗，目前正帶領(lǐng)數(shù)據(jù)庫團隊打造數(shù)據(jù)庫PaaS平臺，完成從傳統(tǒng)運維向智能運維的轉(zhuǎn)型。

郝慶運：

資深DBA，加入民生銀行之前曾在IBM從事DB2研發(fā)和三線支持工作多年，現(xiàn)負(fù)責(zé)數(shù)據(jù)庫運維和運維架構(gòu)管理工作。

周鵬：DBA，負(fù)責(zé)數(shù)據(jù)庫運維，數(shù)據(jù)歸檔管理平臺、基礎(chǔ)軟件PaaS平臺建設(shè)等工作。

來源：民生銀行

資料免費送（點擊鏈接下載）

加入運維管理VIP群（點擊鏈接查看）

掃描以下二維碼加入學(xué)習(xí)群

總結(jié)

以上是生活随笔為你收集整理的民生银行数据库智能运维的探索与实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。