数据库自治服务DAS年度新版本:”数据库自动驾驶“进入规模化时代
阿里云云盒更多內(nèi)容:https://yqh.aliyun.com/live/cloudbox
2020年4月,阿里云數(shù)據(jù)庫自治服務(wù)DAS 正式發(fā)布,開啟數(shù)據(jù)庫“自動駕駛”新時代。經(jīng)過一年的時間,數(shù)據(jù)庫自治服務(wù)DAS的輔助自治模式已經(jīng)支持阿里云全網(wǎng)100%的高可用實例,并且已經(jīng)有超過5000的客戶,運行在DAS的自治模式,即授權(quán)DAS進行數(shù)據(jù)庫的自修復(fù)、自優(yōu)化、自運維和自安全。
?
讓數(shù)據(jù)庫發(fā)揮最優(yōu)的效能,依賴很多數(shù)據(jù)庫專業(yè)領(lǐng)域知識,對于大部分企業(yè)和應(yīng)用開發(fā)者而言,依然充滿挑戰(zhàn),如故障診斷,快速定位根因并進行有效的止損;業(yè)務(wù)快速迭代過程中的數(shù)據(jù)庫的持續(xù)調(diào)優(yōu)、SQL Review等,都是非常耗時耗力且需要7x24小時值守的能力,因此,數(shù)據(jù)庫走向自治是一個必然趨勢。
?
如果說,傳統(tǒng)數(shù)據(jù)庫向云數(shù)據(jù)庫的轉(zhuǎn)變是“汽車換馬車”,那么DAS就是給“汽車”加上了“自動駕駛”的引擎,擁有了“自動駕駛”的能力。
?
在今天的發(fā)布會上,針對用戶的核心痛點,DAS新發(fā)布了8大核心自治功能,包括7x24小時異常檢測、自動SQL限流、自動SQL優(yōu)化、自動空間優(yōu)化、自動彈性伸縮、智能調(diào)參、智能壓測、實時審計等,為企業(yè)的SQL問題、數(shù)據(jù)庫負載問題、空間問題、容量評估、安全審計,從異常發(fā)現(xiàn)、根因定位、自修復(fù)/自優(yōu)化/自安全,既能實現(xiàn)快速止損,又會持續(xù)不斷的對數(shù)據(jù)庫進行優(yōu)化,無需人工干預(yù),讓企業(yè)像體驗“自動駕駛”一樣使用數(shù)據(jù)庫,數(shù)據(jù)庫管理成本降低90%。
SQL問題——以無人值守方式,實現(xiàn)數(shù)據(jù)庫持續(xù)優(yōu)化
數(shù)據(jù)庫性能問題70%以上是SQL問題,但是傳統(tǒng)方案下面缺乏有效的止損手段,并且不具備提前預(yù)防、持續(xù)優(yōu)化的可能性。
DAS通過異常SQL的定位、異常SQL自動限流、自動SQL優(yōu)化、結(jié)果驗證,覆蓋解決SQL問題的各個環(huán)節(jié),實現(xiàn)及時發(fā)現(xiàn)、快速止損、持續(xù)優(yōu)化和可驗證。
數(shù)據(jù)庫負載問題——實現(xiàn)全鏈路自動彈性伸縮,應(yīng)對業(yè)務(wù)負載變化
對于絕大多數(shù)企業(yè)來說,數(shù)據(jù)庫都是主干系統(tǒng),數(shù)據(jù)庫負載飆升,會對業(yè)務(wù)造成巨大的損失,但是基于閾值的告警方式,存在異常發(fā)現(xiàn)延遲大的問題,往往不能在負載發(fā)生變化的時候,快速發(fā)現(xiàn)并及時采用止損措施。
DAS的7x24小時異常檢測,可以1分鐘內(nèi)檢測到數(shù)據(jù)庫異常,并且支持全鏈路自動彈性伸縮(包括帶寬、Porxy、CPU/內(nèi)存/IO、節(jié)點等等),能夠快速解決數(shù)據(jù)庫負載問題,保障業(yè)務(wù)持續(xù)可用。
空間問題——數(shù)據(jù)庫空間問題的自修復(fù)、自優(yōu)化
數(shù)據(jù)庫空間問題,影響著數(shù)據(jù)庫的性能和成本,DAS針對數(shù)據(jù)庫常見的空間問題,提供了完整的“治標(biāo)”+“治本”的自修復(fù)、自優(yōu)化方案,節(jié)省數(shù)據(jù)庫使用成本的同時,提升數(shù)據(jù)庫的性能。
DAS全方位自治能力 助力企業(yè)用戶發(fā)揮數(shù)據(jù)庫最優(yōu)效能
隨著數(shù)據(jù)時代的來臨,各個企業(yè)在業(yè)務(wù)高速增長的過程中都會不可避免地遇到數(shù)據(jù)庫種類繁多、數(shù)據(jù)監(jiān)測困難、運維成本高昂等常見數(shù)據(jù)庫運維痛點。過去一年中,DAS已與5000+企業(yè)建立合作,為其提供專業(yè)且高效的數(shù)據(jù)庫管理服務(wù)。我們以知名 “AI+教育”上市公司英語流利說和知名企業(yè)服務(wù)提供商用友用友為例,為大家展示DAS作為數(shù)據(jù)庫性能優(yōu)化利器,如何破解用戶性能痛點,降低運維成本。
流利說:流利說基于DAS構(gòu)建了數(shù)據(jù)庫運維體系和工具。該體系針對全局workload,采用真實的業(yè)務(wù)流量和場景持續(xù)優(yōu)化,完成自動跟蹤和回滾的流程閉環(huán),實現(xiàn)自動SQL Review和自動優(yōu)化,讓數(shù)據(jù)庫完成真正的”自治“。在操作流程上,DAS的標(biāo)準(zhǔn)化無感接入和監(jiān)控流程,有效規(guī)避作業(yè)過程中人為遺漏及誤操作的可能性。
整套數(shù)據(jù)庫運維體系因DAS統(tǒng)一接入和管理、自動診斷、自動SQL Review和優(yōu)化等特色,真正做到專業(yè)且高效,大大減輕了流利說DBA日常工作量。
流利說基礎(chǔ)架構(gòu)負責(zé)人孫文杰表示:“DAS的引入使流利說數(shù)據(jù)庫整體性能得到優(yōu)化,運維人效大幅提升,并幫助數(shù)據(jù)庫管理團隊從繁重的日常工作中釋放人力,實現(xiàn)團隊轉(zhuǎn)型升級。DAS幫流利說更聰明、更專業(yè)、更高效地使用數(shù)據(jù)庫服務(wù)。”
用友:DAS輕量級、個性化的智能壓測服務(wù),幫助用友營銷云使用真實業(yè)務(wù)場景和流量評估MySQL數(shù)據(jù)庫遷移到PolarDB的數(shù)據(jù)庫容量和兼容性。
在此過程中,DAS低負載捕獲真實業(yè)務(wù)流量、通過學(xué)習(xí)自動生成壓測流量、支持寫流量回放壓測和語法自動轉(zhuǎn)換,都有助于各項評估預(yù)見到可能存在的風(fēng)險,多維度、高視角、全方位地為數(shù)據(jù)庫遷移保駕護航。
容量評估方面,更是在智能壓測期間根據(jù)業(yè)務(wù)需求精準(zhǔn)評估了PolarDB規(guī)格,規(guī)避了潛在的性能風(fēng)險,精準(zhǔn)評估遷移實例規(guī)格,避免了不必要的IT資源浪費。
整個過程中,DAS一直為用友的數(shù)據(jù)庫遷移保駕護航,提前發(fā)現(xiàn)兼容性、性能風(fēng)險,完成合理的容量評估。最終,順利完成數(shù)據(jù)庫遷移的業(yè)務(wù)規(guī)劃。
?
DAS誠摯邀你進入數(shù)據(jù)庫“自動駕駛”時代
僅僅用時一年,DAS便獲得了5000+客戶的信任,邁入數(shù)據(jù)庫“自動駕駛”時代。除去時代的需求,這份成功背后還有一些必然因素。
阿里巴巴內(nèi)部紛繁復(fù)雜的業(yè)務(wù)場景、超過10萬的數(shù)據(jù)庫實例、快速迭代的業(yè)務(wù)、超級熱點“雙十一”等等,都給DAS提供了獨一無二、不可替代的“自動駕駛”訓(xùn)練場,幫助DAS錘煉自動駕駛的能力。雖然DAS在2020年才發(fā)布,但其實早在2017年就開始研發(fā)了。在阿里巴巴內(nèi)部,DAS經(jīng)歷了3年不間斷的錘煉,支撐了3個雙十一,自動優(yōu)化了超過4900w的慢SQL,自動回收了4.6 PB的空間,自動優(yōu)化了12%的內(nèi)存。
此外,達摩院前沿研究的轉(zhuǎn)化,用戶業(yè)務(wù)類型的多樣性、數(shù)據(jù)庫的復(fù)雜性等等,都給數(shù)據(jù)庫的自動駕駛帶來了巨大的挑戰(zhàn),其中很多問題對于專業(yè)的DBA都是難題,而DAS選擇了迎難而上,走在時代前面,預(yù)先解決一切問題。DAS由阿里云和達摩院聯(lián)合研發(fā),在異常檢測、SQL診斷、根因定位等等核心技術(shù)上面獲得了巨大的突破。過去3年,DAS相關(guān)研發(fā)團隊在數(shù)據(jù)庫國際頂級會議發(fā)表了4篇論文,包括SIGMOD、VLDB大會等。
在過去半年多的時間里,DAS每天進行數(shù)千億次的異常檢測,進行至少20萬次以上的SQL診斷和優(yōu)化,累計已幫助用戶自動處理10000+的故障,實現(xiàn)1分鐘發(fā)現(xiàn)、5分鐘定位、10分鐘止損,無需用戶人工干預(yù),最大限度地保障數(shù)據(jù)庫持續(xù)可用的階段性目標(biāo)。未來必將是數(shù)據(jù)庫全自治的時代,DAS也將持續(xù)以數(shù)據(jù)庫自動駕駛為目標(biāo),不斷為其增加自感知、自決策、自恢復(fù)、自優(yōu)化和自安全的自治能力,為用戶和行業(yè)解決更深層次的需求。
相關(guān)閱讀:
深度技術(shù)揭秘 | 大促狂歡背后,如何有效評估并規(guī)劃數(shù)據(jù)庫計算資源?
重磅 | 數(shù)據(jù)庫自治服務(wù)DAS論文入選全球頂會SIGMOD,領(lǐng)航“數(shù)據(jù)庫自動駕駛”新時代
干貨|SQL請求行為識別新功能上線,幫助解決異常SQL檢測之大海撈針問題
功能更新|DAS推出全局Workload優(yōu)化功能,實現(xiàn)SQL自動診斷
干貨|一文讀懂阿里云數(shù)據(jù)庫Autoscaling是如何工作的
原文鏈接:https://developer.aliyun.com/article/785129?
版權(quán)聲明:本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻,版權(quán)歸原作者所有,阿里云開發(fā)者社區(qū)不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,填寫侵權(quán)投訴表單進行舉報,一經(jīng)查實,本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。總結(jié)
以上是生活随笔為你收集整理的数据库自治服务DAS年度新版本:”数据库自动驾驶“进入规模化时代的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 商业化十周年,阿里云RDS推出企业级自治
- 下一篇: 数据库自治服务DAS论文入选全球顶会SI