国产数据库领域屡次率先突破，腾讯TDSQL亮相CNCC 2019！
生活随笔
收集整理的這篇文章主要介紹了
国产数据库领域屡次率先突破，腾讯TDSQL亮相CNCC 2019！
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一款的優秀國產分布式數據庫應該表現如何？盡管你可能沒有察覺，但領先的數據庫產品已經在產業化的道路上越走越遠、越走越深入，助力行業數據庫實現全面自主可控。日前，CCF主辦的2019 中國計算機大會（CNCC 2019）在蘇州落下帷幕。會上，騰訊金融級分布式數據庫TDSQL負責人潘安群分享了TDSQL的15年研發演進歷程。
早在2009年，騰訊TDSQL就已經實現了系統7*24小時高可用、高數據一致性和彈性擴容等功能。目前，騰訊TDSQL已具備了強一致、高可用、全球部署架構、分布式水平擴展、高性能、企業級安全等特性，以及較完善的產品服務體系。除了提供穩健高效的數據庫遷移服務TDSQ多源同步解決方案，2018年，TDSQL還實現了原創性提出的全面地解決讀一致性的算法，使得分布式事務的一致性和分布式系統的一致性統一在一起。而在業界頗為頭疼的云數據庫運維問題上，TDSQL還提供了兩大利器：“赤兔”運營管理平臺和“扁鵲”智能DBA診斷系統。
而在歷史時態數據的處理方面，TDSQL與中國人民大學合作，創新性地提出并實現了全時態數據庫系統（T-TDSQL）。該系統在保證OLTP性能的前提下，提供了輕量級的全時態數據管理功能和全時態數據的事務處理能力，以及集當前態數據于生產系統、集歷史態數據于分析型系統的集群架構，構成了全時態數據的完備解決方案。2019年，該研發成果被國際數據庫學術頂會之一VLDB收錄。
TDSQL Inside：從騰訊的分布式數據庫能力到行業的能力目前，TDSQL的用戶已經覆蓋了金融、政務、物聯網、智慧零售、互聯網等行業，擁有大量的分布式數據庫最佳實踐。
2014年，是TDSQL關鍵的一年。這一年，TDSQL正式對外開始商用，第一個外部合作客戶就是微眾銀行。微眾銀行是國內第一家其核心交易系統以分布式架構來搭建的互聯網銀行。互聯網架構的高可擴展性，使得微眾銀行的服務能力具備很高的彈性，足以輕松應對普惠金融浪潮。到了2015年末，TDSQL上線騰訊云，標志著騰訊內部金融級分布式數據庫能力全面開放。2019年，TDSQL的一個舉措再一次推動了國產數據庫助力產業數字化創新的發展。今年，TDSQL成功助力張家港行成功率先將銀行傳統核心系統由集中式數據庫存儲改造為分布式數據庫存儲，打破了該領域對國外數據庫的長期依賴。這是在國內銀行首次在傳統核心業務系統場景下，采用國產分布式數據庫。而采用TDSQL搭建的新一代核心系統性能也表現優異：高頻賬戶類交易耗時在300毫秒之內，20秒內可以完成1萬筆批量代發代扣業務……而架構成本降至1/5甚至更低。妥妥實現降本增效。
當前，金融日交易量最高3.46億+的微眾銀行、大型銀行機構中國銀行、日均使用量超150萬人次的深圳地鐵乘車碼系統等超過500家金融政企機構，都是采用騰訊TDSQL數據庫的服務。這是最好的時機，也是全新的起點潘安群表示，國產數據庫經過十數年自主可控發展，沉淀了成熟的分布式數據庫技術能力，同時，云計算的蓬勃發展為傳統行業的業務轉型帶來了許多新的機遇，這是業務創新與底層技術架構轉型升級融合發展的最佳時期。“促進國產分布式數據庫發展，同時也將促進我國產業數字化轉型發展。而行業應用發展也將為技術創新發展提供新的機遇。當下是產業數字化升級最好的時機，也正是國產數據庫發最好的時機。”
而未來，核心技術挑戰攻堅、前沿技術生態融合等，在繼續推動整個數據庫基礎技術和工業生態逐步成熟上都是值得我們思考探索的問題。潘安群指出，在自主可控的基礎上，同時具備更多未來性創新探索和生態開放交流，才能讓技術研發的價值更具有意義，推動國產數據庫進一步創新發展。騰訊也將加大投入，促進我國數據庫產學研合作，推進國產數據庫技術提升和生態完善。
以下是潘安群在CNCC 2019的演講精要：大家好，很榮幸今天有機會在這里和各位前輩同行交流國產數據庫的發展。騰訊TDSQL是孵化于騰訊內部業務場景的分布式數據庫，從2014年開始正式對外商用。回顧2014年，TDSQL第一個外部合作客戶就是微眾銀行。微眾銀行是國內第一家其核心交易系統以分布式架構來搭建的互聯網銀行。互聯網架構的高可擴展性，使得微眾銀行的服務能力具備很高的彈性，足以輕松應對普惠金融浪潮。
而在今年與張家港行的合作，我們認為也是一次國產數據庫以及銀行科技創新的重要突破。為了完成首次銀行傳統核心系統的數據庫遷移，我們和人民銀行、網信辦等都經過了多輪的溝通，最終的成功遷移和性能、成本等實施效果獲得了大家的一致認可。作為首家在傳統核心應用國產分布式數據庫的銀行，張家港行在獲得分布式架構的優勢特性的同時，同等TPS下硬件成本僅為傳統商業數據庫的1/5。TDSQL演進三部曲TDSQL前身在2004年開始啟動研發，至今已經持續積淀了十數年。回顧它整個演進歷程，可以分為幾個階段。
當時，還是互聯網IT的早期，少有公司會愿意投入底層技術的研發。而作為一家互聯網科技公司，為何不用技術來解決技術問題？于是，從2004年開始，騰訊內部開始基于開源體系MySQL進行研發，以實現高數據一致和系統高可用等，這也是TDSQL的前身。也是在這樣的背景下，TDSQL就逐步誕生了。所以騰訊金融類業務從一開始就沒有Oracle，沒有“IOE”。
基于MySQL來發展這樣一套系統架構，在后來的經歷中也驗證了，這是一件非常困難的事情，但也驗證了當初的巨大投入所帶來的技術價值。
最初，我們沒有對MySQL本身去做一些優化的工作，更多的是在效率的迫切要求下，結合CAP原理，在應用層去解決這些問題。后來我們發現，在應用層做工作，解決第一個系統問題時是快速的，但對于后續大規模應用開發時，和業務應用緊耦合的形式難以將這些數據一致性、高可用的解決方案推廣到其他業務系統來應用。因為它對于業務層、應用層而言，改造成本太大了，因為在業務快速發展的過程中，業務本身歷史包袱越來越重，不太可能要來適應新的架構改造。
需求自然是迫切的，當時業務面臨著業務拆分，以及上百臺設備集群管理問題，所帶來的數據一致性、數據準確可靠性等問題。
因此我們開始考慮，我們必須將這些容災、數據一致性等邏輯，全部下沉到數據庫層面來開發構造，讓應用層只需要專注在業務邏輯，而不需要管理容災等邏輯。
從開發的角度講，這也是一件相對而言投入更大、難度更高的事情，然而那時大家有預感，我們將會創造一個全新的事物。
也因為這樣，對未來事物的好奇戰勝了困難的阻礙。2007年的數據庫開發中，團隊幾個人閉關在一個小黑屋里面，開始了瘋狂的代碼構建，主攻解決計費等公司級敏感業務高可用、核心數據的零流失、核心交易的零錯賬等問題。針對金融類業務的特點，TDSQL技術團隊目標很明確，包括以下幾個要點：
于是，團隊開始對這個數據庫架構進行重構。非常幸運的是，就在TDSQL完成分布式水平擴展的自研開發時，大約到了2009年，騰訊馬上迎來了騰訊開放平臺時代。那個時候，互聯網開始了真正意義的社交應用爆發的階段，誕生了如開心農場等產品。而這個TDSQL的雛形，正很好地以高可擴展性、數據一致性、可靠性、高可用性等，支持了當時的開放浪潮。直至到今天，TDSQL經歷過了數百億個賬戶的場景驗證，具備了完善的支持金融級場景和監管要求的能力。
逐漸地，隨著對金融行業應用更深刻的洞察，TDSQL逐步完善了分布式事務、分布式查詢等能力，在性能和應用性之上持續發展，目標就是把TDSQL打造成一個類似單機版的關系型分布式數據庫。我們知道，金融行業對事務處理的需求極高，轉賬、扣費，無一不是使用事務，而騰訊是少數幾個將分布式事務處理，分布式查詢用于金融核心系統的企業。
作為一款Shared-Nothing架構的分布式數據庫，從能力上講，TDSQL比當前流行HTAP更進一步，它重新定義了一種綜合型的數據庫解決方案，也可以分配Noshard實例、分布式實例和分析性實例，同時支持JSON/RockDB等方案。當然，TDSQL最主要的特點在于其具備shard架構能力。
持續積累，用時間錘煉出一款自主可控的數據庫經過十數年的積累打磨，在持續地優化分布式、高可用、高性能等特性，以及不斷完善滿足客戶的需求過程中，TDSQL作為產業化自主可控數據庫，持續在行業保持領先。而TDSQL演進到今天的能力規模，來源于騰訊自身業務場景的驅動和錘煉。一款金融級分布式數據庫，必須要經過多年產品生態體系的積淀，以及海量業務場景的錘煉。TDSQL架構的迭代演進，正因為從騰訊海量用戶場景、復雜交易的業務實踐中來，才能更好地滿足廣大客戶數據庫技術和業務柔性的需求。
舉個例子，在產品的質量保障方面，TDSQL版本發布會經歷嚴格的流程，最終才推廣到客戶場景中：首先是計費團隊（技術孵化團隊）使用驗證，繼而推廣應用到騰訊公司其他業務團隊，而在這些內部場景中，我們都能較好地控制和修復；在這兩個階段后，新版本發布才經歷騰訊公有云用戶的驗證，最后發布在私有云上。另一方面，在產品化過程中，TDSQL結合實際應用和客戶反饋，充分考慮數據庫整個應用生產流程，來不斷完善產品服務體系，包括運營體系、數據庫多源同步遷移等配套設施。
基于這樣的產品化打磨，騰訊具備開放的技術生態基因。開放并不是說一定要開源，而是提供開放的標準、完善的服務，比如數據庫多源同步遷移，以及自主可控的開源生態，支持良性競爭，讓客戶免于被綁定風險。
未來，如何與Oracle兼容、與AI和異構計算等前沿技術融合等等，都是值得思考的挑戰和創新問題。TDSQL將持續通過產研結合、產用結合的方式進行研發突破，并開放商用更多特性，擁抱開源社區。
關于國產數據庫的更多介紹，可以點擊下方鏈接到知乎查看：
據了解，在十數年的積累打磨中，TDSQL持續地優化分布式、高可用、高性能等特性，以及不斷完善滿足客戶的需求。而統計數據顯示，作為一款自主可控數據庫，TDSQL持續在行業保持領先，目前客戶已經超過500家金融政企機構，并且在國產數據庫的基礎技術研發和產業化等領域屢屢實現率先突破！
走在技術浪潮的前端騰訊是較早開始投入金融級分布式數據庫自主研發的企業。從2004年開始，基于騰訊計費、財付通等復雜業務場景，騰訊以“開源定制化+自研”為策略，推出了TDSQL，以解決金融系統中高可用、數據一致性、水平伸縮問題，助力我國產業核心技術自主可控、業務技術數字化轉型創新。早在2009年，騰訊TDSQL就已經實現了系統7*24小時高可用、高數據一致性和彈性擴容等功能。目前，騰訊TDSQL已具備了強一致、高可用、全球部署架構、分布式水平擴展、高性能、企業級安全等特性，以及較完善的產品服務體系。除了提供穩健高效的數據庫遷移服務TDSQ多源同步解決方案，2018年，TDSQL還實現了原創性提出的全面地解決讀一致性的算法，使得分布式事務的一致性和分布式系統的一致性統一在一起。而在業界頗為頭疼的云數據庫運維問題上，TDSQL還提供了兩大利器：“赤兔”運營管理平臺和“扁鵲”智能DBA診斷系統。
而在歷史時態數據的處理方面，TDSQL與中國人民大學合作，創新性地提出并實現了全時態數據庫系統（T-TDSQL）。該系統在保證OLTP性能的前提下，提供了輕量級的全時態數據管理功能和全時態數據的事務處理能力，以及集當前態數據于生產系統、集歷史態數據于分析型系統的集群架構，構成了全時態數據的完備解決方案。2019年，該研發成果被國際數據庫學術頂會之一VLDB收錄。
TDSQL Inside：從騰訊的分布式數據庫能力到行業的能力目前，TDSQL的用戶已經覆蓋了金融、政務、物聯網、智慧零售、互聯網等行業，擁有大量的分布式數據庫最佳實踐。
2014年，是TDSQL關鍵的一年。這一年，TDSQL正式對外開始商用，第一個外部合作客戶就是微眾銀行。微眾銀行是國內第一家其核心交易系統以分布式架構來搭建的互聯網銀行。互聯網架構的高可擴展性，使得微眾銀行的服務能力具備很高的彈性，足以輕松應對普惠金融浪潮。到了2015年末，TDSQL上線騰訊云，標志著騰訊內部金融級分布式數據庫能力全面開放。2019年，TDSQL的一個舉措再一次推動了國產數據庫助力產業數字化創新的發展。今年，TDSQL成功助力張家港行成功率先將銀行傳統核心系統由集中式數據庫存儲改造為分布式數據庫存儲，打破了該領域對國外數據庫的長期依賴。這是在國內銀行首次在傳統核心業務系統場景下，采用國產分布式數據庫。而采用TDSQL搭建的新一代核心系統性能也表現優異：高頻賬戶類交易耗時在300毫秒之內，20秒內可以完成1萬筆批量代發代扣業務……而架構成本降至1/5甚至更低。妥妥實現降本增效。
當前，金融日交易量最高3.46億+的微眾銀行、大型銀行機構中國銀行、日均使用量超150萬人次的深圳地鐵乘車碼系統等超過500家金融政企機構，都是采用騰訊TDSQL數據庫的服務。這是最好的時機，也是全新的起點潘安群表示，國產數據庫經過十數年自主可控發展，沉淀了成熟的分布式數據庫技術能力，同時，云計算的蓬勃發展為傳統行業的業務轉型帶來了許多新的機遇，這是業務創新與底層技術架構轉型升級融合發展的最佳時期。“促進國產分布式數據庫發展，同時也將促進我國產業數字化轉型發展。而行業應用發展也將為技術創新發展提供新的機遇。當下是產業數字化升級最好的時機，也正是國產數據庫發最好的時機。”
而未來，核心技術挑戰攻堅、前沿技術生態融合等，在繼續推動整個數據庫基礎技術和工業生態逐步成熟上都是值得我們思考探索的問題。潘安群指出，在自主可控的基礎上，同時具備更多未來性創新探索和生態開放交流，才能讓技術研發的價值更具有意義，推動國產數據庫進一步創新發展。騰訊也將加大投入，促進我國數據庫產學研合作，推進國產數據庫技術提升和生態完善。
以下是潘安群在CNCC 2019的演講精要：大家好，很榮幸今天有機會在這里和各位前輩同行交流國產數據庫的發展。騰訊TDSQL是孵化于騰訊內部業務場景的分布式數據庫，從2014年開始正式對外商用。回顧2014年，TDSQL第一個外部合作客戶就是微眾銀行。微眾銀行是國內第一家其核心交易系統以分布式架構來搭建的互聯網銀行。互聯網架構的高可擴展性，使得微眾銀行的服務能力具備很高的彈性，足以輕松應對普惠金融浪潮。
而在今年與張家港行的合作，我們認為也是一次國產數據庫以及銀行科技創新的重要突破。為了完成首次銀行傳統核心系統的數據庫遷移，我們和人民銀行、網信辦等都經過了多輪的溝通，最終的成功遷移和性能、成本等實施效果獲得了大家的一致認可。作為首家在傳統核心應用國產分布式數據庫的銀行，張家港行在獲得分布式架構的優勢特性的同時，同等TPS下硬件成本僅為傳統商業數據庫的1/5。TDSQL演進三部曲TDSQL前身在2004年開始啟動研發，至今已經持續積淀了十數年。回顧它整個演進歷程，可以分為幾個階段。
互聯網開放浪潮的前夕：分布式數據庫如何一步步成型
當時，還是互聯網IT的早期，少有公司會愿意投入底層技術的研發。而作為一家互聯網科技公司，為何不用技術來解決技術問題？于是，從2004年開始，騰訊內部開始基于開源體系MySQL進行研發，以實現高數據一致和系統高可用等，這也是TDSQL的前身。也是在這樣的背景下，TDSQL就逐步誕生了。所以騰訊金融類業務從一開始就沒有Oracle，沒有“IOE”。
基于MySQL來發展這樣一套系統架構，在后來的經歷中也驗證了，這是一件非常困難的事情，但也驗證了當初的巨大投入所帶來的技術價值。
最初，我們沒有對MySQL本身去做一些優化的工作，更多的是在效率的迫切要求下，結合CAP原理，在應用層去解決這些問題。后來我們發現，在應用層做工作，解決第一個系統問題時是快速的，但對于后續大規模應用開發時，和業務應用緊耦合的形式難以將這些數據一致性、高可用的解決方案推廣到其他業務系統來應用。因為它對于業務層、應用層而言，改造成本太大了，因為在業務快速發展的過程中，業務本身歷史包袱越來越重，不太可能要來適應新的架構改造。
需求自然是迫切的，當時業務面臨著業務拆分，以及上百臺設備集群管理問題，所帶來的數據一致性、數據準確可靠性等問題。
因此我們開始考慮，我們必須將這些容災、數據一致性等邏輯，全部下沉到數據庫層面來開發構造，讓應用層只需要專注在業務邏輯，而不需要管理容災等邏輯。
從開發的角度講，這也是一件相對而言投入更大、難度更高的事情，然而那時大家有預感，我們將會創造一個全新的事物。
也因為這樣，對未來事物的好奇戰勝了困難的阻礙。2007年的數據庫開發中，團隊幾個人閉關在一個小黑屋里面，開始了瘋狂的代碼構建，主攻解決計費等公司級敏感業務高可用、核心數據的零流失、核心交易的零錯賬等問題。針對金融類業務的特點，TDSQL技術團隊目標很明確，包括以下幾個要點：
數據強一致的要求
數據庫集群的可用性、穩定性和容災要求要達到銀行標準
業務無需拆分超大表，數據庫自動拆分
接入要簡單，老業務改造要小
符合并高于金融行業信息安全監管要求
于是，團隊開始對這個數據庫架構進行重構。非常幸運的是，就在TDSQL完成分布式水平擴展的自研開發時，大約到了2009年，騰訊馬上迎來了騰訊開放平臺時代。那個時候，互聯網開始了真正意義的社交應用爆發的階段，誕生了如開心農場等產品。而這個TDSQL的雛形，正很好地以高可擴展性、數據一致性、可靠性、高可用性等，支持了當時的開放浪潮。直至到今天，TDSQL經歷過了數百億個賬戶的場景驗證，具備了完善的支持金融級場景和監管要求的能力。
為金融場景而生：產品化的金融級分布式數據庫TDSQL
逐漸地，隨著對金融行業應用更深刻的洞察，TDSQL逐步完善了分布式事務、分布式查詢等能力，在性能和應用性之上持續發展，目標就是把TDSQL打造成一個類似單機版的關系型分布式數據庫。我們知道，金融行業對事務處理的需求極高，轉賬、扣費，無一不是使用事務，而騰訊是少數幾個將分布式事務處理，分布式查詢用于金融核心系統的企業。
作為一款Shared-Nothing架構的分布式數據庫，從能力上講，TDSQL比當前流行HTAP更進一步，它重新定義了一種綜合型的數據庫解決方案，也可以分配Noshard實例、分布式實例和分析性實例，同時支持JSON/RockDB等方案。當然，TDSQL最主要的特點在于其具備shard架構能力。
持續完善的技術生態和產品服務體系
持續積累，用時間錘煉出一款自主可控的數據庫經過十數年的積累打磨，在持續地優化分布式、高可用、高性能等特性，以及不斷完善滿足客戶的需求過程中，TDSQL作為產業化自主可控數據庫，持續在行業保持領先。而TDSQL演進到今天的能力規模，來源于騰訊自身業務場景的驅動和錘煉。一款金融級分布式數據庫，必須要經過多年產品生態體系的積淀，以及海量業務場景的錘煉。TDSQL架構的迭代演進，正因為從騰訊海量用戶場景、復雜交易的業務實踐中來，才能更好地滿足廣大客戶數據庫技術和業務柔性的需求。
舉個例子，在產品的質量保障方面，TDSQL版本發布會經歷嚴格的流程，最終才推廣到客戶場景中：首先是計費團隊（技術孵化團隊）使用驗證，繼而推廣應用到騰訊公司其他業務團隊，而在這些內部場景中，我們都能較好地控制和修復；在這兩個階段后，新版本發布才經歷騰訊公有云用戶的驗證，最后發布在私有云上。另一方面，在產品化過程中，TDSQL結合實際應用和客戶反饋，充分考慮數據庫整個應用生產流程，來不斷完善產品服務體系，包括運營體系、數據庫多源同步遷移等配套設施。
基于這樣的產品化打磨，騰訊具備開放的技術生態基因。開放并不是說一定要開源，而是提供開放的標準、完善的服務，比如數據庫多源同步遷移，以及自主可控的開源生態，支持良性競爭，讓客戶免于被綁定風險。
未來，如何與Oracle兼容、與AI和異構計算等前沿技術融合等等，都是值得思考的挑戰和創新問題。TDSQL將持續通過產研結合、產用結合的方式進行研發突破，并開放商用更多特性，擁抱開源社區。
關于國產數據庫的更多介紹，可以點擊下方鏈接到知乎查看：
總結
以上是生活随笔為你收集整理的国产数据库领域屡次率先突破，腾讯TDSQL亮相CNCC 2019！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 令人惊叹的前端路由原理解析和实现方式
- 下一篇： 腾讯数据库RTOlt;30s,RPO=0