國產分布式數據庫發展趨勢與難點

2022-10-14 IT168

引言:

  日前,為更好地滿足亞信科技客戶對於數據管理的需求,提高通用型數據庫的產品服務能力與業務拓展能力,亞信科技分布式數據庫AntDB發布V7.0版本產品,助力運營商核心系統實現全方位的自主可控與業務系統的平穩上線。面向未來,國產數據庫發展仍任重道遠,分布式數據庫也將在這一過程中扮演重要角色,分析、討論國產分布式數據庫發展趨勢與難點,不僅對AntDB數據庫的發展,也對國產數據庫的發展具有一定的參考和借鑒意義。


一、國產數據庫正處在發展機遇期


信創產業即信息技術應用創新產業,是我國近年來的一項國家戰略,也是當今形勢下經濟發展的新動能,隨著相關政策陸續出臺,信創改革大潮下,推動探索安全可控的核心技術與產品漸成趨勢。在數據庫領域,黨政機關明確將全部采用國產數據庫,2020年已在金融行業先行試點。國產數據庫廠商緊隨趨勢加速打造各自的拳頭產品,從2020年至今,國產數據庫已經從黨政、金融等領域,滲透到通信、能源、交通、工業物聯網等領域,市場前景十分可觀。


2022年6月,達夢數據、星環科技等數據庫廠商陸續遞交招股書,在國內科創板塊以7億營收撬動幾百億市值,這一「信號」表明國產數據庫的發展已進入快車道。一方面,國產數據庫發展恰逢政策機遇,過去國內數據庫市場被Oracle、IBM 等企業壟斷,近年來受益於政策的加速推進,國產數據庫企業的市場份額得以顯著提升。另一方面,國產數據庫發展也處在市場機遇期,數據庫等基礎軟件的服務方式逐漸向雲化發展,隨著雲計算的大規模應用,數據庫也迎來新的發展契機。


二、分布式數據庫的發展機遇與挑戰並存


數據庫最早誕生在上世紀60年代,IBM實驗室提出的」關系模型」理論為風靡全球近50年的關系型數據庫技術奠定了基礎。隨著信息通信技術與移動互聯網的高速發展,業務表現出高並發讀寫、海量數據處理、數據結構不統一的特點,後關系型數據庫開始湧現,對傳統關系型數據庫做出了進一步補充和完善,分布式數據庫就在此時蓬勃發展,為人熟知。


相比於傳統關系型數據庫,分布式數據庫具有平滑擴展、高可用、低成本等顯著優點,如果將傳統關系型數據庫、非關系型數據庫和分布式數據庫對比總結,可以得到表1:


由上表可以看出,分布式數據庫屬於時代進化的結果,功能幾乎結合了傳統關系型與非關系數據庫的集中優勢。但由於發展時間較短,其標準體系及評價體系不夠健全,生態體系不夠完善,未來我國分布式數據庫的發展必將機遇與挑戰並存。


2.1、分布式數據庫的優勢


分布式數據庫平滑擴展、高可用、低成本的三大主要優點帶來巨大的發展潛力,下面以亞信科技AntDB數據庫為例展開論述這三大優點。


一是平滑擴展與高性能,在分布式執行計劃中,表數據被分散在多個節點上,這大大降低了單節點的數據量,分布式執行計劃還可以做到讀寫分離,有助於充分利用多個節點的存儲與計算資源,有效地提升數據庫的吞吐量,目前AntDB數據庫可以按需求平滑地進行節點擴展,支持幾十萬級甚至百萬級TPS/QPS(吞吐量)處理的核心要求。


二是高可用,這一點對企業數據安全和保障業務連續性至關重要,分布式數據庫通過主備架構設計,主節點故障自動切換至備中心(failover),保障核心系統的連續可用;此外,各數據中心通過同步/異步復製來保障數據的一致性和事務的完整性,遇故障切換時不影響業務的正常運行。AntDB數據庫通過多副本、分布式事務處理等機製,以及異地多中心的部署方案,以保證高可用性。


三是低成本,分布式數據庫是基於通用的 PC 服務器和操作系統的,在硬件成本上有非常明顯優勢,此外,AntDB數據庫 與Oracle數據庫的兼容率高達96%,有效降低了程序遷移的風險,減少了重寫應用的成本。


2.2、分布式數據庫發展存在的問題


由於分布式數據庫節點多,集群結構復雜,也有其自身的短板,加之分布式數據庫發展時間不長,仍有許多問題亟待解決。一是根據CAP理論,分布式數據庫無法滿足客戶多重特性需求,如某些金融核心應用既要求高一致性,又要求高可用,有可能造成客戶不得不舍棄或降低某些需求。二是分布式數據庫運維管理較復雜,根據業務節點需要,分布式數據庫通常由多臺服務器組成,軟硬件的運維和管理往往很復雜。三是分布式數據庫產品成熟度待提高,如針對分布式數據庫的優化器、數據類型、復雜查詢、自定義函數和存儲過程等高級特性參差不齊。


三、亞信科技AntDB數據庫實踐分享


我國數據庫的自主可控替換,也不是簡單的以庫換庫,而是用新體系替換舊體系。和國外成熟穩定的商業數據庫相比,國產數據庫在性能、穩定性、生態等方面存在一定差距,在架構、研發、上線、運維等方面,全面降低對特定數據庫的依賴,這將是一個持續且艱難的過程。在這一過程中,亞信科技推出國產分布式數據庫AntDB,核心團隊攻堅不斷,2015年增加Oracle兼容特性、2017年實現秒級在線擴容、2019年增加內核級讀寫分離等功能、2022年支持內存與磁盤雙引擎等等。AntDB數據庫的應用領域也從通信向金融、交通、能源等行業拓展。


作為階段性成績,亞信科技AntDB數據庫在運營商自主可控替換項目中落地,具有重要意義:一是探索出自主可控的數據庫架構,通過研發微庫架構,在架構層面消除應用對特定數據庫的依賴;二是驗證數據庫軟硬件全自主可控的可行性,目前,亞信科技AntDB數據庫及華為鯤鵬服務器的組合解決方案,可以在運營商核心的交易場景替代國外商業解決方案。三是探索出基於灰度發布能力的數據庫割接方案,實現不停服、零故障的數據庫割接,將數據庫國產化替換的業務影響盡最大可能降低。


AntDB分布式數據庫解決方案在通信行業大規模的商用落地並且獲得客戶的廣泛好評。另外我們判斷不僅在通信行業,也可同時推廣至如金融、政務、能源、郵政等重要的關鍵基礎設施行業領域中,加速推動各行業的數字化轉型升級。


在金融行業,AntDB應用在北方某保險公司的大數據系統中,成功商用落地,其成功經驗可以同樣推廣至以分析型業務為主的其他金融或證券業務系統中。在政企行業,AntDB應用在南方某省高速的高速ETC計費與大數據平臺,同樣該成功經驗可以推廣至其他類似高數據並發的行業,如IoT物聯網場景等。


面向未來,隨著AntDB數據庫不斷增強通用性、標準性和安全性,為更好地服務亞信科技的行業客戶,AntDB數據庫將繼續加強產品研發的投入,實現一套數據庫對多種數據類型、多種業務場景的統一支持,並確保數據可靠,不丟、不錯、不重,為客戶提供高質量的數據庫產品。