“技術創(chuàng)新背后是宏大的歷史背景。中國蓬勃發(fā)展的數(shù)字經(jīng)濟帶來自主創(chuàng)新的歷史機遇,數(shù)據(jù)庫是數(shù)字經(jīng)濟發(fā)展的底座和基石,云和恩墨抓住產(chǎn)業(yè)機遇,實現(xiàn)中國創(chuàng)造?!薄坪投髂珓?chuàng)始人兼總經(jīng)理、鯤鵬MVP蓋國強
國際和國內環(huán)境的變化讓我國信息產(chǎn)業(yè)自主創(chuàng)新更具時代意義,而基礎軟件的國產(chǎn)化是重點,數(shù)據(jù)庫則又是重中之重。
數(shù)據(jù)庫領域又以openGauss開源社區(qū)為典型代表,其打造了一個高性能、高安全、高可靠、高智能的開源數(shù)據(jù)庫產(chǎn)品以及蓬勃發(fā)展的生態(tài)體系。
近日,openGauss Summit 2023在京成功召開,在主題為“耕獲菑畬,創(chuàng)變未來”的云和恩墨數(shù)據(jù)庫技術創(chuàng)新與應用實踐分論壇上,云和恩墨分享了他們對于數(shù)據(jù)庫產(chǎn)業(yè)的思考和實踐。
持續(xù)技術創(chuàng)新,打造讓用戶真正用起來的產(chǎn)品
作為openGauss社區(qū)的首批理事單位之一,云和恩墨以其在商業(yè)數(shù)據(jù)庫領域的深厚積累而著稱,通過提煉自身的技術儲備和抽象數(shù)據(jù)庫領域的前沿洞察,云和恩墨致力于“將商業(yè)數(shù)據(jù)庫的能力帶入社區(qū)”,而這一努力的結晶就是MogDB數(shù)據(jù)庫。
MogDB是云和恩墨基于openGauss開源內核進行增強提升,推出的一款“安穩(wěn)易用”的企業(yè)級關系型數(shù)據(jù)庫。
伴隨openGauss三年多的開源歷程、1000多個日夜,MogDB達成了超過1001項優(yōu)秀品質,這其中包括超過1000項的特性增強和1套一體機解決方案。
● 1000多個特性增強包括兼容性改進、內核特性增強、可靠性增強等;
● 1套一體機方案,通過存算分離、多節(jié)點并發(fā)寫入,結合云和恩墨的優(yōu)勢產(chǎn)品zData X和zCloud,能夠為用戶提供了一體化的極致性能、極致易用性的應用體驗。
配合行業(yè)客戶的數(shù)字化轉型升級步伐,為了讓MogDB在用戶中真正用起來,云和恩墨還圍繞實際應用場景配備整套工具鏈,方便用戶進行新系統(tǒng)部署或者國產(chǎn)化替代。
云和恩墨·本原數(shù)據(jù)技術合伙人、數(shù)據(jù)庫產(chǎn)品事業(yè)部總經(jīng)理張皖川在演講中介紹說,在替代場景中,MogDB提供了完整的遷移工具鏈,包括兼容性評估、離在線遷移以及最后的數(shù)據(jù)一致性校驗,形成覆蓋數(shù)據(jù)庫遷移全生命周期的穩(wěn)健支持。而在遷移后,MogDB提供包括高可用組件、安裝部署工具和監(jiān)控圖形化工具等套件幫助用戶實現(xiàn)安全、便捷的數(shù)據(jù)庫管理。
為簡化用戶因不同應用場景而產(chǎn)生的大量改造工作,云和恩墨針對不同的應用場景特點和數(shù)據(jù)類型,推出了多樣化的產(chǎn)品形態(tài)和部署模式。比如針對客戶私有云容器化場景,云和恩墨推出了容器化部署的產(chǎn)品形態(tài);針對物聯(lián)網(wǎng)場景,云和恩墨在openGauss內核基礎上進行了多模的拓展,開發(fā)了時序引擎和超融合時序數(shù)據(jù)庫Uqbar,打造一站式物聯(lián)網(wǎng)數(shù)據(jù)處理平臺。
張皖川表示,經(jīng)過三年多的研發(fā),MogDB不僅繼承了openGauss“四高”(高性能、高可用、高安全、高智能)特性,同時面向客戶痛點并結合自身對成熟商業(yè)數(shù)據(jù)庫的理解與技術洞察,圍繞極致高可用、高性能密度、兼容能力增強、易用性提升等核心產(chǎn)品價值點,推出了大批創(chuàng)新特性并積極回饋社區(qū)。
今年年中,MogDB 6.0將正式推出。張皖川介紹道,新版本將提供全新遷移工具,在效率方面大幅提升——全量數(shù)據(jù)遷移峰值可達到每小時600GB,并做到不停機;增量遷移實現(xiàn)每秒三萬條;通過采用更高效的校驗算法,校驗效率可以達到一小時500GB,使整個遷移過程更短、更加平滑,同時也支持斷點續(xù)傳的能力。
MogDB 6.0還將進一步完善異構數(shù)據(jù)庫遷移割接長周期雙軌并行,支持Oracle、MySQL等多種異構數(shù)據(jù)庫到MogDB之間的雙向結構與數(shù)據(jù)同步。在業(yè)務割接期間以及割接后,提供雙軌并行能力,讓異構遷移更安全,用戶更放心。
Oracle兼容性在MogDB 6.0中將獲得大幅增強,形成從上層客戶端工具、驅動協(xié)議到底層內核的一套完整的端到端能力,具體表現(xiàn)在:
● 客戶端工具層面,支持SQLPlus、SQLLoader、Pro*C;
● 驅動協(xié)議層面,大幅增強Python,ODBC、JDBC以及SQL API的兼容性;
● 語法接口層面,實現(xiàn)包括PLSQL在內的大量的語法適配和功能兼容;
● 內核層面,實現(xiàn)DDL和DML的行為兼容,DDL會自動提交,DML行為也會表現(xiàn)得跟Oracle完全一致。
“從可見的語法接口到不可見的行為機制,MogDB致力于全面保障業(yè)務的平滑遷移和正確運行?!睆埻畲ㄗ隽藦娬{。
在查詢優(yōu)化方面,MogDB 6.0中新增的掃描預讀能力消除了IO延遲,掃描效率等同于全緩存掃描,達成最高2倍提升;哈希算子的優(yōu)化則利用CPU緩存預取達成3倍加速,哈希連接端到端提升2倍,效率可比肩國外大型商業(yè)數(shù)據(jù)庫。
在架構升級方面,MogDB 6.0將推出資源池化/存算分離的A-A(多活)架構。此架構將在極致高可用(RTO<10s),高性能密度(100T 級別OLTP核心系統(tǒng))及系統(tǒng)彈性擴展方面極大提升產(chǎn)品競爭力,結合前面提到的兼容能力升級和查詢優(yōu)化增強,使MogDB具備了在大型核心系統(tǒng)場景平替國外商業(yè)數(shù)據(jù)庫的能力。
目前,MogDB正加速在各行業(yè)中落地和普及。例如四川天府銀行在現(xiàn)有容器平臺上部署MogDB Container (MogDB容器版)集群來承載當前業(yè)務,同時配合MogDB集群統(tǒng)一運維管控平臺MogDB Stack,形成覆蓋數(shù)據(jù)庫全生命周期的管理和監(jiān) 控能力;在此基礎上與上層應用對接,構建出一套自主創(chuàng)新的“全棧容器化數(shù)據(jù)庫管理新模式”,即:容器平臺+MogDB container+MogDB Stack+APP container,實現(xiàn)全棧資源的統(tǒng)一調度、分配與管理。
不管是功能更新還是行業(yè)實踐,MogDB在兼容性與性能優(yōu)化方面的持續(xù)迭代,彰顯了中國數(shù)據(jù)庫技術持續(xù)突破的蓬勃生命力。
張皖川總結道,驅動創(chuàng)新的關鍵是找到并利用變量因素,比如硬件更新、算法換代、資源模型變更、用戶應用需求拓展等?!坝布镄峦苿恿讼蛄炕樵兗盁o鎖并發(fā)等算法換代以提升資源利用率,資源云化催生了云原生彈性架構,大模型及用戶應用的多元化推動了多模數(shù)據(jù)庫的發(fā)展和關系型數(shù)據(jù)庫的能力拓展?!盡ogDB在數(shù)據(jù)庫創(chuàng)新的路上讓人充滿期待。
認真看未來,云和恩墨走了一條與眾不同的道路
圖靈獎獲得者James Gray曾說過,“如果你有眼光,就一定要追求有遠見的研究。盡可能花時間去做自己引以自豪的事情,盡量不做無意義的事情。”
如果著眼于未來,我們能夠洞察多久遠的未來?云和恩墨創(chuàng)始人兼總經(jīng)理、鯤鵬MVP蓋國強說,當我們認真看未來的時候,我們真的可以看得很遠。
云和恩墨投身到openGauss生態(tài)里面,融合學術和產(chǎn)業(yè)積累,深入數(shù)據(jù)庫領域,做讓自己自豪的事情。
例如云和恩墨的智能算法團隊正在進行智能化相關探索,基于大模型進行DB-GPT訓練,實現(xiàn)基于知識庫體系的智能問答,并通過開放API和外部應用對接,滿足數(shù)據(jù)庫運維、DBA診斷等工作需要。而基于MogDB知識庫訓練的DB-GPT實踐,能夠解答關于數(shù)據(jù)庫特性的具體問題,而不需要翻閱文檔。
蓋國強表示,AI和大模型,智能化和數(shù)據(jù)庫,我們需要在精確性和模糊性之間尋找平衡。大模型智能代理(LLM Agent)能夠持續(xù)助力提高問答精準性。例如,提供精確證據(jù)(Precise Evidence)是一種有效的方法;其次,引入外部知識庫進行信息補充或確認也是一種可行的方式。
傳統(tǒng)情形下,數(shù)據(jù)是以存儲為中心的,而非面向用途。存儲模型決定了數(shù)據(jù)如何被使用。而當模型更換時,模型之間的巨大差異可能導致之前的工作需要推倒重來。那么有沒有更好的方法,能讓開發(fā)者聲明數(shù)據(jù)使用的意圖而非數(shù)據(jù)存儲的格式,然后讓數(shù)據(jù)庫根據(jù)應用場景生成匹配的數(shù)據(jù)格式和API?
數(shù)據(jù)意圖語言(DIL,Data Intent Language)應運而生,用來描述數(shù)據(jù)的用途和格式,可以轉變數(shù)據(jù)應用模式。SQL域是一種屬于模式的字典對象,它封裝了一組可選屬性和約束,用于常見值。SQL域提供約束、顯示、排序和注釋屬性。在定義一個SQL域之后,你可以定義與該域關聯(lián)的表列,從而顯式地將該域的可選屬性和約束應用于這些列。因此,SQL域用于向存儲的列(JSON或關系型)提供附加信息,并因此用于定義和驗證數(shù)據(jù)。
受此啟發(fā),云和恩墨在數(shù)據(jù)庫的可觀測性、自動化運維、智能運維等方面進行了增強,將自身對于行業(yè)的洞察、理解和來自于用戶的需求變成產(chǎn)品力。例如MogDB內置了時間模型,支持活動會話輸出的負載模型;基于zCloud實現(xiàn)的MogDB運行監(jiān) 控可視化,支持實時預警,將可觀測性提升到和國外大型商業(yè)數(shù)據(jù)相當?shù)哪芰λ?;在自治智能方面,基于故障樹的智能診斷和基于機器學習的智能基線,實現(xiàn)從簡化運維到DBAless。
在公司發(fā)展模式上,蓋國強談到,云和恩墨走了一條與眾不同的道路。從數(shù)據(jù)庫管理服務切入,擴展到數(shù)據(jù)庫管理軟件,進而打造核心產(chǎn)品MogDB,然后圍繞MogDB構建完整的生態(tài)矩陣。
目前,云和恩墨與硬件/整機、云基礎架構、芯片、操作系統(tǒng)、中間件、備份存儲、應用軟件廠商展開廣泛的生態(tài)合作,公司多款產(chǎn)品陸續(xù)完成與眾合作伙伴產(chǎn)品的兼容適配,為客戶構建全方位的解決方案。在分論壇現(xiàn)場,云和恩墨與百信完成戰(zhàn)略合作簽約,并推出全棧國產(chǎn)數(shù)據(jù)庫一體機解決方案。
“未來的世界是智能世界,智能世界的驅動力是數(shù)據(jù)。我們將自己定 位成智能的數(shù)據(jù)技術提供商,助力用戶實現(xiàn)數(shù)據(jù)驅動的智能未來。在這個愿景下,云和恩墨正在加倍努力,一步一步將智能的數(shù)據(jù)技術帶到我們的產(chǎn)品中來,助力用戶數(shù)字化建設和智能化演進。”蓋國強最后說。