天謀科技技術

該技術由天謀科技投遞并參與金猿組委會×數(shù)據(jù)猿×上海大數(shù)據(jù)聯(lián)盟共同推出的《2025大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術》榜單/獎項評選。

本公開提出了一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案，包括：獲取用戶的寫入請求，并通過分布式集群中的領導者共識層執(zhí)行寫入請求；監(jiān)聽存儲引擎中生成的數(shù)據(jù)文件；基于數(shù)據(jù)文件生成加載事項，并將加載事項異步發(fā)送給跟隨者進行加載數(shù)據(jù)文件，領導者繼續(xù)執(zhí)行下一寫入請求；在跟隨者通過直接加載技術完成數(shù)據(jù)加載后，通過異步回調(diào)的方式將加載結果更新至分布式集群的共識數(shù)據(jù)中。相較于當前主流的共識協(xié)議，本公開采取異步復制機制，返回用戶寫入成功不依賴副本同步的結果，無需額外等待，本公開還利用高壓縮比的數(shù)據(jù)文件進行狀態(tài)同步，在確保系統(tǒng)資源利用效率的同時，有效降低了副本同步的性能瓶頸，具備性能隨副本數(shù)線性擴展的優(yōu)勢。

關鍵突破性技術說明

在分布式系統(tǒng)中，多副本數(shù)據(jù)同步與一致性機制是保障高可用與容錯能力的關鍵環(huán)節(jié)?，F(xiàn)有主流一致性協(xié)議（如Raft）通常依賴多數(shù)派寫確認（quorum write）與日志復制來完成副本間同步，從而保證一致性。但在高頻寫入、數(shù)據(jù)規(guī)模持續(xù)增長的場景下，這類機制往往會帶來額外網(wǎng)絡往返時延（RTT）與同步開銷，并且隨著副本數(shù)量增加，同步成本與資源消耗會進一步上升，從而限制系統(tǒng)吞吐與擴展能力。

本專利提出的“一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案”，核心思路是在保持分布式集群由領導者（Leader）協(xié)調(diào)寫入與共識數(shù)據(jù)管理的前提下，將副本同步的關鍵載體從“逐條操作日志”轉為“存儲引擎生成的數(shù)據(jù)文件”，并通過異步復制與直接加載機制降低副本同步對寫入路徑的阻塞與資源消耗。

圖1是本公開一個實施方式的一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖2是本公開一個實施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖3是本公開一個實施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖4是本公開一個實施方式的另一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的示意圖

圖5為本公開一種基于數(shù)據(jù)文件的分布式多副本高性能高可用方案的架構圖

圖6是本公開一個實施方式的一種基于數(shù)據(jù)文件的分布式多副本高性能高可用裝置的示意圖

圖7是本公開一個實施方式的一種電子設備的示意圖

具體而言，本方案包括以下關鍵步驟：獲取用戶寫入請求并由分布式集群中的領導者共識層執(zhí)行；當領導者完成寫入后，監(jiān)聽存儲引擎生成的最新數(shù)據(jù)文件；基于該最新數(shù)據(jù)文件生成“加載事項”，并將加載事項以異步方式發(fā)送給跟隨者（Follower）進行加載，同時領導者繼續(xù)處理下一寫入請求；待跟隨者通過直接加載技術完成數(shù)據(jù)文件加載后，通過異步回調(diào)的方式將加載結果更新至分布式集群的共識數(shù)據(jù)中。

與依賴quorum write的同步確認機制相比，本方案的關鍵突破在于：領導者在異步發(fā)送加載事項后無需等待副本同步完成即可繼續(xù)處理寫入請求，從而使“寫入成功返回”不再直接依賴多數(shù)副本寫確認帶來的額外等待，減少寫入路徑中的同步阻塞因素。

第二個關鍵突破在于利用高壓縮比的數(shù)據(jù)文件進行狀態(tài)同步。專利中指出，傳統(tǒng)日志復制在副本追趕（catch up）時需要逐條重放日志并經(jīng)歷WAL與memtable等多層寫入步驟，從而增加網(wǎng)絡與存算資源消耗；而本方案在副本同步過程中以數(shù)據(jù)文件作為同步對象，并結合直接加載技術，能夠在減少網(wǎng)絡帶寬消耗的同時，省略跟隨者側多層寫入重放步驟，從而降低追趕開銷。

第三個關鍵突破在于其可擴展性收益。本專利論述了在多副本組架構下，由于副本同步帶來的額外資源消耗相對較小且不會隨副本數(shù)量顯著提升，系統(tǒng)具備“性能隨副本數(shù)線性擴展”的優(yōu)勢；并給出了實驗性描述：在生產(chǎn)環(huán)境常用的2副本情況下，本方案能夠?qū)崿F(xiàn)逼近單節(jié)點單副本的2倍性能。

此外，本方案還考慮了共識任務重啟等工程場景：在共識任務重啟時，可獲取存儲引擎中的歷史數(shù)據(jù)文件，確定跟隨者尚未加載的最新數(shù)據(jù)文件，并將對應加載事項重新發(fā)送給跟隨者進行加載，以保證數(shù)據(jù)一致性與系統(tǒng)穩(wěn)定性。

綜上，本專利的突破性技術點可概括為：以數(shù)據(jù)文件為核心同步載體的異步復制機制、直接加載技術與異步回調(diào)更新機制相結合，在保證系統(tǒng)高可用與一致性維護的同時，減少同步確認等待與追趕重放開銷，緩解傳統(tǒng)日志復制一致性方案在多副本與高頻寫入場景下的性能瓶頸，并提升系統(tǒng)橫向擴展能力。

專利技術應用產(chǎn)品/服務

本專利所提出的基于數(shù)據(jù)文件的分布式多副本高性能高可用方案，已在天謀科技自主研發(fā)的工業(yè)物聯(lián)網(wǎng)時序數(shù)據(jù)庫管理系統(tǒng)（TimechoDB）等產(chǎn)品中得到工程化落地應用，成為其分布式集群高可用與高吞吐寫入能力的核心支撐技術之一。該技術主要應用于面向工業(yè)物聯(lián)網(wǎng)場景的大規(guī)模時序數(shù)據(jù)管理平臺，在能源電力、鋼鐵冶煉、石油化工、交通運輸?shù)刃袠I(yè)的生產(chǎn)系統(tǒng)中投入使用。

通過引入文件級異步復制機制，相關產(chǎn)品在多副本部署條件下顯著降低了寫入延遲和副本同步成本，使系統(tǒng)能夠在高采樣頻率、高并發(fā)寫入場景中保持穩(wěn)定性能。同時，該技術有效簡化了副本追趕與故障恢復流程，提升了系統(tǒng)在節(jié)點重啟、網(wǎng)絡波動等復雜工況下的可用性和運維效率，為企業(yè)級工業(yè)數(shù)據(jù)平臺提供了可靠的數(shù)據(jù)基礎設施保障。

開發(fā)團隊

·帶隊負責人姓名：喬嘉林

喬嘉林博士，天謀科技聯(lián)合創(chuàng)始人兼CTO，高級工程師，清華大學水木學者，北京市海英人才，大數(shù)據(jù)系統(tǒng)軟件國家工程研究中心存儲部副組長，國際 Apache軟件基金會委員，Apache IoTDB項目管理委員會委員，Apache TsFile項目主席。曾獲北京市科技進步一等獎。

作為研發(fā)骨干研制工業(yè)物聯(lián)網(wǎng)時序數(shù)據(jù)庫Apache IoTDB，在國際數(shù)據(jù)庫權威榜單TPCx-IoT、benchANT中均排名第一，研究成果廣泛應用于規(guī)模以上工業(yè)龍頭企業(yè)超過1000家，在鋼鐵冶煉、石油化工、飛機制造、能源電力、智慧電廠、城市交通運輸?shù)刃袠I(yè)得到應用。其中，作為IoTDB負責人推動了IoTDB在長安汽車云平臺、中車四方軌道交通運維平臺、湖南中煙智能制造、四維智聯(lián)駕駛行為分析平臺上線。

參與國家、省部、企業(yè)項目十余項。作為課題/子課題負責人，參與多項國家重點研發(fā)計劃、工信部高質(zhì)量發(fā)展專項、重慶市重大專項等多項。作為項目骨干參與國家重點研發(fā)計劃、國家自然科學基金委員會重大項目多項，主持清華大學軟件學院自主創(chuàng)新項目1項。獲中國發(fā)明專利授權近20項，美國發(fā)明專利授權3項。

入選2025年胡潤U30、2024年中關村U30、2023年中國電子信息行業(yè)聯(lián)合會優(yōu)秀軟件工程師、2022年中國開源創(chuàng)新大賽核心貢獻者、2022年中國開源云聯(lián)盟杰出開源貢獻者、2022年中國開源先鋒33人。

團隊其他重要成員姓名：王建民，黃向東，譚新宇，田原，彭俊植，谷新豪

·隸屬機構

天謀科技（北京）有限公司（簡稱“天謀科技”）成立于2021年10月，是一家專注于時序數(shù)據(jù)庫管理系統(tǒng)及相關技術服務的科技企業(yè)。公司聚焦大數(shù)據(jù)底層系統(tǒng)軟件研發(fā)，核心團隊長期從事分布式數(shù)據(jù)庫與時序數(shù)據(jù)管理技術研究，當前員工規(guī)模約60人，研發(fā)人員占比超過70%。

圍繞工業(yè)領域數(shù)字化轉型過程中產(chǎn)生的海量時序數(shù)據(jù)管理需求，天謀科技針對數(shù)據(jù)體量大、采樣頻率高、數(shù)據(jù)亂序到達、寫入并發(fā)度高以及存儲與運維成本敏感等共性問題，持續(xù)開展數(shù)據(jù)庫內(nèi)核與分布式系統(tǒng)層面的技術創(chuàng)新，構建高性能、高可靠、可擴展的時序數(shù)據(jù)管理能力。

公司產(chǎn)品主要服務于工業(yè)大數(shù)據(jù)智能化場景，在狀態(tài)監(jiān)控、故障預測、工藝優(yōu)化與設備數(shù)字畫像等應用中提供底層數(shù)據(jù)管理支撐。據(jù)不完全統(tǒng)計，相關技術與產(chǎn)品已在能源電力、鋼鐵冶煉、石油化工、航空制造、城市交通等多個行業(yè)的眾多企業(yè)中應用，并逐步擴展至金融等對時序數(shù)據(jù)處理性能與可靠性要求較高的領域。

相關評價

該技術能夠支撐工業(yè)企業(yè)在復雜生產(chǎn)環(huán)境中更高效地完成數(shù)據(jù)匯聚與管理，為智能運維、AI分析和業(yè)務優(yōu)化提供可靠的數(shù)據(jù)基礎。這項技術不僅工程價值高，也在實際產(chǎn)業(yè)場景中展現(xiàn)出良好的可擴展性，為工業(yè)數(shù)智化提供了解決方案和重要支撐。

——博原資本管理合伙人 朱璘

該技術為天謀科技的企業(yè)級時序數(shù)據(jù)管理系統(tǒng)的持續(xù)演進提供了技術保障，有助于支撐工業(yè)數(shù)字化和工業(yè)智能化業(yè)務的長期發(fā)展，具備清晰的技術價值和產(chǎn)業(yè)前景。

——誠美資本合伙人 王飛雪