數(shù)睿數(shù)據(jù)技術(shù)

該技術(shù)由數(shù)睿數(shù)據(jù)投遞并參與金猿組委會(huì)×數(shù)據(jù)猿×上海大數(shù)據(jù)聯(lián)盟共同推出的《2025大數(shù)據(jù)產(chǎn)業(yè)年度創(chuàng)新技術(shù)》榜單/獎(jiǎng)項(xiàng)評(píng)選。

本公開的實(shí)施例公開了數(shù)據(jù)表關(guān)聯(lián)方法、裝置、電子設(shè)備和計(jì)算機(jī)可讀介質(zhì)。該方法的一具體實(shí)施方式包括：響應(yīng)于確定目標(biāo)數(shù)據(jù)庫(kù)中存在觸發(fā)數(shù)據(jù)表重關(guān)聯(lián)條件的數(shù)據(jù)表，確定目標(biāo)數(shù)據(jù)表集合中的每個(gè)目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的數(shù)據(jù)表操作信息；對(duì)于目標(biāo)數(shù)據(jù)表，響應(yīng)于確定目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的數(shù)據(jù)表操作記錄序列中存在操作類型為預(yù)設(shè)操作類型、且操作狀態(tài)為已執(zhí)行狀態(tài)的數(shù)據(jù)表操作記錄，將目標(biāo)數(shù)據(jù)表確定為過濾后數(shù)據(jù)表；確定過濾后數(shù)據(jù)表對(duì)應(yīng)的數(shù)據(jù)表描述信息；確定針對(duì)過濾后數(shù)據(jù)表集合的歷史數(shù)據(jù)表關(guān)聯(lián)圖；對(duì)歷史數(shù)據(jù)表關(guān)聯(lián)圖進(jìn)行關(guān)聯(lián)圖更新；對(duì)更新后數(shù)據(jù)表關(guān)聯(lián)圖對(duì)應(yīng)的過濾后數(shù)據(jù)表進(jìn)行數(shù)據(jù)表壓縮。該實(shí)施方式實(shí)現(xiàn)了自動(dòng)數(shù)據(jù)表關(guān)聯(lián)，提高了數(shù)據(jù)表的關(guān)聯(lián)效率。

關(guān)鍵突破性技術(shù)說明

在傳統(tǒng)數(shù)據(jù)庫(kù)管理中，數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系（如外鍵、連接關(guān)系）通常需要人工預(yù)先設(shè)置和維護(hù)。當(dāng)數(shù)據(jù)表的結(jié)構(gòu)或關(guān)聯(lián)關(guān)系發(fā)生變動(dòng)時(shí)（例如，新增字段、修改表結(jié)構(gòu)、變更業(yè)務(wù)關(guān)系），數(shù)據(jù)庫(kù)管理員（DBA）或開發(fā)人員需要手動(dòng)重新檢查并更新這些關(guān)聯(lián)關(guān)系，這一過程存在明顯問題：

效率低下：人工處理耗時(shí)耗力，尤其在表數(shù)量多、結(jié)構(gòu)復(fù)雜或變動(dòng)頻繁的系統(tǒng)中。

容易出錯(cuò)：人工操作易遺漏或關(guān)聯(lián)錯(cuò)誤，影響數(shù)據(jù)查詢的準(zhǔn)確性和一致性。

資源浪費(fèi)：未經(jīng)優(yōu)化的表結(jié)構(gòu)中可能存在大量重復(fù)字段，導(dǎo)致存儲(chǔ)空間浪費(fèi)和查詢性能下降。

該專利旨在通過“自動(dòng)化、智能化的數(shù)據(jù)表關(guān)聯(lián)與壓縮”來解決上述問題。

專利提出一套全自動(dòng)的數(shù)據(jù)表關(guān)聯(lián)管理流程，主要包括以下幾個(gè)步驟：

1.觸發(fā)與感知

監(jiān)測(cè)目標(biāo)數(shù)據(jù)庫(kù)，當(dāng)檢測(cè)到觸發(fā)“數(shù)據(jù)表重關(guān)聯(lián)條件”（如表結(jié)構(gòu)修改、關(guān)聯(lián)關(guān)系變更等操作）時(shí)，啟動(dòng)自動(dòng)化流程。

提取觸發(fā)時(shí)段內(nèi)的數(shù)據(jù)表操作日志，解析出關(guān)鍵操作記錄。

2.智能過濾

基于操作日志，過濾出真正發(fā)生過預(yù)設(shè)修改類型（如表關(guān)聯(lián)關(guān)系修改、表結(jié)構(gòu)修改）且已成功執(zhí)行的表，作為“過濾后數(shù)據(jù)表集合”。避免了對(duì)所有表的無(wú)效掃描，節(jié)約計(jì)算資源。

3.雙態(tài)描述信息提取

為每個(gè)過濾后的數(shù)據(jù)表提取兩套描述信息：歷史數(shù)據(jù)表描述信息：重關(guān)聯(lián)條件觸發(fā)前的表狀態(tài)（字段、結(jié)構(gòu)、關(guān)聯(lián)關(guān)系）。實(shí)時(shí)數(shù)據(jù)表描述信息：觸發(fā)后的最新表狀態(tài)。為后續(xù)的對(duì)比與更新提供依據(jù)。

4.構(gòu)建與更新關(guān)聯(lián)圖

利用鄰接矩陣構(gòu)建“歷史數(shù)據(jù)表關(guān)聯(lián)圖”，刻畫表之間已有的外鍵等關(guān)聯(lián)關(guān)系。根據(jù)最新的實(shí)時(shí)描述信息，動(dòng)態(tài)更新該關(guān)聯(lián)圖，得到反映當(dāng)前最新關(guān)聯(lián)狀態(tài)的“更新后數(shù)據(jù)表關(guān)聯(lián)圖”。

5.語(yǔ)義驅(qū)動(dòng)的數(shù)據(jù)表壓縮

在關(guān)聯(lián)圖的基礎(chǔ)上，智能識(shí)別跨表的語(yǔ)義關(guān)聯(lián)字段（如不同表中的“客戶名稱”、“用戶名”可能指向同一實(shí)體）。

判斷字段的“原子性”（是否可拆分），并進(jìn)行智能合并或關(guān)聯(lián)：

字段冗余消除：刪除同一表內(nèi)可由原子字段組合而成的復(fù)合字段。

跨表關(guān)聯(lián)優(yōu)化：若語(yǔ)義關(guān)聯(lián)的原子字段分布在多張表中，則自動(dòng)創(chuàng)建表間關(guān)聯(lián)，并刪除冗余的復(fù)合字段，實(shí)現(xiàn)數(shù)據(jù)壓縮。

其技術(shù)亮點(diǎn)在于：

該專利通過“操作感知→智能過濾→雙態(tài)對(duì)比→圖關(guān)聯(lián)更新→語(yǔ)義壓縮”的閉環(huán)流程，實(shí)現(xiàn)了一種高度自動(dòng)化、智能化的數(shù)據(jù)表關(guān)聯(lián)管理與優(yōu)化方法。它不僅解決了人工維護(hù)關(guān)聯(lián)效率低、易出錯(cuò)的核心痛點(diǎn)，還能主動(dòng)優(yōu)化數(shù)據(jù)結(jié)構(gòu)、減少冗余，從而提升數(shù)據(jù)庫(kù)的存儲(chǔ)效率、查詢性能和數(shù)據(jù)一致性。

這項(xiàng)技術(shù)特別適用于：

大型企業(yè)級(jí)數(shù)據(jù)庫(kù)系統(tǒng)

微服務(wù)架構(gòu)下的多數(shù)據(jù)庫(kù)治理

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的元數(shù)據(jù)管理

需要頻繁進(jìn)行數(shù)據(jù)模型迭代的業(yè)務(wù)場(chǎng)景

專利技術(shù)應(yīng)用產(chǎn)品/服務(wù)

目前，此技術(shù)方法已使用在數(shù)睿數(shù)據(jù)核心產(chǎn)品數(shù)據(jù)驅(qū)動(dòng)的企業(yè)級(jí)AI原生開發(fā)平臺(tái)smardaten中，顯著提升了應(yīng)用構(gòu)建過程、數(shù)據(jù)分析場(chǎng)景中數(shù)據(jù)表關(guān)聯(lián)的效率，同時(shí)在解決方案產(chǎn)品數(shù)據(jù)通里，結(jié)合該技術(shù)進(jìn)一步提升AI智能問數(shù)和取數(shù)分析，大大提升數(shù)據(jù)分析決策效率。300多家企業(yè)客戶基于本平臺(tái)進(jìn)行數(shù)字化應(yīng)用構(gòu)建或軟件項(xiàng)目交付，如中移研究院、中廣核、奧克斯、衛(wèi)健委等，已在工業(yè)制造、數(shù)字政務(wù)、能源電力等10多個(gè)行業(yè)場(chǎng)景實(shí)現(xiàn)數(shù)字化落地。

開發(fā)團(tuán)隊(duì)

·帶隊(duì)負(fù)責(zé)人姓名：車文彬

大連理工大學(xué)博士，數(shù)睿數(shù)據(jù)AI科學(xué)家，從事人工智能與大數(shù)據(jù)分析挖掘相關(guān)領(lǐng)域研究數(shù)十年，先后在華為擔(dān)任數(shù)據(jù)科學(xué)家、在360擔(dān)任高級(jí)算法專家等職務(wù)。在數(shù)據(jù)安全相關(guān)領(lǐng)域?qū)Ｗ⑼瑧B(tài)加密、聯(lián)邦學(xué)習(xí)、數(shù)據(jù)水印等技術(shù)的研究，并發(fā)表專利10余項(xiàng)。負(fù)責(zé)smardaten中AI技術(shù)的研究與應(yīng)用，涉及增強(qiáng)分析、自動(dòng)化開發(fā)、無(wú)代碼GPT等應(yīng)用場(chǎng)景。

團(tuán)隊(duì)其他重要成員姓名：郭麗娜、易岸霖、陳逸帆、李鴻飛

·隸屬機(jī)構(gòu)

數(shù)睿數(shù)據(jù)是領(lǐng)先的數(shù)智化軟件產(chǎn)品與服務(wù)提供商，全國(guó)9大代表處，新加坡設(shè)立子公司，員工規(guī)模近400人。以“讓天下數(shù)據(jù)快速使用”為使命、“讓人人盡享數(shù)據(jù)價(jià)值”為愿景，通過豐富的產(chǎn)品矩陣、領(lǐng)先的AI技術(shù)、完善的服務(wù)體系和創(chuàng)新應(yīng)用場(chǎng)景，全面助力行業(yè)數(shù)智化轉(zhuǎn)型升級(jí)。

數(shù)睿數(shù)據(jù)打造的核心產(chǎn)品smardaten數(shù)據(jù)驅(qū)動(dòng)的企業(yè)級(jí)AI原生開發(fā)平臺(tái)，以“AI原生+數(shù)據(jù)驅(qū)動(dòng)”為核心，推動(dòng)軟件工程與數(shù)據(jù)應(yīng)用全鏈路革新。通過將多場(chǎng)景AI Agent貫穿一體化平臺(tái)，加速數(shù)字化應(yīng)用構(gòu)建、提高數(shù)據(jù)治理與應(yīng)用決策效能，實(shí)現(xiàn)讓軟件快速定制、讓數(shù)據(jù)快速使用。已實(shí)現(xiàn)在智慧城市、工業(yè)制造、智慧政務(wù)、企業(yè)數(shù)字化、智慧能源等10多個(gè)行業(yè)領(lǐng)域的標(biāo)桿應(yīng)用打造。

公司已獲得包括CMMI5認(rèn)證、國(guó)家高新技術(shù)企業(yè)、國(guó)家級(jí)專精特新“小巨人”企業(yè)、江蘇省軟件核心競(jìng)爭(zhēng)力企業(yè)（創(chuàng)新型）等資質(zhì)認(rèn)證，參與低代碼應(yīng)用開發(fā)國(guó)家標(biāo)準(zhǔn)編制，積累30多項(xiàng)技術(shù)專利和100余項(xiàng)軟件著作權(quán)。

相關(guān)評(píng)價(jià)

數(shù)睿數(shù)據(jù)憑借這個(gè)一站式的數(shù)據(jù)治理和數(shù)據(jù)一體這兩個(gè)最大的優(yōu)點(diǎn)，成為我們的數(shù)據(jù)治理供應(yīng)商，一階段的數(shù)據(jù)治理平臺(tái)，把業(yè)務(wù)的數(shù)據(jù)查詢率提升到了90%，因?yàn)閿?shù)據(jù)錯(cuò)誤導(dǎo)致的投訴減少大概70%。我們也會(huì)在26年將與數(shù)睿一起從三個(gè)方面深化數(shù)據(jù)驅(qū)動(dòng)價(jià)值的目標(biāo)，比如主動(dòng)數(shù)據(jù)治理和AI智能問數(shù)，去助力奧克斯集團(tuán)的一個(gè)數(shù)字化轉(zhuǎn)型。

——奧克斯集團(tuán)數(shù)據(jù)管理體系負(fù)責(zé)人 黃總

全市40多家的醫(yī)療機(jī)構(gòu)，以前構(gòu)建一份醫(yī)療數(shù)據(jù)報(bào)告需要從各醫(yī)院調(diào)取、手動(dòng)整理，耗時(shí)長(zhǎng)達(dá)3周，現(xiàn)在基于專家?guī)炷Ｐ汀⒆詣?dòng)映射和智能分析，同樣的報(bào)告生成僅需一個(gè)多小時(shí)！數(shù)據(jù)使用效率比過去高了很多。

——某市衛(wèi)健委信息中心主任