国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

折磨程序員多年的數(shù)據(jù)庫難題,終于被解決了!

0
分享至

移動互聯(lián)網(wǎng)時代,幾乎每一位做過中大型應用的程序員,都經(jīng)歷過海量數(shù)據(jù) + 高并發(fā)帶來的折磨。

記得之前做過一個中型的互聯(lián)網(wǎng)應用,為了應付海量數(shù)據(jù)和高并發(fā),不得不硬著頭皮做了分庫分表,雖然技術(shù)成熟,但是運維非常復雜,按需擴展能力很差,尤其是當數(shù)據(jù)的規(guī)模和查詢需求與之前的規(guī)劃不一樣的時候,調(diào)整起來非常的痛苦。比如按商戶id做了拆分,但是卻想從另外一個維度(如用戶id)進查詢,處理起來非常麻煩。

海量數(shù)據(jù)再加上復雜的數(shù)據(jù)庫表結(jié)構(gòu),讓DBA每天都戰(zhàn)戰(zhàn)兢兢,因為數(shù)據(jù)庫對程序員來說就是“黑盒子”,不定哪天就在代碼里寫了一條會觸發(fā)全表掃描的SQL,讓整個系統(tǒng)掛掉。特別是對于一些分析和查詢的場景,查詢耗時可能達到分鐘級別,嚴重影響用戶體驗。

在那時候沒啥好辦法,出了問題只有靠人力撲上去做分析,加索引,半夜被叫醒都是家常便飯,非??啾?。

我時常想,就沒有一種強大的云數(shù)據(jù)庫把這些問題都解決了,讓數(shù)據(jù)庫更好用、更高效,讓程序員的生活更加輕松一點嗎?

前幾天參加了騰訊全球數(shù)字生態(tài)大會,發(fā)現(xiàn)騰訊推出了一個叫做TDSQL Boundless(簡稱TDSQL-B)的分布式數(shù)據(jù)庫,它的幾個特性不由得讓人眼前一亮,讓我覺得騰訊云真是瞄準了互聯(lián)網(wǎng)時代的數(shù)據(jù)庫痛點問題,并且提供了漂亮的解決方案。

01

和單機MySQL一樣好用的分布式數(shù)據(jù)庫

TDSQL Boundless(簡稱TDSQL-B)是騰訊云推出的最新一代超高性能分布式數(shù)據(jù)庫,我覺得它最大的亮點就是:“看起來/用起來”像個單機MySQL,但是性能和拓展性卻達到了分布式級別。

無需分片,彈性擴容

就拿最讓人頭疼的數(shù)據(jù)分片來說,傳統(tǒng)的方式需要程序員手工指定分片鍵(shard key),一旦分片選錯,或者之后需要改動,后果極為嚴重。

但是在TSQL-B中,系統(tǒng)會根據(jù)數(shù)據(jù)量自動完成分片和調(diào)度,當業(yè)務增長需要擴容時,僅需新增節(jié)點,數(shù)據(jù)會自動遷移至新節(jié)點,傳統(tǒng)的分布式數(shù)據(jù)庫擴容可能得“按月計算”,在TSQL-B這里縮減到了分鐘級,整個過程上層業(yè)務無感知,非常方便。

這比傳統(tǒng)分庫分表強太多了,程序員無需提前“絞盡腦汁”規(guī)劃分片策略,業(yè)務發(fā)展怎么變,無論數(shù)據(jù)從GB級增長到PB級,還是并發(fā)從萬級提升到十萬級,數(shù)據(jù)庫都能自動適應。

百萬級QPS

傳統(tǒng)數(shù)據(jù)庫的“主從模式”,只有主節(jié)點能寫,其他節(jié)點只讀,都在“打下手”。TDSQL-B 不一樣,它采用多主模式,每個節(jié)點都能又讀又寫,就像多開了好幾個高速窗口,同時處理請求。并發(fā)能力直接拉滿,一個實例就能頂住百萬級QPS,突發(fā)流量來了也不慌。

存儲這塊兒,TDSQL-B 用上了高壓縮比引擎,對比 InnoDB,壓縮率最高能做到 20 倍。存儲成本直接砍下來,業(yè)務規(guī)模再大也能玩得起。

金融級可靠

TDSQL-B 天生就帶著金融級可靠性,系統(tǒng)會自動把數(shù)據(jù)拷貝成3份,放在不同機房或者機架里。就算一個機房斷電、硬盤壞了,其他副本馬上頂上,數(shù)據(jù)一條都不會丟(RPO=0)。哪怕是銀行轉(zhuǎn)賬、證券交易這種最嚴苛的場景,也能穩(wěn)穩(wěn)撐住。

如果遇到硬盤壞了、整機掛了,系統(tǒng)會在 30 秒內(nèi)自動切換到備用節(jié)點,全程不用人工操作,用戶完全無感知。對金融、政務這種對“零中斷”要求極高的行業(yè)來說,簡直不要太省心。

TDSQL-B 還有個“數(shù)據(jù)親和性調(diào)度”的黑科技,會把主鍵、索引和相關表的數(shù)據(jù)安排在同一個節(jié)點上。這樣原本復雜的分布式事務就變成了單機事務,避免了數(shù)據(jù)不一致的問題。賬單計算、余額更新這種關鍵操作,結(jié)果都能做到精準無誤。

由于100%兼容MySQL語法,支持存儲過程、觸發(fā)器等MySQL核心功能,同時支持原生的Online DDL操作,現(xiàn)有MySQL業(yè)務無需改動一行代碼,即可無損遷移到TSQL-B,非常方便。

TSQL-B的這些能力不但讓它適合高并發(fā)的互聯(lián)網(wǎng)用戶,還適合要求“零中斷、零丟失”的金融行業(yè)用戶,例如銀行、證券、保險等核心交易系統(tǒng)。

比如某游戲中臺系統(tǒng),原來是8 * 一主3備分庫分表老架構(gòu),替換成TSQL-B以后,不但可以像單機MySQL那樣使用,資源成本還降低了60%,擴容從月降到了分鐘。

02

TDAI:程序員的SQL守護神

相信不少人都有這樣的經(jīng)歷,上線的功能中包含了一個不起眼的SQL,結(jié)果把整個系統(tǒng)都搞掛掉。

在大會上我就看到了一個券商的案例,一個工程師在優(yōu)化債券交易模塊時,隨手添加了一條看似普通的SQL清理語句。這個SQL本來計劃在凌晨執(zhí)行,但是由于沒有正確利用索引,引發(fā)了核心交易表的全網(wǎng)掃描,數(shù)據(jù)庫性能持續(xù)惡化。

等到上午開市,大量高頻交易指令涌來的時候,數(shù)據(jù)庫鎖等待時間攀升至30+秒,高凈值客戶的交易被迫終止,應急團隊緊急回滾代碼后才逐步恢復服務。

這個事故反映出來的其實開發(fā)和DBA之間存著認知鴻溝。

開發(fā)團隊對業(yè)務邏輯和代碼門兒清,但一到數(shù)據(jù)庫這塊兒,基本就是個“黑盒子”,反正 ORM 框架能幫忙生成 SQL,管它呢。結(jié)果 SQL 寫出來跑得好不好,全憑運氣。DBA懂數(shù)據(jù)庫內(nèi)核,也懂各種優(yōu)化技巧,但是沒法進入開發(fā)環(huán)節(jié),只能是出了問題被動“救火”。


能不能在開發(fā)階段就發(fā)現(xiàn)并且消除SQL風險的萌芽呢?

這就是TDAI要做的事情,它既懂代碼,又懂數(shù)據(jù)庫,在開發(fā)者在寫代碼的時候就能掃描代碼,發(fā)現(xiàn)有風險的SQL,給出優(yōu)化建議。


這個功能還能無縫集成到CI/CD的流程中:


這就像給代碼裝上了一個“風險透視鏡”,把可能出現(xiàn)的SQL風險都消滅在無形之中。這個功能真的是很贊。

你可能會好奇,TDAI是怎么實現(xiàn)的呢?

現(xiàn)在的通用大模型肯定是不行的,數(shù)據(jù)庫是個垂直場景,通用大模型理解不了那些復雜的表和復雜的SQL。當前業(yè)界智能體記憶系統(tǒng)(如AWS Bedrock AgentCore、Google Vertex AI Memory)側(cè)重記錄用戶偏好和對話上下文,未與企業(yè)私域數(shù)據(jù)深度打通。

所以騰訊云專門訓練了一個數(shù)據(jù)庫大模型(DB LLM),包含了Code2SQL模型(C1)、智能診斷模型(D1)、智能優(yōu)化大模型(O1),將SQL抽取準確率提升至90%+,并對SQL診斷推理持續(xù)深度優(yōu)化,診斷結(jié)果高置信度。


其次,TDAI還有一個全域上下文,整合Memory(長短期記憶)、DeepSearch(深度檢索)、Catalog(數(shù)據(jù)目錄),構(gòu)建企業(yè)級數(shù)據(jù)中樞,實現(xiàn)企業(yè)數(shù)據(jù)與智能體記憶的深度融合。

而工具集則基于MCP協(xié)議封裝上層智能體所需的原子能力(如實例克隆、流量回放),為智能體提供“從規(guī)劃到執(zhí)行”的工具支撐。


這一套組合拳打下來,就實現(xiàn)了事前預測SQL風險的驚艷效果。

TDAI不僅解決了風險SQL治理“先上線,再發(fā)現(xiàn)”的困境,還突破性地實現(xiàn)了從“人找數(shù)據(jù)”到“數(shù)據(jù)找人”的范式躍遷,它就像個24小時不間斷工作的哨兵,能自動看懂業(yè)務,找出關鍵指標的因果關系,能實時盯著數(shù)據(jù)流,秒級發(fā)現(xiàn)異常和趨勢變化。一旦發(fā)現(xiàn)問題,它會立刻生成帶有原因分析、趨勢預測和行動建議的報告,直接推送給決策者。

可以說,TDAI重新定義了數(shù)據(jù)庫治理范式,實現(xiàn)了用AI治理好數(shù)據(jù)庫。

03

AI自學習優(yōu)化器:越用越聰明

在云計算和大數(shù)據(jù)時代,數(shù)據(jù)不僅越來越多,還越來越復雜。企業(yè)的業(yè)務需求也跟著升級,尤其是做統(tǒng)計和分析的時候,動不動就是上億行的數(shù)據(jù),要跑多表 JOIN、好幾層嵌套查詢,還要面對動輒上百列的大寬表,這些查詢耗時經(jīng)常達到分鐘級別,嚴重影響用戶體驗。

為了降低一個復雜SQL的查詢時間,經(jīng)常把DBA給累得夠嗆。

其實SQL執(zhí)行速度的快與慢,和數(shù)據(jù)庫的優(yōu)化器有極大的關聯(lián),優(yōu)化器的核心任務是從海量可能的執(zhí)行計劃中選擇最優(yōu)方案,以決定資源開銷和查詢時延,是決定數(shù)據(jù)庫查詢性能的核心環(huán)節(jié)。

但是在海量大數(shù)據(jù)和復雜查詢的場景下,傳統(tǒng)數(shù)據(jù)庫優(yōu)化器的局限就暴露了出來。


以10表關聯(lián)查詢?yōu)槔?,需要搜索的?zhí)行計劃數(shù)量達到362萬至176億種!

優(yōu)化器要在有限時間里挑一個執(zhí)行計劃,會大量“剪枝”,結(jié)果就是最佳方案可能直接被錯過了!

另外優(yōu)化器主要靠過去的經(jīng)驗來估算,但每個業(yè)務場景都不一樣,結(jié)果很難做到“因地制宜”,遇到數(shù)據(jù)傾斜,或者多列之間有關聯(lián)時,優(yōu)化器就很難準確判斷數(shù)據(jù)分布。這樣一來,索引怎么選、JOIN 順序怎么排,常常會出錯,執(zhí)行效率大打折扣。

騰訊云 TDSQL-C 通過結(jié)合騰訊混元大模型的能力,建立了可自我反思演進的全鏈路優(yōu)化器能力,成為業(yè)界首個推出 AI 自學習數(shù)據(jù)庫的廠商。


有了騰訊混元大模型的加持,極大地擴展了搜索空間,避免陷入局部最優(yōu)解,通過可量化的數(shù)據(jù)反饋,突破了傳統(tǒng)獨立性假設,減少了估算偏差。

騰訊還自研了一個“AI代價對比模型”,在線推理不同計劃的代價,能夠更準確地度量每個執(zhí)行計劃的質(zhì)量。最后基于歷史執(zhí)行效果,持續(xù)反饋深度優(yōu)化模型,實現(xiàn) “越用越準” 的智能優(yōu)化。

AI自學習優(yōu)化器的效果也非常驚人,在 TPC-DS 測試中,復雜查詢總時延可降幅80%以上。

在一個騰訊數(shù)據(jù)庫客戶的實際業(yè)務案例中,通過 AI 自學習優(yōu)化器的自動調(diào)優(yōu),擁有超16萬張表、600多種SQL語句、Top7慢查詢一天耗時13000多秒的客戶,在零人力投入的情況下,直接讓7類慢查詢總耗時下降80%+,查詢耗時壓縮到了3000秒內(nèi)。

04

總結(jié)

現(xiàn)在回頭來看,數(shù)據(jù)庫的這些年發(fā)展路線很清晰:

(1)從本地到云端

(2)從單機到分布式

(3)從人工調(diào)優(yōu)到智能化

但是,海量的數(shù)據(jù)和高并發(fā)也讓程序員為了分庫分表的設計,為了降低那么一點點查詢時間而絞盡腦汁,數(shù)據(jù)庫甚至成了程序員半夜被叫醒的“定時炸彈”。

而今天,騰訊云TDSQL-B 這樣的分布式數(shù)據(jù)庫、TDAI 和AI自學習優(yōu)化器,正在把這些煩惱一一解決掉。它不僅解決了開發(fā)者和 DBA 最痛的點,還為未來的數(shù)據(jù)庫打開了一個全新的方向:數(shù)據(jù)庫不再只是一個被動的“黑盒”,而是能主動學習、主動優(yōu)化、主動守護的“智能伙伴”。

未來的程序員和 DBA 可以輕裝上陣,把精力真正放在業(yè)務創(chuàng)新上,而不是疲于救火。這是程序員,也是IT界最大的福音。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
美軍航母遇襲560人傷亡,特朗普口風突變

美軍航母遇襲560人傷亡,特朗普口風突變

80后房車生活
2026-03-03 05:19:53
你干過哪些陰暗齷齪的事?網(wǎng)友:最后一個真的好炸裂好真實

你干過哪些陰暗齷齪的事?網(wǎng)友:最后一個真的好炸裂好真實

帶你感受人間冷暖
2026-02-17 01:00:24
伊朗導彈擊中美第五艦隊總部瞬間畫面曝光,美海軍第五艦隊總部遇襲前后衛(wèi)星圖公開

伊朗導彈擊中美第五艦隊總部瞬間畫面曝光,美海軍第五艦隊總部遇襲前后衛(wèi)星圖公開

揚子晚報
2026-03-02 17:09:15
高層死光后,特朗普呼吁對話,關鍵時候,美媒:中美沖突怎么打?

高層死光后,特朗普呼吁對話,關鍵時候,美媒:中美沖突怎么打?

梁訊
2026-03-03 05:03:36
海瀾之家被“全軍拉黑”!中標后拒簽合同,200億撐不起一單軍需

海瀾之家被“全軍拉黑”!中標后拒簽合同,200億撐不起一單軍需

牛鍋巴小釩
2026-03-03 00:56:41
寧波一旅游團所乘郵輪滯留迪拜,船上有約200名中國游客

寧波一旅游團所乘郵輪滯留迪拜,船上有約200名中國游客

上觀新聞
2026-03-02 16:27:07
場均27+14+9!坐擁聯(lián)盟第一戰(zhàn)力為何突然萎靡?他們想念那位配角

場均27+14+9!坐擁聯(lián)盟第一戰(zhàn)力為何突然萎靡?他們想念那位配角

阿浪的籃球故事
2026-03-02 16:05:03
3打5!又兩國參戰(zhàn)中東,3國加入美以,關鍵時刻,普京對中承諾

3打5!又兩國參戰(zhàn)中東,3國加入美以,關鍵時刻,普京對中承諾

面包夾知識
2026-03-02 13:35:18
正式官宣!洛杉磯奧運參賽名單確定,國乒恐需一人身兼四項

正式官宣!洛杉磯奧運參賽名單確定,國乒恐需一人身兼四項

最愛乒乓球
2026-03-03 00:05:36
俄媒警告中國:美國打伊朗只是幌子,目的是逼解放軍到太平洋決戰(zhàn)

俄媒警告中國:美國打伊朗只是幌子,目的是逼解放軍到太平洋決戰(zhàn)

夜里看海
2026-03-03 04:41:29
NBA傳聞:克里斯·米德爾頓為啥拒絕掘金的邀請,選擇留在獨行俠

NBA傳聞:克里斯·米德爾頓為啥拒絕掘金的邀請,選擇留在獨行俠

好火子
2026-03-03 02:38:53
李亞鵬與哥哥和解:沒有劇本,沒有眼淚,只有一條真心話短信

李亞鵬與哥哥和解:沒有劇本,沒有眼淚,只有一條真心話短信

溫柔娛公子
2026-03-02 17:25:03
美軍瞞不住了!炸航母基地,炸11億美元雷達,幾十萬噸燃油被點燃

美軍瞞不住了!炸航母基地,炸11億美元雷達,幾十萬噸燃油被點燃

夢史
2026-03-01 11:22:23
“生靈涂炭”,知名女主持人直播中落淚!連線時警報突然響起,網(wǎng)友紛紛祈愿……

“生靈涂炭”,知名女主持人直播中落淚!連線時警報突然響起,網(wǎng)友紛紛祈愿……

新民周刊
2026-03-02 16:00:18
明明手上沒權(quán),為什么內(nèi)賈德還非死不可?真相遠非復仇那么簡單

明明手上沒權(quán),為什么內(nèi)賈德還非死不可?真相遠非復仇那么簡單

李健政觀察
2026-03-02 11:51:27
演員于某在北京被抓

演員于某在北京被抓

老吳教育課堂
2026-03-02 20:13:46
拉里賈尼:不會與美國進行談判,美以不可能打了伊朗就一走了之!美官員承認:無情報顯示伊朗計劃“先發(fā)制人”打擊美軍

拉里賈尼:不會與美國進行談判,美以不可能打了伊朗就一走了之!美官員承認:無情報顯示伊朗計劃“先發(fā)制人”打擊美軍

每日經(jīng)濟新聞
2026-03-02 14:22:17
突變!白銀大跳水,黃金回落!美股集體下跌!特朗普,最新發(fā)聲!

突變!白銀大跳水,黃金回落!美股集體下跌!特朗普,最新發(fā)聲!

證券時報e公司
2026-03-02 23:05:14
有報道稱“伊朗試圖恢復與華盛頓談判”,伊朗最高領袖顧問:伊朗不會與美國談判

有報道稱“伊朗試圖恢復與華盛頓談判”,伊朗最高領袖顧問:伊朗不會與美國談判

環(huán)球網(wǎng)資訊
2026-03-02 12:43:32
馮小剛春節(jié)后送女兒上學 臉貼臉說想她 給徐朵開車提行李很舍不得

馮小剛春節(jié)后送女兒上學 臉貼臉說想她 給徐朵開車提行李很舍不得

離離言幾許
2026-03-02 15:51:46
2026-03-03 06:59:00
碼農(nóng)翻身 incentive-icons
碼農(nóng)翻身
有趣且硬核的技術(shù)文章
230文章數(shù) 629關注度
往期回顧 全部

科技要聞

蘋果中國官網(wǎng)上線iPhone 17e,4499元起

頭條要聞

媒體:拉里賈尼走向前臺 四大關鍵變量將決定伊朗命運

頭條要聞

媒體:拉里賈尼走向前臺 四大關鍵變量將決定伊朗命運

體育要聞

“想要我簽名嗎” 梅西逆轉(zhuǎn)后嘲諷對手主帥

娛樂要聞

李亞鵬與哥哥和解 只有一條真心話短信

財經(jīng)要聞

油價飆升 美伊沖突將如何攪動全球經(jīng)濟

汽車要聞

國民SUV再添一員 瑞虎7L靜態(tài)體驗

態(tài)度原創(chuàng)

房產(chǎn)
本地
時尚
數(shù)碼
游戲

房產(chǎn)要聞

方案突然曝光!??诒睅煷蟾叫#钟袝蟊P殺出!

本地新聞

津南好·四時總相宜

今年春天一定要擁有的4件衣服,太好看了!

數(shù)碼要聞

蘋果新款iPad Air發(fā)布:4799元起 搭載M4芯片

魔獸時光服:玩家怒懟,裝備暴跌全因版本規(guī)劃問題,真相是什么?

無障礙瀏覽 進入關懷版