4月24日，DeepSeek V4 雖遲但到。

1.6T 參數(shù)，MIT 協(xié)議全量開(kāi)源，百萬(wàn)級(jí)上下文直接拉滿(mǎn)。

鼓掌的除了整個(gè)科技圈，還有那些在前一天賣(mài)空 Minimax 和智譜股票的股民們。

但內(nèi)行人更關(guān)注的是，DeepSeek V4 創(chuàng)新性地用了兩套全新的底層設(shè)計(jì)：Engram 條件記憶模塊和 mHC（流形約束超連接）。

核心目的只有一個(gè)：在保持模型效果的前提下，把訓(xùn)練和推理的成本打下來(lái)。

這說(shuō)明了一件事：模型層面的創(chuàng)新，正在和基礎(chǔ)設(shè)施層面的創(chuàng)新深度綁定。

一個(gè)月前，OpenAI 核心基礎(chǔ)設(shè)施團(tuán)隊(duì)的大牛翁家翌說(shuō)了一段話(huà)，在技術(shù)圈瘋傳："現(xiàn)在的大模型競(jìng)爭(zhēng)，拼的不是 Idea 多精妙，而是 AI Infra 的正確性與單位時(shí)間內(nèi)的迭代次數(shù)。Idea 是廉價(jià)的，能被快速驗(yàn)證的 Idea 才值錢(qián)。"

這句話(huà)，百度智能云的百舸團(tuán)隊(duì)顯然聽(tīng)進(jìn)去了。

最近，他們開(kāi)源了一個(gè) AI 訓(xùn)練框架，直接把這場(chǎng)"速度戰(zhàn)"的烈度往上抬了一個(gè)量級(jí)。

一個(gè)幾百億參數(shù)的模型，一張 GPU 卡裝不下，得"切"成很多塊，放到幾十張甚至幾千張卡上同時(shí)訓(xùn)練。

怎么切？模型有幾百層，每層都要切，切錯(cuò)了就跑不起來(lái)。

怎么通信？幾千張卡在訓(xùn)練，每張卡算完自己的部分，要和其他卡交換數(shù)據(jù)。交換慢了，整個(gè)訓(xùn)練就慢了。

怎么管理顯存？模型參數(shù)、梯度、優(yōu)化器狀態(tài)，都要占顯存。顯存不夠，訓(xùn)練就崩了。

怎么保證穩(wěn)定？幾千張卡跑幾天幾夜，中間某張卡出問(wèn)題了，整個(gè)訓(xùn)練要重來(lái)嗎？

這些問(wèn)題，如果讓每個(gè)工程師自己解決，那得累死。于是就有了"訓(xùn)練框架"。

它像一個(gè)智能管家——自動(dòng)切分模型、優(yōu)化通信、管理顯存、保證容錯(cuò)。

有了這個(gè)"老師傅"，工程師才能專(zhuān)注于模型創(chuàng)新，而不是被工程細(xì)節(jié)拖死。

把時(shí)間拉回兩年前，那時(shí)大模型基本都是"純文字"，訓(xùn)練框架早就很成熟了，而且綁在 NVIDIA 一棵樹(shù)上。

但到了現(xiàn)在，情況變了：文生圖、圖生文、視頻理解、機(jī)器人控制……所有最性感的 AI 方向，都是多模態(tài)。

訓(xùn)練多模態(tài)模型，和訓(xùn)練純文字大模型，完全不是一個(gè)概念。

多模態(tài)模型——視覺(jué)編碼器（ViT）+ 語(yǔ)言模型（LLM）+ 投影層，三個(gè)模塊參數(shù)量差了上百倍。傳統(tǒng)框架只能給它們強(qiáng)制套用同一套并行策略——小的模塊閑死，大的模塊累死。

多模態(tài)數(shù)據(jù)差異巨大：?jiǎn)螐垐D片約 256 token，20 分鐘視頻超 10 萬(wàn) token。

Attention 的計(jì)算復(fù)雜度是序列長(zhǎng)度的平方級(jí)，分到視頻的那塊 GPU，計(jì)算量是分到圖片的上萬(wàn)倍。

國(guó)產(chǎn)芯片越來(lái)越多地進(jìn)入大模型訓(xùn)練場(chǎng)景，但訓(xùn)練框架是深度綁定英偉達(dá) GPU。換芯片？重寫(xiě)一遍，維護(hù)兩套代碼，成本極高。好不容易遷移完了，還發(fā)現(xiàn)性能對(duì)不上。

老框架們面對(duì)多模態(tài)，就像中年人面對(duì) 996，力不從心。

百度智能云百舸團(tuán)隊(duì)給出的答案，是一個(gè)全模態(tài)訓(xùn)練框架——覆蓋純文字（LLM）、視覺(jué)語(yǔ)言（VLM）、機(jī)器人控制（VLA），甚至文生圖（Diffusion）場(chǎng)景。

但說(shuō)人話(huà)就是：他們把上面那三個(gè)坑，一個(gè)一個(gè)填了。

傳統(tǒng)框架"一刀切"的并行策略，對(duì)視覺(jué)編碼器和語(yǔ)言模型都不友好。

新框架的做法是：把這兩者解耦，各自獨(dú)立配置最優(yōu)的并行方案。

這相當(dāng)于什么？以前是三個(gè)人擠一張桌子吃飯，小個(gè)子夠不著，大個(gè)子伸不開(kāi)腿?，F(xiàn)在是各坐各的桌椅，各用各的餐具，誰(shuí)也不耽誤誰(shuí)。

傳統(tǒng)框架的"大鍋飯"思路，不只耽誤效率，還浪費(fèi)成本。

新框架引入了一套自動(dòng)負(fù)載均衡機(jī)制：計(jì)算量大的樣本（比如長(zhǎng)視頻），少分配一些；計(jì)算量小的樣本（比如單張圖片），多分配一些。目標(biāo)是讓每塊 GPU 拿到的計(jì)算量盡量相當(dāng)。

這就像一個(gè)聰明的項(xiàng)目經(jīng)理，給能力強(qiáng)的人多分配任務(wù)，讓團(tuán)隊(duì)整體效率最高。

解釋一下這個(gè) 90%+ 是什么概念——千卡規(guī)模下，很多框架的擴(kuò)展效率掉到 60-70% 就已經(jīng)算不錯(cuò)了。90%+ 意味著幾乎線性擴(kuò)展，每一分算力都花在了刀刃上。

針對(duì)芯片綁定的問(wèn)題，新框架做了一個(gè)叫 XPU_Plugin 的硬件接入層——底層硬件差異被這層插件吃掉。同一份訓(xùn)練代碼，只改一個(gè)環(huán)境變量，就能在 GPU 和昆侖芯之間無(wú)縫切換。想"兩條腿走路"的公司，不需要維護(hù)兩套代碼庫(kù)了。

這甚至意味著，NVIDIA 的生態(tài)壁壘，被拆掉了一層。

新框架還解決了一個(gè)更刁鉆的問(wèn)題：MoE 模型的通信瓶頸。

MoE 有大量"專(zhuān)家"分散在不同 GPU 上，訓(xùn)練要頻繁跨 GPU 通信，長(zhǎng)序列時(shí)通信成百上千次，速度被拖死。業(yè)界常規(guī)做法是讓計(jì)算和通信"重疊"——GPU 算當(dāng)前數(shù)據(jù)時(shí)，同時(shí)傳輸下一批，通信時(shí)間"藏"在計(jì)算里。但提前存下一批數(shù)據(jù)，顯存會(huì)爆炸，長(zhǎng)序列時(shí)這塊顯存可能比模型本身還大。

所以 MoE 訓(xùn)練要么顯存爆炸，要么通信慢。

新框架的解法是一套組合拳。DeepSeek v3.2 用了稀疏注意力技術(shù)，只計(jì)算重要關(guān)系，忽略不重要的，大幅降低計(jì)算量。新框架對(duì)此做了深度優(yōu)化：算子融合、索引優(yōu)化、KV 布局優(yōu)化、序列拼接。

另一個(gè)痛點(diǎn)是新模型接入。傳統(tǒng)框架的模型定義和分布式策略深度耦合，每來(lái)一個(gè)新模型，得深入底層改代碼，周期以周計(jì)。新框架把兩者解耦，模型定義完全獨(dú)立，接入周期縮短到小時(shí)級(jí)。

翁家翌那句話(huà)的含金量還在上升：能被快速驗(yàn)證的 Idea 才值錢(qián)。框架把工程門(mén)檻打下來(lái)，驗(yàn)證速度才能上去。

從更宏觀的視角看，這件事的意義不止于技術(shù)層面。

訓(xùn)練框架是 AI 基礎(chǔ)設(shè)施的核心組件，之前基本是海外巨頭的天下。百度這次開(kāi)源，意味著國(guó)產(chǎn) AI 基礎(chǔ)設(shè)施又多了一塊關(guān)鍵拼圖。

對(duì)于想做大模型的公司來(lái)說(shuō)，多了一個(gè)不綁定單一芯片的選擇。對(duì)于國(guó)產(chǎn)芯片來(lái)說(shuō)，多了一個(gè)能被真正用起來(lái)的軟件生態(tài)。

模型創(chuàng)新 + 基礎(chǔ)設(shè)施創(chuàng)新，兩條腿走路的范式，正在變成現(xiàn)實(shí)。