4 月 24 日，DeepSeek 在 Hugging Face 上傳了 V4 系列的預(yù)覽版本。這一代分兩個(gè)型號(hào)，旗艦 V4-Pro 總參數(shù) 1.6 萬(wàn)億、激活 490 億，V4-Flash 總參數(shù) 2,840 億、激活 130 億，兩款均支持 100 萬(wàn) tokens 上下文，均為 MoE 架構(gòu)、純文本模型。與模型一同放出的還有 58 頁(yè)的技術(shù)報(bào)告，標(biāo)題為《DeepSeek V4：邁向高效的百萬(wàn) token 上下文智能》。

1.6T 的參數(shù)規(guī)模比年初泄露的 1T 傳聞高出 60%，一周前 DeepGEMM 算子庫(kù)的更新放出時(shí)，社區(qū)就已經(jīng)反推出了這個(gè)數(shù)字。技術(shù)報(bào)告里還有一個(gè)此前沒(méi)有的細(xì)節(jié)：V4-Flash 訓(xùn)練了 32T tokens，V4-Pro 訓(xùn)練了 33T tokens，都比 V3 的 14.8T 高了一倍多。

把賬算在注意力機(jī)制上

V4 最核心的架構(gòu)改動(dòng)是一個(gè)分層的混合注意力機(jī)制。DeepSeek 這次設(shè)計(jì)了兩個(gè)模塊：Compressed Sparse Attention（CSA）和 Heavily Compressed Attention（HCA），在各層之間交替使用。CSA 先把每 4 個(gè) token 的 KV cache 壓成 1 個(gè) entry，再在壓縮后的序列上跑稀疏注意力（V3.2 引入的 DSA 機(jī)制的延續(xù)），每個(gè)查詢(xún)只和 top-k 個(gè)壓縮塊做注意力；HCA 則更激進(jìn)，直接把每 128 個(gè) token 壓成 1 個(gè) entry，但保持稠密注意力。

圖丨DeepSeek-V4 系列的整體架構(gòu)（來(lái)源：DeepSeek）

兩者配合的結(jié)果是：在 100 萬(wàn) tokens 上下文下，V4-Pro 的單 token 推理 FLOPs 只有 V3.2 的 27%，KV cache 只有 10%；V4-Flash 更極端，F(xiàn)LOPs 是 V3.2 的約 10%，KV cache 是 7%。和傳統(tǒng) BF16 GQA8 的基線對(duì)比，V4 在 1M 場(chǎng)景下的 KV cache 可以壓到基線的約 2%。

這條路線和 V3.2 是一脈相承的。V3.2-Exp 去年 9 月第一次引入 DSA 的時(shí)候就把推理成本腰斬過(guò)一次，并且當(dāng)時(shí) DeepSeek 就明確說(shuō)這是“面向下一代架構(gòu)的中間步驟”。現(xiàn)在我們終于看到了那個(gè)“下一代”是什么樣子：不是把稀疏換成別的激進(jìn)方案（比如此前外界廣泛押注的 Engram 條件記憶），而是把稀疏和壓縮再組合一層。

不走運(yùn)的訓(xùn)練，和兩個(gè)救命的土辦法

DeepSeek 在技術(shù)報(bào)告里花了不短的篇幅承認(rèn) V4 訓(xùn)練并不順利。萬(wàn)億參數(shù) MoE 有經(jīng)典的 loss spike 問(wèn)題，簡(jiǎn)單回滾救不回來(lái)。團(tuán)隊(duì)最后找到兩個(gè)經(jīng)驗(yàn)性的技巧把訓(xùn)練壓住了，而且在報(bào)告里直說(shuō)“它們背后的原理目前還不清楚，公開(kāi)出來(lái)希望社區(qū)一起研究”。

第一個(gè)叫 Anticipatory Routing（預(yù)測(cè)性路由）。常規(guī)做法是每一步訓(xùn)練時(shí)主干網(wǎng)絡(luò)和路由網(wǎng)絡(luò)同步更新；DeepSeek 發(fā)現(xiàn)把這兩者解耦能顯著壓住 loss spike，做法是在第 t 步用當(dāng)前參數(shù)做前向計(jì)算，但路由決策用歷史參數(shù) θ_{t-Δt}。為了不讓這個(gè)設(shè)計(jì)拖慢訓(xùn)練，他們還加了一個(gè)自動(dòng)檢測(cè)機(jī)制，只在真的出現(xiàn) loss spike 的時(shí)候才切到這個(gè)模式，整體額外開(kāi)銷(xiāo)被控制在訓(xùn)練時(shí)間的 20% 以?xún)?nèi)。

第二個(gè)更簡(jiǎn)單粗暴，叫 SwiGLU Clamping：直接把 SwiGLU 的線性輸出鉗制到 [?10, 10]、門(mén)控上界也限到 10。這個(gè) trick 最早出現(xiàn)在 OpenAI 今年的 gpt-oss 技術(shù)報(bào)告里，DeepSeek 發(fā)現(xiàn)它能有效抑制 MoE 層里出現(xiàn)的 outliers，就直接用了。

除此之外，V4 用 Muon 替代了 AdamW 作為主優(yōu)化器（embedding、prediction head、RMSNorm 仍用 AdamW），并設(shè)計(jì)了一套 hybrid Newton-Schulz 迭代來(lái)做權(quán)重正交化。另一項(xiàng)底層改動(dòng)是流形約束超連接（mHC），把殘差映射矩陣約束在 Birkhoff 多面體上，保證它的譜范數(shù)不超過(guò) 1，從而讓信號(hào)在深層傳播時(shí)不會(huì)爆炸。在工程側(cè)，mHC 的 wall-time 開(kāi)銷(xiāo)被控制在 1F1B 流水線階段的 6.7%。

Post-training：放棄 mixed RL，換成多教師蒸餾

真正讓 V4 和 V3.2 在方法論上分岔的，是 post-training。技術(shù)報(bào)告中提到，V3.2 的 mixed RL 階段在 V4 被整體替換成了 On-Policy Distillation（OPD）。

新的流水線分兩段。先分別訓(xùn)練幾十個(gè)領(lǐng)域?qū)＜夷Ｐ�，覆蓋數(shù)學(xué)、代碼、Agent、指令跟隨，每個(gè)專(zhuān)家都跑一遍 SFT + GRPO 強(qiáng)化學(xué)習(xí)，產(chǎn)出一個(gè)在自己領(lǐng)域內(nèi)極強(qiáng)的“偏科生”。

然后在第二階段，把十幾個(gè) teacher 模型的 logits 蒸餾到一個(gè) student 模型里，學(xué)生在自己產(chǎn)生的 trajectory 上對(duì)每個(gè) teacher 優(yōu)化 reverse KL loss。這種“先分頭培養(yǎng)專(zhuān)家、再合并成通才”的路線，DeepSeek 在報(bào)告里直接點(diǎn)名參考了 Thinking Machines Lab 今年 10 月的 on-policy distillation 工作。

為了繞開(kāi) mixed RL 常見(jiàn)的能力沖突和權(quán)重合并時(shí)的性能退化，OPD 把各領(lǐng)域的專(zhuān)業(yè)能力在 logits 空間對(duì)齊到同一組參數(shù)里。配套的工程細(xì)節(jié)是：teacher 模型權(quán)重全部卸載到分布式存儲(chǔ)按需加載，每個(gè) teacher 的 last-layer hidden states 單獨(dú)緩存，訓(xùn)練時(shí)再投一次 prediction head 重構(gòu) logits，從而規(guī)避 100k+ 詞表直接物化 logits 的顯存災(zāi)難。

另外，V4 引入了新的工具調(diào)用 schema，用特殊 token |DSML| 配 XML 格式替代 V3.2 的 JSON，技術(shù)報(bào)告里的原話是 XML 能“有效減少轉(zhuǎn)義錯(cuò)誤和調(diào)用失敗”。

還有一個(gè)不起眼但對(duì)實(shí)際產(chǎn)品有用的改動(dòng)叫 Quick Instruction：在輸入序列里追加若干特殊 token，讓 intent 識(shí)別、搜索查詢(xún)生成、是否需要讀 URL 等輔助任務(wù)直接復(fù)用已經(jīng)算好的 KV cache，不用再起一個(gè)小模型做前置判斷，這對(duì) TTFT（首 token 延遲）有直接影響。

跑分：代碼登頂，知識(shí)仍差一截

V4-Pro-Max（V4-Pro 的 Max reasoning 模式）和當(dāng)前第一梯隊(duì)的 Claude Opus 4.6 Max、GPT-5.4 xHigh、Gemini 3.1-Pro High 對(duì)比，優(yōu)勢(shì)集中在代碼和數(shù)學(xué)，短板集中在純知識(shí)。

代碼和數(shù)學(xué)競(jìng)賽是 V4 的主場(chǎng)：Codeforces 3206 Elo，超過(guò) GPT-5.4 的 3,168 和 Gemini 3.1-Pro 的 3052，在真實(shí) Codeforces 人類(lèi)選手排行榜上相當(dāng)于第 23 名；LiveCodeBench Pass@1 93.5，領(lǐng)先 Gemini 的 91.7；Apex Shortlist 90.2、HMMT 2026 Feb 95.2 也都拿下第一。形式化數(shù)學(xué)上，V4 在 Putnam-2025 上以 120/120 達(dá)成完美證明，追平 Axiom，超越 Aristotle 和 Seed-Prover。

圖丨基準(zhǔn)測(cè)試結(jié)果（來(lái)源：DeepSeek）

但純知識(shí)和最難的通用推理，V4 離前沿閉源還有明顯距離。SimpleQA-Verified 57.9% 相對(duì) Gemini 3.1-Pro 的 75.6% 差了 17 個(gè)百分點(diǎn)；HLE（Humanity's Last Exam）Pass@1 只有 37.7%，落后 Gemini 的 44.4。團(tuán)隊(duì)在 Summary 部分很坦誠(chéng)地表示：V4-Pro-Max 的推理能力“超過(guò) GPT-5.2 和 Gemini-3.0-Pro，但略低于 GPT-5.4 和 Gemini-3.1-Pro，對(duì)應(yīng)大約 3 到 6 個(gè)月的發(fā)展差距”。

V4-Flash-Max 的定位也被明確：推理任務(wù)上能打到 V4-Pro-Max 的水準(zhǔn)，但知識(shí)密度和最復(fù)雜的 agentic workflow 上，小尺寸依然吃虧，這本來(lái)也是 MoE 結(jié)構(gòu)的預(yù)期表現(xiàn)。

真實(shí)任務(wù)：超 Sonnet 4.5，追 Opus 4.5

技術(shù)報(bào)告還專(zhuān)門(mén)評(píng)測(cè)了幾項(xiàng) DeepSeek 自己用戶最常用的真實(shí)場(chǎng)景。

中文寫(xiě)作測(cè)試?yán)�，V4-Pro 在功能性寫(xiě)作上以 62.7% 對(duì) 34.1% 勝 Gemini 3.1-Pro（理由是 Gemini“經(jīng)常用自己的風(fēng)格偏好覆蓋用戶要求”）；創(chuàng)意寫(xiě)作的指令跟隨 60% 對(duì) 40%、寫(xiě)作質(zhì)量 77.5% 對(duì) 22.5% 也都?jí)哼^(guò) Gemini。但換到最難的任務(wù)，比如高復(fù)雜度約束、多輪對(duì)話，Claude Opus 4.5 還是以 52.0% 對(duì) 45.9% 反超 V4-Pro。

內(nèi)部的 30 個(gè)中文白領(lǐng)任務(wù)評(píng)測(cè)里，V4-Pro-Max 整體非輸率 63%，單項(xiàng)得分在任務(wù)完成和內(nèi)容質(zhì)量上顯著高于 Opus-4.6-Max，但在格式審美和指令遵循上略輸。報(bào)告給出的解釋是 V4 更擅長(zhǎng)長(zhǎng)段敘事和主動(dòng)補(bǔ)全用戶潛在意圖，而 Opus 更擅長(zhǎng)精確執(zhí)行具體格式約束和簡(jiǎn)潔摘要。

在代碼 Agent 方面，DeepSeek 從 50 多位內(nèi)部工程師那里收集了 200 多個(gè)真實(shí) R&D 任務(wù)，篩選出 30 個(gè)作為評(píng)測(cè)集，覆蓋 PyTorch、CUDA、Rust、C++ 的功能開(kāi)發(fā)、bug 修復(fù)、重構(gòu)等場(chǎng)景。

通過(guò)率分布如下：Claude Haiku 4.5 13%、Sonnet 4.5 47%、V4-Pro-Max 67%、Opus 4.5 70%、Opus 4.5 Thinking 73%、Opus 4.6 Thinking 80%。V4 把 Sonnet 4.5 甩開(kāi) 20 個(gè)百分點(diǎn)，但還差 Opus 系列一個(gè)身位。配套的 85 人內(nèi)部調(diào)研里，52% 的開(kāi)發(fā)者說(shuō) V4-Pro 可以作為日常編程的主力模型，另有 39% 表示“傾向于可以”。

率道而行

一個(gè)禮拜前，X 平臺(tái)上普林斯頓博士生 Yifan Zhang 放出的 V4 完整規(guī)格單和今天的報(bào)告大部分對(duì)得上：Muon 優(yōu)化器、純文本、每層 384 個(gè)專(zhuān)家激活 6 個(gè)（Pro 版配置）、GRPO。但兩個(gè)關(guān)鍵點(diǎn)和爆料有偏差。一是 DeepSeek 最終把注意力機(jī)制命名成了 CSA + HCA 混合，而不是此前流傳的 “DSA2（NSA + DSA）”。二是此前多個(gè)爆料反復(fù)暗示的"原生多模態(tài)"并沒(méi)有出現(xiàn)，V4 依舊是純文本，略有遺憾。

另一個(gè)被傳了很久但沒(méi)出現(xiàn)的是 Engram 條件記憶。去年底到今年初，中文圈普遍押注 V4 會(huì)引入 Engram 作為核心，把靜態(tài)知識(shí)檢索從 attention 里獨(dú)立出去。

V4 最終沒(méi)走這條路，而是在既有的稀疏注意力框架內(nèi)做得更深：CSA 的壓縮+稀疏兩步組合，是對(duì) V3.2 DSA 的連續(xù)演進(jìn)。值得一提的是，DeepSeek 在報(bào)告最后的 Future Directions 里留了一手，下一步要探索“更稀疏的 embedding 模塊”，并點(diǎn)名引用了 2026 年 1 月的 Conditional Memory via Scalable Lookup 論文。

過(guò)去幾個(gè)月，關(guān)于 DeepSeek 的敘事從“神話”滑到“跌下神壇”再到“已經(jīng)掉隊(duì)”；關(guān)于 V4 的技術(shù)猜測(cè)從 1T 到 1.6T、從 DSA2 到 Engram、從原生多模態(tài)到純文本之間來(lái)回切換。V4 發(fā)布這天，官方推文沒(méi)有回應(yīng)這些猜測(cè)中的任何一條，沒(méi)有反駁，也沒(méi)有比較，只引了一句《荀子·修身》：“不誘于譽(yù)，不恐于誹，率道而行，端然正己�！�

參考資料：

1.https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

運(yùn)營(yíng)/排版：何晨龍

注：封面/首圖由 AI 輔助生成