新智元報道

編輯：好困

【新智元導(dǎo)讀】DeepSeek V4，1.6萬億參數(shù)，Codeforces人類第23，KV緩存砍到1/10。同一周Kimi K2.6萬億MoE開源，也在推國產(chǎn)芯片混合推理。中國AI的底座和芯片，同時動了。

DeepSeek V4，炸了！

1.6萬億參數(shù)，百萬token上下文KV緩存砍到前代的十分之一，Codeforces評分3206直接超過GPT-5.4，在人類選手中排第23。

開源權(quán)重、API、近60頁技術(shù)報告一起扔出來，社區(qū)已經(jīng)開始拆了。

但我們翻完技術(shù)報告準(zhǔn)備收工的時候，突然反應(yīng)過來一件事。

這周一，Kimi K2.6剛剛開源。萬億參數(shù)MoE模型，支持300個子Agent協(xié)同，OpenRouter調(diào)用量直接沖到全球第一。

等等。

同一周，兩個萬億參數(shù)中國開源模型先后落地？真的不是約好的嗎？

頂尖玩家總在同一個山口相遇

回看過去15個月，DeepSeek和Kimi的瞄準(zhǔn)的技術(shù)方向和發(fā)布時機，對齊到讓人懷疑是約好的。

2025年1月，DeepSeek-R1推理模型和Kimi K1.5多模態(tài)思考模型同日上線，相隔僅兩小時。OpenAI 的Paper 也指出他們兩家是最早復(fù)現(xiàn)o1思維鏈的團隊。

2025年2月，兩家前后腳發(fā)論文，都在改造Transformer注意力機制。DeepSeek的NSA做原生稀疏注意力，Kimi的MoBA做混合塊注意力，

2025年4月，Kimi推出 Kimina-Prover Preview數(shù)學(xué)推理專項模型沒多久，DeepSeek-Prover-V2 也發(fā)布，都走了「自驗證」路線來證明數(shù)學(xué)定理。

2026年初，DeepSeek用mHC流形約束超連接來改造深度學(xué)習(xí)網(wǎng)絡(luò)中的「殘差連接」。到了3月，Kimi放出新技術(shù)「注意力殘差」，直接將Transformer的核心原理「注意力」應(yīng)用到「殘差連接」上，引發(fā)Karpathy、馬斯克等大神稱贊。

2026年4月，萬億開源模型 Kimi K2.6和DeepSeek V4同周上線。

你用我驗過的注意力機制

我用你驗過的優(yōu)化器

多次「相遇」的表面之下，是一個更微妙的現(xiàn)象，兩家公司的技術(shù)在互相加持。

Kimi K2的注意力機制采用了DeepSeek首創(chuàng)的MLA（Multi-head Latent Attention）。

傳統(tǒng)多頭注意力需要為每個注意力頭單獨存儲Key和Value，上下文越長KV緩存越大。

MLA的做法是把Q/K/V壓縮到一個低秩的latent向量中，推理時只需緩存這個壓縮向量再解壓，KV緩存量大幅縮減。

在這套注意力機制上，K2擴展到了萬億參數(shù)的MoE模型。

反過來，DeepSeek V4采用了Muon優(yōu)化器。

主流的AdamW對每個參數(shù)獨立做自適應(yīng)縮放，Muon則對整個梯度矩陣做Newton-Schulz正交化，讓更新方向在矩陣空間中更均勻。

Muon最初由Keller Jordan等人提出，但只在小模型上驗證過。

2025年初，Kimi團隊的Moonlight論文中首次把Muon擴展到大規(guī)模訓(xùn)練，實驗顯示相同算力下Muon的計算效率約為AdamW的兩倍。

2025年中，在萬一參數(shù)的K2模型上，進一步開發(fā)出MuonClip，加入QK-clip來控制注意力logits的數(shù)值范圍，實現(xiàn)了15.5萬億token預(yù)訓(xùn)練全程零loss spike。

V4技術(shù)報告里引用 Kimi 的Muon優(yōu)化器論文，寫得很明確，對大部分參數(shù)使用Muon優(yōu)化器，帶來更快的收斂和更好的訓(xùn)練穩(wěn)定性。

底層技術(shù)上的同頻還不止于此，至少還有三條線在平行推進。

KV緩存。

Kimi的Mooncake把KV緩存做了分離式存儲和調(diào)度，DeepSeek V4設(shè)計了異構(gòu)KV緩存結(jié)構(gòu)，把壓縮KV和滑動窗口KV分開管理并支持磁盤級存儲。都在解決同一個工程瓶頸。

長上下文。

Kimi 2024年做了百萬上下文的模型實驗，是國內(nèi)最早把「長文本」從技術(shù)概念變成用戶記憶點的公司，但當(dāng)時成本還沒降下來。

長上下文真正的難點從來都在成本端，讀得越長，賬單越難看，延遲越難控，KV緩存越堆越高。讀得起、讀得穩(wěn)、讀完還能干活，才是產(chǎn)品化門檻。

DeepSeek V4這次接過了這根棒，設(shè)計了CSA（壓縮稀疏注意力，每4個token的KV合并后再做top-k選擇）和HCA（重壓縮注意力，壓縮率128倍但保持全局稠密計算）交替堆疊，推理算力降到V3.2的27%，KV緩存只剩十分之一。

注意力架構(gòu)的下一步。

DeepSeek押稀疏注意力，核心假設(shè)是長序列中大部分KV條目對當(dāng)前query貢獻極小，可以安全跳過。

Kimi下一代模型探索線性注意力，核心假設(shè)是注意力計算本身可以被重新表述為線性形式，把復(fù)雜度從序列長度的平方降到線性。

一個在篩選哪些token值得看，一個在改寫「看」這個動作本身的計算規(guī)則。

殊途同歸，都在往Transformer最要命的成本結(jié)構(gòu)里動刀。

老黃的PPT里，兩個都是中國的

2026年初的CES大會上，黃仁勛展示Rubin NVL72性能的slide里，訓(xùn)練基準(zhǔn)用的是DeepSeek，推理吞吐和token成本基準(zhǔn)用的是Kimi K2-Thinking。

同一張PPT，兩個中國開源模型。

Meta的Muse Spark官方Blog里也出現(xiàn)了類似的畫面。

在代碼困惑度對比圖中，用來對標(biāo)的外部模型，就是Llama 4 Maverick、DeepSeek-V3.1 Base和Kimi-K2 Base。

衡量模型在未見過的代碼庫上的理解能力，越低越好

老外「套殼」的首選模型

2026年3月19日，估值500億美元的AI編程工具Cursor發(fā)布「自研」模型Composer 2。

結(jié)果還不到一天，就被開發(fā)者在API日志中扒出了模型ID「kimi-k2p5-rl-0317-s515-fast」。

也就是說，Composer 2的底座就是Kimi K2.5。

Cursor創(chuàng)始人承認「沒在博客里提到Kimi基座是我們的疏忽」，并表示「基于困惑度評估，Kimi K2.5是我們測試過的最強基座模型」。

無獨有偶，日本樂天同月發(fā)布的Rakuten AI 3.0，底座也被社區(qū)發(fā)現(xiàn)是DeepSeek V3。

開發(fā)者端的數(shù)據(jù)也印證了這個趨勢。

今天的OpenRouter調(diào)用量排行榜上，Kimi K2.6以297B tokens排名第一，DeepSeek V3.2以204B tokens排名第四。

前五名里兩個中國模型，中間夾著Claude。

同一個方向，同一張桌子

而在芯片這條暗線上，兩家也在同一個方向推進。

V4技術(shù)報告明確寫到，細粒度專家并行方案同時在NVIDIA GPU和華為Ascend NPU上完成了驗證。Kimi新論文《Prefill-as-a-Service》則引入分離式架構(gòu)，推進國產(chǎn)芯片的混合推理方案。

值得一提的是，梁文鋒和楊植麟都先后參加了總理座談會，都是中國AI領(lǐng)域被點名的代表。

兩家公司都在2023年起步，兩年多時間成長為中國AI創(chuàng)業(yè)公司中最受關(guān)注的兩家，也是業(yè)內(nèi)公認人才密度最高的團隊。

競爭是表面，加速是結(jié)果

如果只有一家，可以說是個例。

但同一周兩個萬億參數(shù)開源模型同時落地，背后的技術(shù)還在互相滲透，被GTC和Meta選為性能基準(zhǔn)，被Cursor和Rakuten拿去當(dāng)?shù)鬃?/p>

當(dāng)某些閉源模型之間還在互相猜忌的時候，這兩家已經(jīng)在論文里互相引用、在代碼里互相復(fù)用了。

這大概就是開源最硬的復(fù)利。

參考資料：

https://github.com/MoonshotAI/Kimi-K2/blob/main/tech_report.pdf

https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

https://openrouter.ai/rankings?view=day