国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

扒完 DeepSeek V4 報(bào)告,我翻出了這個(gè)隱藏彩蛋

0
分享至


今天上午,DeepSeek V4 發(fā)布,直接把這個(gè)大模型瘋狂更新月推向了最高潮。

百萬(wàn)上下文標(biāo)配,性能比肩頂級(jí)閉源模型,首發(fā)適配華為昇騰芯片,隨便一個(gè)點(diǎn)單拎出來能寫一篇爆款頭條。

不過在我翻看 V4 的技術(shù)報(bào)告的時(shí)候,在訓(xùn)練層面看到了一個(gè)被大部分人滑過去的名詞:Muon 優(yōu)化器


這個(gè)技術(shù)名詞,怎么看著這么眼熟呢?

原來是前兩天發(fā)布的 Kimi 2.6 里,就是通過 Muon優(yōu)化器,在相同的訓(xùn)練量下實(shí)現(xiàn)了2倍的效率提升,并在 1 萬(wàn)億參數(shù)規(guī)模上解決了訓(xùn)練不穩(wěn)定的難題。


早在上個(gè)月楊植麟站在英偉達(dá) GTC 2026 的舞臺(tái)上,花了演講中最長(zhǎng)的一個(gè)板塊講它。Kimi 是全世界第一個(gè)發(fā)論文證明 Muon 可以用在萬(wàn)億參數(shù)大模型訓(xùn)練上的團(tuán)隊(duì)。
(附APPSO解讀文章鏈接)

楊植麟是這樣說的:「用 MuonClip 而非 Adam 訓(xùn)練 Transformer 大模型,效果會(huì)好得多?!拐_實(shí)現(xiàn)后,token 效率提升 2 倍。在數(shù)據(jù)墻面前,這相當(dāng)于把 50 萬(wàn)億 token 用出了 100 萬(wàn)億的效果。

現(xiàn)在,這項(xiàng)技術(shù)出現(xiàn)在了 DeepSeek V4 的訓(xùn)練方案里。

我又回來翻了一下 Kimi K2 的架構(gòu)底層,又發(fā)現(xiàn)了一個(gè)更有意思的細(xì)節(jié):它用的是 DeepSeek-V3 提出的 MLA(Multi-head Latent Attention)。

DeepSeek 的技術(shù)報(bào)告寫著 Kimi 的名字,Kimi 的架構(gòu)底座寫著 DeepSeek 的名字。 你中有我,我中有你。

這大概是中國(guó) AI 圈最魔幻的一幕:兩家被外界反復(fù)對(duì)比的開源雙子星,技術(shù)底層早就長(zhǎng)到了一起。

而且,Kimi 類似這樣的巧合,已經(jīng)不是第一次了。

五次「撞車」,五個(gè)拐點(diǎn)

算上 V4 和 K2.6 前后腳上線,這已經(jīng)是 Kimi 和 DeepSeek 過去一年里的第五次「撞車」了。


▲ 圖片由 image-2 制作.

五次「撞車」,如果只是時(shí)間重合,那叫巧合。但把每次發(fā)布的內(nèi)容拉出來看,你會(huì)發(fā)現(xiàn)一條清晰的暗線:每次撞車恰好對(duì)應(yīng)一個(gè) AI 行業(yè)拐點(diǎn)的到來。

第一次是最戲劇性的。2025 年 1 月 20 日晚 8 點(diǎn) 10 分,DeepSeek R1 發(fā)布并以 MIT 協(xié)議完全開源。不到兩小時(shí)后,Kimi k1.5 亮相。

兩者都瞄準(zhǔn)同一件事:讓模型從「張嘴就來」變成「先想后說」,用強(qiáng)化學(xué)習(xí)跑通 Long-CoT 長(zhǎng)思維鏈推理。

在這之后,中國(guó)的開源力量就徹底改變了整個(gè)全球 AI 的格局。

后來 OpenAI 在一篇論文中點(diǎn)名指出:Kimi 和 DeepSeek 是「最早復(fù)現(xiàn) OpenAI-o1 Long-CoT」的兩家公司。全世界只有這兩家中國(guó)公司看懂了 OpenAI 在做什么,并且用自己的方式做了出來。


那是中國(guó) AI 從「追隨者」開始變成「引領(lǐng)者」的分水嶺。

最近這次就是今天。四天之內(nèi),K2.6 帶來了 SWE-Bench Pro 58.6% 的 Agent 集群并行編程能力,V4 把百萬(wàn)上下文做成了所有服務(wù)的標(biāo)配,輸出長(zhǎng)度拉到 384K tokens。

兩家同時(shí)推進(jìn)國(guó)產(chǎn)芯片適配:V4 下半年支持華為昇騰 950,寒武紀(jì)已完成 Day 0 適配;K2.6 支持國(guó)產(chǎn)芯片混合推理。

Agent 能力、編程天花板、百萬(wàn)上下文、國(guó)產(chǎn)芯片適配、開源生態(tài),全齊了。

從「學(xué)會(huì)思考」到「學(xué)會(huì)干活」,從「改 Transformer」到「改算力底座」,五次撞車其實(shí)展現(xiàn)出來的,是中國(guó) AI 不再一味對(duì)標(biāo) OpenAI ,逐漸不再依賴英偉達(dá),在開源上走出屬于自己的路。

撞車背后的必然

發(fā)布撞車的巧合固然有意思,但更值得關(guān)注的,其實(shí)是巧合背后的一些必然。

讓我們先回到 DeepSeek 架構(gòu)里的 Muon 。

楊植麟在 GTC 演講中講了一個(gè)技術(shù)困難:當(dāng) Kimi 把 Muon 擴(kuò)展到 1 萬(wàn)億參數(shù)時(shí),訓(xùn)練不穩(wěn)定性成了攔路虎。最大 logits 爆炸超過 1000,正常值只有 50 到 100。


損失先降后炸,根本無法收斂。他們的解法是 QK-Clip,對(duì)每個(gè)注意力頭計(jì)算最大 logit 的裁剪值,把查詢和鍵限制在合理范圍內(nèi)。訓(xùn)練損失不受影響,但穩(wěn)定性問題消失了。

K2 模型用這套技術(shù)完成了訓(xùn)練,創(chuàng)下機(jī)器學(xué)習(xí)史上最大規(guī)模 Muon 訓(xùn)練的紀(jì)錄。

而 DeepSeek V4 的技術(shù)報(bào)告里,Muon 被直接寫進(jìn)了訓(xùn)練方案。大多數(shù)模塊用 Muon 加速收斂,嵌入層和預(yù)測(cè)頭仍用 AdamW,混合使用。這是對(duì) Kimi 底層創(chuàng)新的一次直接引用。


反過來,Kimi K2 的底層架構(gòu)采用了 DeepSeek-V3 提出的 MLA。Multi-head Latent Attention,通過壓縮 KV 緩存大幅降低推理成本,是 V3 最核心的架構(gòu)創(chuàng)新之一。

你的論文成了我的基礎(chǔ)設(shè)施,我的創(chuàng)新成了你的底座。 寫在引用列表里的互相成就。

在硅谷,你很難看到這種事。OpenAI 和 Anthropic 之間的技術(shù)是「護(hù)城河」,能藏則藏。但 Kimi 和 DeepSeek 之間長(zhǎng)出了一種更原始也更健康的關(guān)系:開源社區(qū)里的正向循環(huán)

Kimi 和 DeepSeek 是中國(guó)首批開源萬(wàn)億參數(shù)模型的玩家,都相信 Scaling Law。技術(shù)路線上,DeepSeek 以推理模型見長(zhǎng),Kimi 以 Agent 能力著稱。

底層架構(gòu)上,兩家都在挑戰(zhàn)同一批「古老」的基礎(chǔ)設(shè)施。Kimi 發(fā)了「注意力殘差」論文,DeepSeek 做了 mHC 殘差連接,都在改 ResNet 時(shí)代留下來的殘差連接方式。

在長(zhǎng)文本這條線,Kimi 探索線性注意力(Kimi Linear),DeepSeek 探索稀疏注意力(DSA),殊途同歸。

所以當(dāng)它們撞車時(shí),與其說是巧合,不如說是對(duì)同一個(gè)方向的必然趨同。

用中國(guó)的芯片,跑中國(guó)的模型,對(duì)全世界開源

在 OpenRouter 上,Kimi 和 DeepSeek 穩(wěn)居中國(guó)模型調(diào)用量前兩名。

Cursor 接入了 Kimi,日本樂天 Rakuten AI 3.0 基于 DeepSeek 開發(fā)。被海外產(chǎn)品「套殼」這件事,放在兩年前是恥辱,現(xiàn)在是勛章。

Meta 新模型 Muse Spark 發(fā)布時(shí),官方 Blog 做的對(duì)比基準(zhǔn)線里,Kimi 和 DeepSeek 跟 GPT-4、Claude 并排站著。英偉達(dá) GTC 上,黃仁勛用來展示芯片性能的中國(guó)模型就是這兩家。

海外認(rèn)可之外,更值得注意的是國(guó)產(chǎn)芯片這條線。H20 芯片已斷供一年,高端推理芯片短期內(nèi)只有國(guó)產(chǎn)一個(gè)選項(xiàng)。兩家公司同時(shí)在做同一件事:讓中國(guó)模型跑在中國(guó)芯片上。


上周黃仁勛在播客訪談里說了一句話:「如果當(dāng)初 DeepSeek 先在華為平臺(tái)上發(fā)布,那對(duì)我們來說非??膳隆?/strong>」

今天,V4真的首發(fā)適配華為昇騰,工程團(tuán)隊(duì)把整個(gè)技術(shù)棧從 CUDA 遷移到了華為 CANN 框架,從算子庫(kù)到通信原語(yǔ)到內(nèi)存管理,V4 的混合注意力、MoE 專家并行、FP4 量化訓(xùn)練,幾乎每層從頭實(shí)現(xiàn)。寒武紀(jì)也在 Day 0 完成了 V4 全系列的 vLLM 推理適配,代碼已開源。

黃仁勛一語(yǔ)成讖。

而 Kimi 在國(guó)產(chǎn)芯片上走的路更早,也更深。為了給國(guó)產(chǎn)芯片「鋪路」,Kimi 在架構(gòu)創(chuàng)新上掏出了兩個(gè)殺手锏。

Kimi Linear 混合注意力架構(gòu)把線性注意力層與全注意力層以 7:1 配比混合,將 KV 緩存體積壓縮到極低水平。實(shí)測(cè)數(shù)據(jù)很直觀:32K 上下文下,混合架構(gòu)模型 KV 吞吐量?jī)H 4.66 Gbps,同規(guī)模稠密模型高達(dá) 59.93 Gbps。


KV 緩存?zhèn)鬏斝枨蟊粔旱搅似胀ㄒ蕴W(wǎng)可承載的范圍,RDMA 高速網(wǎng)絡(luò)從「必選項(xiàng)」變成了「可選項(xiàng)」。

在此基礎(chǔ)上,Kimi 聯(lián)合清華大學(xué)發(fā)布了 PrFaaS(預(yù)填充即服務(wù))論文,把推理的 Prefill 階段和 Decode 階段徹底解耦,調(diào)度到不同異構(gòu)硬件集群上。實(shí)測(cè)吞吐量提升 54%,首詞延遲降低 64%。

這套方案打破了「大模型推理必須綁定同一種高端 GPU」的前提:算力強(qiáng)的國(guó)產(chǎn)卡做 Prefill,帶寬強(qiáng)的國(guó)產(chǎn)卡做 Decode,各司其職。


DeepSeek 用 V4 證明了國(guó)產(chǎn)芯片能跑萬(wàn)億參數(shù)的旗艦?zāi)P停琄imi 用架構(gòu)創(chuàng)新證明了國(guó)產(chǎn)芯片可以跑得好、跑得省。

一個(gè)從工程適配切入,一個(gè)從架構(gòu)設(shè)計(jì)切入,終點(diǎn)都是同一個(gè):讓英偉達(dá)不再是唯一選項(xiàng)。

以前的國(guó)產(chǎn) AI 敘事是「用英偉達(dá)的卡,追 OpenAI 的模型」。現(xiàn)在這對(duì)雙子星同時(shí)在寫另一個(gè)劇本:用中國(guó)的芯片,跑中國(guó)的模型,服務(wù)全世界的開發(fā)者

你的 MLA 是我的基礎(chǔ),我的 Muon 是你的加速器

回看這一周AI 行業(yè)的瘋狂更新,我們已經(jīng)處在了一個(gè)新的轉(zhuǎn)折點(diǎn)。

同一周內(nèi),兩個(gè)中國(guó)團(tuán)隊(duì)各自發(fā)布了萬(wàn)億參數(shù)級(jí)開源模型,性能逼近甚至持平美國(guó)頂級(jí)閉源模型。這在一年前是不可想象的。

當(dāng)閉源模型的價(jià)格是開源模型的 50 倍,開源陣營(yíng)每隔幾個(gè)月就推出一個(gè)新的萬(wàn)億參數(shù)選手,競(jìng)爭(zhēng)天平正在發(fā)生微妙的傾斜。

這不是「贏了」或「超越」這么簡(jiǎn)單的勝負(fù)之分。閉源模型在復(fù)雜推理和系統(tǒng)可靠性上仍然有明顯優(yōu)勢(shì),Opus 4.6 的思考模式依然是 V4-Pro 追趕的目標(biāo)。但開源陣營(yíng)的速度、成本優(yōu)勢(shì)和生態(tài)覆蓋面,正在改變這場(chǎng)競(jìng)賽的規(guī)則本身。

除了這五次撞車發(fā)布,這兩家公司還有一個(gè)巧合。梁文鋒來自廣東湛江,楊植麟來自廣東汕頭。兩個(gè)廣東人,撐起全球開源 AI 半邊天。


梁文鋒像工程師哲學(xué)家,相信開源和底層創(chuàng)新,V4 發(fā)布公告結(jié)尾引的是荀子,「不誘于譽(yù),不恐于誹,率道而行,端然正己?!?/p>


至于楊植麟在我看來像產(chǎn)品科學(xué)家,他認(rèn)為用戶體驗(yàn)和技術(shù)突破可以兼得,在 K2.6 發(fā)布時(shí)他提到了 Linux 之父 Linus Torvalds 那句「Talk is cheap. Show me the code.」

一個(gè)古典,一個(gè)極客。就是這兩個(gè)風(fēng)格迥異的創(chuàng)始人,一起定位了中國(guó)開源模型在世界坐標(biāo)系的位置。

你的 MLA 是我的基礎(chǔ),我的 Muon 是你的加速器。這大概也是中國(guó)在能在短時(shí)間內(nèi)引領(lǐng)全球開源 AI 的重要原因之一。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
博士再讀碩士,本科回爐技校,純屬病急亂投醫(yī)

博士再讀碩士,本科回爐技校,純屬病急亂投醫(yī)

賽格大道
2026-04-22 12:45:46
48歲楊樂樂節(jié)目落淚:后悔放棄事業(yè)全職帶娃,不快樂汪涵還不理解

48歲楊樂樂節(jié)目落淚:后悔放棄事業(yè)全職帶娃,不快樂汪涵還不理解

人間煙火記事本
2026-04-24 07:30:23
“磨膝大戶”被公布,是跑步的20倍,醫(yī)生:不想軟骨磨光,早扔掉

“磨膝大戶”被公布,是跑步的20倍,醫(yī)生:不想軟骨磨光,早扔掉

垚垚分享健康
2026-04-19 14:35:09
北京車展名場(chǎng)面:雷軍打卡蔚來展臺(tái) 李斌聞?dòng)嵰宦沸∨苴s來

北京車展名場(chǎng)面:雷軍打卡蔚來展臺(tái) 李斌聞?dòng)嵰宦沸∨苴s來

快科技
2026-04-24 20:54:03
穆鐵柱的最后一天:在家中蹬自行車健身,突然兩眼一黑癱倒在地

穆鐵柱的最后一天:在家中蹬自行車健身,突然兩眼一黑癱倒在地

大運(yùn)河時(shí)空
2026-04-21 16:30:03
一聲巨響,寶馬車突然墜落側(cè)翻,四腳朝天!事發(fā)杭州一立體車庫(kù)

一聲巨響,寶馬車突然墜落側(cè)翻,四腳朝天!事發(fā)杭州一立體車庫(kù)

都市快報(bào)橙柿互動(dòng)
2026-04-24 20:00:02
饒毅:中國(guó)產(chǎn)出的科學(xué)垃圾,絕對(duì)數(shù)量和比例都世界第一

饒毅:中國(guó)產(chǎn)出的科學(xué)垃圾,絕對(duì)數(shù)量和比例都世界第一

生物學(xué)霸
2026-03-29 17:09:59
曾凡博復(fù)出暴走后采訪!直指沒好,疼痛感明顯,談季后賽表達(dá)態(tài)度

曾凡博復(fù)出暴走后采訪!直指沒好,疼痛感明顯,談季后賽表達(dá)態(tài)度

籃球資訊達(dá)人
2026-04-25 02:39:40
傅聰正告以色列:違反國(guó)際法的行為,立即停止!

傅聰正告以色列:違反國(guó)際法的行為,立即停止!

看看新聞Knews
2026-04-23 10:32:04
凈利狂飆123%!10股送10股!這家輪胎“小巨人”爆量發(fā)紅包

凈利狂飆123%!10股送10股!這家輪胎“小巨人”爆量發(fā)紅包

輪胎報(bào)官方
2026-04-24 20:24:23
張文宏談長(zhǎng)壽:決定壽命的不一定是基因!做好4件事,活100歲也不稀奇

張文宏談長(zhǎng)壽:決定壽命的不一定是基因!做好4件事,活100歲也不稀奇

人民日?qǐng)?bào)健康客戶端
2026-04-24 07:37:43
播放量破5億,孫楊和張豆豆這一吵,讓芒果這檔新綜藝徹底封神了

播放量破5億,孫楊和張豆豆這一吵,讓芒果這檔新綜藝徹底封神了

糊咖娛樂
2026-04-24 11:47:38
5月1日起,3萬(wàn)塊就能把老板送進(jìn)去,不明財(cái)產(chǎn)門檻卻漲到了300萬(wàn)!

5月1日起,3萬(wàn)塊就能把老板送進(jìn)去,不明財(cái)產(chǎn)門檻卻漲到了300萬(wàn)!

今朝牛馬
2026-04-23 23:23:59
世錦賽戰(zhàn)報(bào):世界冠軍1勝2平1落后!7-9爆大冷預(yù)警,趙心童暫4-4

世錦賽戰(zhàn)報(bào):世界冠軍1勝2平1落后!7-9爆大冷預(yù)警,趙心童暫4-4

小火箭愛體育
2026-04-25 01:00:22
男性160-188cm標(biāo)準(zhǔn)體重對(duì)照表,看完發(fā)現(xiàn)自己并不胖,不用減肥!

男性160-188cm標(biāo)準(zhǔn)體重對(duì)照表,看完發(fā)現(xiàn)自己并不胖,不用減肥!

健身狂人
2026-04-25 04:24:32
陳天橋、代季峰矛盾激化

陳天橋、代季峰矛盾激化

第一財(cái)經(jīng)資訊
2026-04-24 22:25:13
中美聯(lián)合國(guó)激烈交鋒,美逼中國(guó)買單,中方拒絕接受,對(duì)美反將一軍

中美聯(lián)合國(guó)激烈交鋒,美逼中國(guó)買單,中方拒絕接受,對(duì)美反將一軍

南宗歷史
2026-04-23 15:52:11
2026了,《穿普拉達(dá)的女王2》華裔角色竟然叫這名,日韓網(wǎng)民怒了

2026了,《穿普拉達(dá)的女王2》華裔角色竟然叫這名,日韓網(wǎng)民怒了

觀察者網(wǎng)
2026-04-24 20:06:36
掘金再輸森林狼自討苦吃!湖人收獲1喜1憂,G3該他為詹姆斯分憂了

掘金再輸森林狼自討苦吃!湖人收獲1喜1憂,G3該他為詹姆斯分憂了

小路看球
2026-04-24 14:38:15
大開眼界,以色列大使當(dāng)眾質(zhì)問:中國(guó)憑啥能過海峽?現(xiàn)場(chǎng)沒人理他

大開眼界,以色列大使當(dāng)眾質(zhì)問:中國(guó)憑啥能過海峽?現(xiàn)場(chǎng)沒人理他

抱明月而長(zhǎng)終指
2026-04-23 15:40:29
2026-04-25 05:51:00
愛范兒 incentive-icons
愛范兒
消費(fèi)科技第一媒體
38763文章數(shù) 2601556關(guān)注度
往期回顧 全部

科技要聞

DeepSeek V4牽手華為,價(jià)格依然"屠夫級(jí)"

頭條要聞

航班提前起飛10分鐘 大學(xué)生把海航告了

頭條要聞

航班提前起飛10分鐘 大學(xué)生把海航告了

體育要聞

上海男籃23連勝+主場(chǎng)全勝 姚明之后最強(qiáng)一季

娛樂要聞

停工16個(gè)月!趙露思證實(shí)接拍新劇

財(cái)經(jīng)要聞

LG財(cái)閥內(nèi)斗:百億美元商業(yè)帝國(guó)爭(zhēng)奪戰(zhàn)

汽車要聞

零跑Lafa5 Ultra北京車展上市:11.88-12.48萬(wàn)

態(tài)度原創(chuàng)

房產(chǎn)
旅游
教育
健康
數(shù)碼

房產(chǎn)要聞

新一輪教育大爆發(fā)來了!海口,開始瘋狂建學(xué)校!

旅游要聞

朔州崇福寺:金代遺構(gòu),塞北千年佛殿

教育要聞

高考地理|各種地形圖知識(shí)點(diǎn)總結(jié)大全

干細(xì)胞如何讓燒燙傷皮膚"再生"?

數(shù)碼要聞

蘋果繼續(xù)拓展賽道!換帥后將進(jìn)軍新品類?

無障礙瀏覽 進(jìn)入關(guān)懷版