• ? 海外的模型廠商有足夠多的頂級(jí) GPU，可以靠堆算力的方式來直接處理信息。國內(nèi)算力受限，必須在模型的底層設(shè)計(jì)上想辦法，以彌補(bǔ)硬件差距。 「中國的廠商，在資源有限的情況下，不得不去做這些架構(gòu)優(yōu)化」

• ? Transformer 模型在處理長文本時(shí)，有一個(gè)叫 Attention（注意力機(jī)制）的核心模塊。它的作用是讓模型在生成每一個(gè)字的時(shí)候「回頭看」前面所有內(nèi)容。文本越長，回頭看的計(jì)算量越大，增長速度是平方級(jí)的。百靈把大部分 Attention 層替換成了計(jì)算量更低的線性版本，但剩下沒替換的那一小部分，仍然在超長上下文處理時(shí)吃掉了總算力的六成以上。 「成本，60% 都花在這了」

• ? 很多的模型評(píng)測都是單項(xiàng)考試，并不能很好的指導(dǎo)模型發(fā)展，比如：搜索能力單獨(dú)考，寫代碼能力單獨(dú)考。但真實(shí)工作從來都是混著來的。程序員寫代碼寫到一半卡住了，去搜一下，找到思路回來接著寫，但很可惜，對(duì)于這種情況， 「目前沒有任何一個(gè) benchmark，能同時(shí)測好兩件事」

• ? 模型在變小，能力在變強(qiáng)。目前實(shí)際的預(yù)訓(xùn)練實(shí)驗(yàn)觀察就是，不到一年時(shí)間，一個(gè)不到200B總參數(shù)的模型，效果就可以超過萬億參數(shù)的模型。但對(duì)于正在做 Agent、做應(yīng)用的團(tuán)隊(duì)來說，等不了這一年。 「一年之后 200B 模型，能打贏今天的 1T。但一年時(shí)間，很多公司已經(jīng)活不了了」

以上內(nèi)容，來自我和零幺的對(duì)話，他在螞蟻負(fù)責(zé)語言基座模型的訓(xùn)練

本篇?dú)w屬「賽博史記 · 煉丹者列傳」，以對(duì)話來記錄每個(gè)知名大模型背后的人，以及他們每天需要面對(duì)的問題： 中國模型，算力有限的情況下，要如何開展工作、產(chǎn)品和模型之間的能力應(yīng)該怎么對(duì)齊，哪些技術(shù)賭注現(xiàn)在就要下

在這個(gè)混亂的時(shí)代里，讓我們看看，這些人的有著怎樣的洞察，以及正在作出怎樣的判斷

零幺，螞蟻的語言基座模型的負(fù)責(zé)人

他是螞蟻集團(tuán)基礎(chǔ)智能部技術(shù)總監(jiān)，負(fù)責(zé)百靈的基座訓(xùn)練。但他以前從來沒做過 NLP，讀書到工作都在做圖機(jī)器學(xué)習(xí)，2024 年初才轉(zhuǎn)行，開始搞語言模型

一個(gè)從沒碰過 NLP 的人，兩年不到做到了國內(nèi)頭部模型的負(fù)責(zé)人

我以為他會(huì)說些什么關(guān)于天賦或者機(jī)緣的話，結(jié)果他說：
大家想干都可以轉(zhuǎn)，這個(gè)行業(yè)，是向所有人開放的

2026 年 2 月，百靈發(fā)布了 2.5 系列，包括一個(gè)萬億參數(shù)的即時(shí)模型 Ling-2.5-1T 和一個(gè)萬億參數(shù)的思考模型 Ring-2.5-1T。全部開源，1T 總參 63B 激活，原生 256K 上下文窗口，外推支持 1M

在國內(nèi)開源界，近兩年中，百靈也是除 Kimi 以外唯一發(fā)布過萬億參數(shù)規(guī)模模型的廠商

我們聊了將近兩小時(shí)，然后我發(fā)現(xiàn)：零幺說話的方式不太一樣，他很少講愿景，幾乎不用形容詞，大部分時(shí)間在報(bào)數(shù)字和做判斷。聊到架構(gòu)選擇、評(píng)測盲區(qū)、產(chǎn)品協(xié)作這些話題時(shí)，他給出的都是具體方案

以下內(nèi)容，基于我們的對(duì)談

兩條路線

國內(nèi)和海外的模型廠商，在處理 Attention（注意力機(jī)制）這件事上，走了兩條完全不同的路。海外靠算力硬撐，用標(biāo)準(zhǔn)的 Full Attention 讓模型每次完整看一遍所有內(nèi)容；國內(nèi)算力受限，必須在架構(gòu)創(chuàng)新，要用線性化、稀疏化等方式降低 Attention 的計(jì)算量

先解釋一下 Attention 在做什么。大語言模型在生成每一個(gè)字的時(shí)候，需要「回頭看」前面所有已經(jīng)輸入和生成的內(nèi)容，決定哪些跟當(dāng)前要生成的字最相關(guān)。這個(gè)過程就是 Attention 在做的事。文章越長，回頭看的范圍越大，計(jì)算量增長是平方級(jí)的：長度翻倍，計(jì)算量大約翻四倍

海外廠商用的 Full Attention 效果好，穩(wěn)定，就是費(fèi)算力。但 Google、OpenAI、Anthropic 有足夠的頂級(jí) GPU，撐得住

國內(nèi)的情況不一樣。2022 年美國芯片出口管制升級(jí)后，國內(nèi)能拿到的最好 GPU 是 H800，計(jì)算能力跟英偉達(dá)旗艦 H100 一樣，但芯片之間的通信帶寬從 900GB/s 砍到了 400GB/s，多張 GPU 協(xié)同工作時(shí)效率直接打了折。同樣的訓(xùn)練任務(wù)，必須用更聰明的方式完成

在這個(gè)約束下，國內(nèi)廠商做了兩件海外幾乎不做的事

第一件：MoE 的極致稀疏化。 MoE（混合專家模型）的原理是：模型雖然有一萬億個(gè)參數(shù)，但每次只讓其中一小部分參數(shù)「上場」干活�？倕�(shù)大，知識(shí)儲(chǔ)備多，但實(shí)際消耗的算力很小

國內(nèi)把這個(gè)思路推到了極致。DeepSeek 和百靈做到 256 個(gè)專家激活 8 個(gè)，Kimi K2 做到 384 個(gè)專家激活 8 個(gè)，千問 3.5 最激進(jìn)，512 個(gè)專家激活 10 個(gè)。但是海外的話，大多不會(huì)采用極度稀疏和細(xì)粒度的混合專家方案，稀疏度差了一個(gè)數(shù)量級(jí)

第二件：給 Attention 動(dòng)手術(shù)。 Full Attention 在長文本下成本太高，國內(nèi)廠商想辦法降低這個(gè)成本，目前形成了三條路線：

線性化。 把 Attention 的計(jì)算量從平方級(jí)降到線性級(jí)。MiniMax 走得最早也最激進(jìn)，MiniMax-Text-01 每 8 層中 7 層用 Lightning Attention（線性注意力），只留 1 層標(biāo)準(zhǔn) Attention，訓(xùn)練窗口 100 萬 token，推理外推到 400 萬。百靈 2.5 也是 1:7 的混合比例。千問同樣在 Linear Attention 方向持續(xù)投入

稀疏化。 保留標(biāo)準(zhǔn) Attention，但讓模型學(xué)會(huì)「跳著看」，只關(guān)注最重要的內(nèi)容。DeepSeek V3.2 和 GLM-5 走的是這條路，兩者都采用了 DSA 架構(gòu)

做減法。 Kimi K2 旗艦?zāi)Ｐ蜎]有換 Attention 機(jī)制，而是把注意力頭從 128 個(gè)砍到 64 個(gè)。團(tuán)隊(duì)發(fā)現(xiàn)翻倍的注意力頭在 128K 上下文時(shí)多消耗 83% 算力，性價(jià)比太低，直接砍半

不過 Kimi 后來也單獨(dú)出了一個(gè)探索性質(zhì)的 Kimi Linear 小模型（48B），用 3:1 混合注意力，說明線性化方向他們也在看

總結(jié)下，大概是這樣 - MiniMax、百靈、千問 all-in 線性化； - DeepSeek、GLM 走稀疏化； - Kimi 靠 MoE 高稀疏加 MLA 壓縮來省算力，Attention 機(jī)制本身暫時(shí)不大改 MoE 方面基本是共識(shí)，大家都在往極致稀疏推

這些路線看起來各有各的選擇，但零幺認(rèn)為背后只有一個(gè)驅(qū)動(dòng)力：
「如果你給我 100 萬張 H100，我也會(huì)做海外那個(gè)選擇」

Full Attention 效果穩(wěn)定，架構(gòu)非常成熟，就是費(fèi)算力，算力夠用的話沒人愿意折騰架構(gòu)。線性化、稀疏化、砍注意力頭，本質(zhì)是同一個(gè)約束條件逼出來的

DeepSeek 訓(xùn) V3 用了 2048 張 H800，278 萬 GPU 小時(shí)。Meta 訓(xùn) Llama 3 405B 花了 3080 萬 GPU 小時(shí)，11 倍于 DeepSeek

「中國的廠商，在資源有限的情況下，你不得不去做這件事情」

而這些為了省算力做的架構(gòu)改造，恰好撞上了 Agent 時(shí)代最核心的需求

60% 的計(jì)算成本

百靈 2.5 的 80 層網(wǎng)絡(luò)里，已經(jīng)把 72 層換成了線性注意力，只留了 8 層標(biāo)準(zhǔn)注意力（MLA）。對(duì)此，零幺補(bǔ)充到：上下文到 256K 以上時(shí)，那僅有的 8 層 MLA，占了總計(jì)算成本的 60% 以上

為什么 8 層就能吃掉 60%？因?yàn)?Agent 場景下上下文會(huì)變得非常長。人問一句、模型回一段，上下文可能就幾千字。但 Agent 執(zhí)行任務(wù)的時(shí)候，中間不斷地搜索、讀文檔、寫代碼、看結(jié)果、再搜索，每一輪的輸入輸出都在堆積。一個(gè) coding agent 連續(xù)工作幾個(gè)小時(shí)，上下文輕松突破 32K，到 128K、256K

上下文越長，標(biāo)準(zhǔn) Attention 的計(jì)算量膨脹越快（平方級(jí)增長），而線性注意力只是線性增長。所以到了長上下文場景，那 8 層標(biāo)準(zhǔn)注意力雖然數(shù)量少，成本卻遠(yuǎn)遠(yuǎn)超過了 72 層線性注意力

在這一方面，百靈 2.5 用的是 1:7 混合比例（每 8 層里 1 層 MLA + 7 層 Lightning Linear Attention）。零幺說他們專門跑了一輪 Scaling Law 實(shí)驗(yàn)，在不同混合比例下對(duì)比效果和效率的曲線，最后收斂到 1:7。百靈下一輪架構(gòu)升級(jí)要解決的，還是這 60%

「國內(nèi)大部分模型，要么在稀疏化上走得遠(yuǎn)，要么在線性化上走得遠(yuǎn)。否則會(huì)被效率打掉」

在效率和效果的優(yōu)先級(jí)上，零幺給了一個(gè)跟行業(yè)主流不同的判斷：「大家更直觀的感受上，最大的挑戰(zhàn)在效果側(cè)。但在我的認(rèn)知里面，效果和效率是同等重要的」

行業(yè)里大部分聲音，會(huì)說模型能力還不夠強(qiáng)，要繼續(xù)提升效果，但可能也需要算一筆賬：當(dāng)資源有限、但 Agent 需求過剩的時(shí)候，效率就會(huì)變成生死問題

效果不夠強(qiáng)，還能用；但總是響應(yīng)超時(shí)，那就沒有后續(xù)了

在這里，零幺有個(gè)核心判斷：架構(gòu)本身不決定效果，但架構(gòu)決定效率，而迭代效率最終決定模型效果。用更老的架構(gòu)，你有足夠算力同樣能做出好模型——問題是國內(nèi)沒有那個(gè)算力

Benchmark 高分，手感差

模型評(píng)測分?jǐn)?shù)很高，真上手用卻覺得哪里不對(duì)勁

我把這個(gè)問題丟給了零幺，他則給了我一個(gè)很具體的原因：現(xiàn)在所有 benchmark 都是單項(xiàng)考試，搜索能力單獨(dú)考，寫代碼能力單獨(dú)考。但真實(shí)工作從來并非如此，幾個(gè)工具要同時(shí)用、來回切換，而目前沒有任何評(píng)測在測這個(gè)

大多數(shù)程序員日常工作時(shí)同時(shí)在用好幾個(gè)工具，寫代碼卡住了去搜一下，找到思路回來接著寫，寫完跑測試，報(bào)錯(cuò)了再查文檔。幾個(gè)工具來回切換。但 Terminal Bench 測命令行操作，里面沒有搜索；Agent Search benchmark 測搜索能力，里面沒有 coding 環(huán)境。每個(gè)維度單獨(dú)測分都不低

「你讓模型單獨(dú)搜索它會(huì)，單獨(dú)寫代碼它也會(huì)。但你讓它邊搜邊寫，就崩了」

我自己評(píng)估模型的時(shí)候，也會(huì)看 coding 分?jǐn)?shù)、math 分?jǐn)?shù)、instruction following 分?jǐn)?shù)。但如果一個(gè)模型搜索強(qiáng)、編碼也強(qiáng)，就是沒法同時(shí)調(diào)兩個(gè)工具配合干活，那這些單項(xiàng)分?jǐn)?shù)就要打折

零幺給這個(gè)方向起了個(gè)名字，叫 production research：去觀察真正在生產(chǎn)環(huán)境里工作的人是怎么干活的，基于這些真實(shí)模式去設(shè)計(jì)評(píng)測和訓(xùn)練數(shù)據(jù)

我問：你覺得有哪些 Benchmark 是被低估了嗎？
回答：GAIA2，相比一些其他榜單，GAIA2 可能更接近真實(shí) Agent 場景，允許 Agent 異步執(zhí)行多個(gè)有依賴關(guān)系的任務(wù)。做這個(gè) benchmark 的團(tuán)隊(duì)據(jù)說已經(jīng)解散了，代碼有 bug 沒人維護(hù)。覺得這個(gè)方向?qū)�，就讓百靈團(tuán)隊(duì)自己把 bug 修了，拿來做內(nèi)部評(píng)估

我當(dāng)時(shí)嘆了聲牛逼...判斷方向是對(duì)的，就動(dòng)手補(bǔ)上缺的東西

聊到 Claude Code 為什么在多工具協(xié)同上表現(xiàn)好，零幺幫我分析了 Anthropic 的做法，認(rèn)為一個(gè)重要原因是他們確實(shí)在做 production research，收集了大量真實(shí)工程師的工作模式來指導(dǎo)訓(xùn)練

「這個(gè)事，靠的說投入和耐心，不單單是聰明」，以及...被嚴(yán)重低估的，是「多工具協(xié)同」這整個(gè)能力維度

松耦合

螞蟻內(nèi)部，產(chǎn)品團(tuán)隊(duì)和基模團(tuán)隊(duì)的關(guān)系是：松耦合

產(chǎn)品團(tuán)隊(duì)提前半年給出未來想要什么能力，基模團(tuán)隊(duì)從中選擇能做且應(yīng)該做的，兩邊在一個(gè)「池子」里找交集，各自保留各自的判斷

我問：如果兩年后螞蟻的模型大獲成功，它能占據(jù)的心智可能是什么？
回答到：專業(yè)服務(wù)業(yè)

這也是螞蟻的固有心智：從支付延伸到金融、醫(yī)療、生活服務(wù)，都是專業(yè)服務(wù)業(yè)，行業(yè)門檻高，專業(yè)從業(yè)者稀缺

普通人享受不到好的金融服務(wù)，社區(qū)醫(yī)生水平有限所以大家都去三甲，搜索引擎查個(gè)癥狀小毛病看著像絕癥。AI 如果能降低這些服務(wù)的門檻，就是螞蟻?zhàn)龌５闹c(diǎn)

具體是這樣運(yùn)作的：靈光（螞蟻的 C 端 AI 產(chǎn)品）團(tuán)隊(duì)提前半年做一個(gè) demo 視頻，里面可能有十幾個(gè)設(shè)想中的功能。百靈團(tuán)隊(duì)看完之后，判斷哪些能做、哪些三個(gè)月能出、哪些一年后還做不出來，從中 pick 一些去推進(jìn)

一個(gè)例子：2025 年 2～3 月時(shí)，國內(nèi)所有模型都生成不了好看的 HTML 頁面，只有 Claude 能做到。靈光團(tuán)隊(duì)則評(píng)估這個(gè)很重要，就放進(jìn)需求池。百靈在 2.0 版本訓(xùn)練中就開始強(qiáng)化 HTML 生成。等靈光產(chǎn)品上線時(shí)，能力已經(jīng)準(zhǔn)備好了

零幺說：Google 內(nèi)部也是類似模式，3～6 個(gè)月為周期收集產(chǎn)品需求

一年和一年

模型在變小，能力在變強(qiáng)，一年后，一個(gè) 200B 的模型，就能打贏今天的 1T

這里可能不是判斷了，我們實(shí)際在訓(xùn)練中的模型就能看到這個(gè)趨勢了。類似摩爾定律，對(duì)基模目前可能是不到一年，同等能力對(duì)應(yīng)的規(guī)模就可能可以壓縮一個(gè)數(shù)量級(jí)

但做 Agent、做應(yīng)用的團(tuán)隊(duì)等不了這一年

同一個(gè)「一年」，對(duì)模型廠商是技術(shù)迭代的周期，對(duì)應(yīng)用公司是生死存亡的倒計(jì)時(shí)

千問 3.5 已經(jīng)在驗(yàn)證這個(gè)趨勢，397B 總參 17B 激活，在不少維度上打贏了上一代萬億參數(shù)模型。GLM-5 用 744B 總參 40B 激活拿到了 a16z 所說的「最好的開源模型」

在模型訓(xùn)練中，零幺跟我講了一個(gè)他認(rèn)為被嚴(yán)重低估的問題：過程獎(jiǎng)勵(lì)

現(xiàn)在主流做法是 Agent 跑完整個(gè)任務(wù)后，看最終結(jié)果給一個(gè)獎(jiǎng)勵(lì)信號(hào)。但如果 Agent 連續(xù)跑幾個(gè)小時(shí)，中間幾十上百步操作，最后才給一個(gè)「對(duì)」或「錯(cuò)」，信號(hào)太稀疏，模型很難從中學(xué)到東西

百靈 2.5 在數(shù)學(xué)證明題上的進(jìn)步，零幺認(rèn)為很大程度來自逐步驗(yàn)證：每一步推導(dǎo)都檢查對(duì)錯(cuò)，整個(gè)過程就是結(jié)果。這跟 Agent 場景的需求結(jié)構(gòu)一樣：長程執(zhí)行，中間每一步都需要反饋

同時(shí)，他也很坦率地告訴我說，Agent 的過程獎(jiǎng)勵(lì)怎么做，目前沒有成熟方案�！溉绻茉谶@個(gè)位置找到更好的想法，整個(gè) Agent 訓(xùn)練的效率會(huì)提一截」。

我發(fā)現(xiàn)，在聊到?jīng)]解決的問題時(shí)，零幺反而說得更細(xì)

關(guān)于思考模型和即時(shí)模型，零幺表示：各家現(xiàn)在優(yōu)先卷思考模型，因?yàn)楦荏w現(xiàn) AGI 上限，benchmark 卷得更猛。代價(jià)是即時(shí)模型被普遍忽視

「你會(huì)發(fā)現(xiàn)各家現(xiàn)在對(duì)應(yīng)的非思考模型，能力就偏弱了」

長遠(yuǎn)看一定會(huì)合到一起。但現(xiàn)階段分開做是也是合理的：兩種模型的上限還沒探清楚，合在一起反而會(huì)互相拖累

聊到最后，我們還說了件小事：這次百靈 2.5 的官方發(fā)布稿，是零幺用百靈 1T 模型寫的

「以前用 xxx 模型寫文檔，會(huì)蹦出來一堆很科幻的詞語，每次都要大改。這次用百靈寫，很多直接就可以用了」

我問：覺得百靈 2.5 寫出來的東西，具體好在哪
他想了想說：像一篇正常的文章，而不像一篇玄幻小說了