近期，DeepTech 密集報(bào)道了一系列 AI 在具體場(chǎng)景中落地的新突破。在曼哈頓，一位耶魯畢業(yè)的律師借助 Claude，僅用兩小時(shí)便完成了傳統(tǒng)中型律所團(tuán)隊(duì)通宵才能交付的并購(gòu)提案；一位從未寫(xiě)過(guò)代碼的管道工程師利用 AI 工具分析診斷數(shù)據(jù)，在幾分鐘內(nèi)鎖定了復(fù)雜管道網(wǎng)絡(luò)的故障源，而過(guò)去這通常需要高級(jí)工程師上門(mén)勘測(cè)數(shù)日；與此同時(shí)，開(kāi)源 AI 智能體項(xiàng)目 OpenClaw 繼續(xù)以“人類(lèi)歷史上增長(zhǎng)最快的開(kāi)源項(xiàng)目”之勢(shì)席卷全球，幫助不同行業(yè)的從業(yè)者實(shí)現(xiàn)了更復(fù)雜的 Agent 功能。

這些故事的共同點(diǎn)顯而易見(jiàn)：AI 正在抹平團(tuán)隊(duì)與個(gè)體之間的產(chǎn)能鴻溝，“一人公司”（One Person Company）不再是愿景，而是觸手可及的現(xiàn)實(shí)。

然而，幾乎每一條案例的評(píng)論區(qū)，都出現(xiàn)了同一種聲音：“他們做到這些究竟燒掉了多少 token？”

是的，效率的躍升并非毫無(wú)代價(jià)。作為大語(yǔ)言模型處理信息的最小單位，AI 在具體場(chǎng)景中施展拳腳，離不開(kāi)海量 token 的消耗。陶哲軒在用 AI 輔助破解數(shù)學(xué)難題時(shí)，首次嘗試便因消耗過(guò)量 Token 導(dǎo)致本地算力崩潰；據(jù)報(bào)道，OpenAI 工程師團(tuán)隊(duì)一周處理的 token 量高達(dá) 2,100 億，相當(dāng)于復(fù)寫(xiě) 33 遍維基百科；而一些 OpenClaw 的重度用戶(hù)曬出的算力賬單更是驚人，月支出從數(shù)千美元到數(shù)萬(wàn)美元不等。

與此同時(shí)，企業(yè)界也開(kāi)始重新審視 token 的稀缺性與戰(zhàn)略?xún)r(jià)值。黃仁勛在近期 GTC 大會(huì)上提出了“token 經(jīng)濟(jì)學(xué)”的概念，他認(rèn)為數(shù)據(jù)中心正在演變?yōu)樯a(chǎn) token 的“AI 工廠”，token 需要根據(jù)相應(yīng)的標(biāo)準(zhǔn)進(jìn)行分層定價(jià)供給。同時(shí)，token 將成為繼工資、獎(jiǎng)金、期權(quán)之后的“第四種薪酬”。在硅谷，工程師的身價(jià)評(píng)估體系也正在被呼吁重構(gòu)，其中一項(xiàng)重要標(biāo)準(zhǔn)就是看他能高效調(diào)用多少 token。

token，這個(gè)曾經(jīng)位于技術(shù)文檔底部的計(jì)量單位，正在躍升為 AI 時(shí)代的新貨幣。它既是生產(chǎn)力的燃料，也是稀缺資源的象征；它既是個(gè)體實(shí)現(xiàn)能力躍遷的杠桿，也可能成為新的數(shù)字鴻溝。

為了更深入地解讀 token 在 AI 時(shí)代的全新意義，我們邀請(qǐng)了上海交通大學(xué)副教授、無(wú)問(wèn)芯穹聯(lián)合創(chuàng)始人戴國(guó)浩進(jìn)行了一次深度對(duì)話(huà)。他長(zhǎng)期致力于稀疏計(jì)算與軟硬件協(xié)同設(shè)計(jì)方向，研究?jī)?nèi)容包括結(jié)構(gòu)化稀疏方法、動(dòng)態(tài)編譯策略與細(xì)粒度并行架構(gòu)，從而在有限硬件條件下提升算力表現(xiàn)。戴國(guó)浩也是 2024 年《麻省理工科技評(píng)論》“35 歲以下科技創(chuàng)新 35 人”中國(guó)入選者。

我們圍繞 token 從技術(shù)參數(shù)向經(jīng)濟(jì)變量轉(zhuǎn)化的內(nèi)在邏輯、底層算力效率的優(yōu)化路徑，也對(duì)在個(gè)人層面如何更高效地使用 token 展開(kāi)了討論。

以下是對(duì)話(huà)內(nèi)容：

DeepTech：token 作為一個(gè)概念，過(guò)去幾年主要出現(xiàn)在技術(shù)討論中，例如推理成本、模型定價(jià)。但最近它開(kāi)始出現(xiàn)在薪酬談判和企業(yè)預(yù)算里。在你看來(lái)，token 從一個(gè)技術(shù)參數(shù)變成一個(gè)經(jīng)濟(jì)變量，這個(gè)轉(zhuǎn)變的背后發(fā)生了什么？

戴國(guó)浩：我認(rèn)為最根本的原因在于模型的智能化水平已經(jīng)達(dá)到了“可用”的階段。

如果以 2022 年底 ChatGPT 的發(fā)布為起點(diǎn)，到現(xiàn)在大約三年多時(shí)間。當(dāng)時(shí)的模型更多還是一個(gè)對(duì)話(huà)系統(tǒng)，雖然具備一定的智能，可以進(jìn)行自然語(yǔ)言交互，但很難真正嵌入到生產(chǎn)流程中，也無(wú)法直接轉(zhuǎn)化為生產(chǎn)力。

而現(xiàn)在，一個(gè)關(guān)鍵變化在于模型已經(jīng)具備完成實(shí)際任務(wù)的能力。也就是說(shuō)，當(dāng)用戶(hù)獲得一定的 token 配額后，不再只是與模型進(jìn)行對(duì)話(huà)，而是可以通過(guò)模型完成具體工作。這種能力的轉(zhuǎn)變，使得 token 不再只是一個(gè)技術(shù)層面的計(jì)量單位，而是成為可以直接對(duì)應(yīng)生產(chǎn)結(jié)果的資源。

因此，token 從技術(shù)參數(shù)演變?yōu)榻?jīng)濟(jì)變量，本質(zhì)上是由模型能力和整體智能水平的提升所驅(qū)動(dòng)的。

DeepTech：從理論上看，模型能力的提升通常會(huì)帶來(lái)單位 token 成本的下降。但在現(xiàn)實(shí)中，我們看到不少云廠商選擇上調(diào)價(jià)格。同時(shí)，隨著像 OpenClaw 這類(lèi)智能體應(yīng)用的興起，越來(lái)越多用戶(hù)開(kāi)始感受到高額 token 消耗所帶來(lái)的成本壓力。

你如何看待這種看似矛盾的現(xiàn)象？其背后是供需關(guān)系的變化，還是推理成本結(jié)構(gòu)發(fā)生了改變，或是其他因素在起作用？

戴國(guó)浩：我剛才提到模型能力的提升，這實(shí)際上意味著“單個(gè) token 的能力”在增強(qiáng)。

如果從經(jīng)濟(jì)角度來(lái)理解，可以將其放入一個(gè)更完整的價(jià)值轉(zhuǎn)化鏈條中來(lái)看。之所以很多人將 AI 視為“第四次工業(yè)革命”，本質(zhì)上是因?yàn)槊恳淮喂I(yè)革命，都是通過(guò)某種關(guān)鍵技術(shù)，創(chuàng)造出新的生產(chǎn)力形式。而所有生產(chǎn)力的核心，都是將輸入價(jià)值轉(zhuǎn)化為輸出價(jià)值。

在傳統(tǒng)工業(yè)體系中，例如蒸汽機(jī)或發(fā)電機(jī)，提供的是動(dòng)力或電力，用于將原始物料加工為具有經(jīng)濟(jì)價(jià)值的產(chǎn)品。而在這一輪 AI 變革中，模型能力的提升，使其本身也成為一種新的價(jià)值轉(zhuǎn)換機(jī)制。

如果將這一過(guò)程拆解，可以得到一個(gè)相對(duì)清晰的鏈條：

輸入價(jià)值→①→電能→②→token→③→生產(chǎn)力→④→輸出價(jià)值

其中①是供電體系，②是芯片和系統(tǒng)，③是模型和算法，④是社會(huì)評(píng)價(jià)體系

輸入價(jià)值首先是轉(zhuǎn)化為電能，然后電能通過(guò)芯片與計(jì)算系統(tǒng)轉(zhuǎn)化為算力，算力進(jìn)一步轉(zhuǎn)化為 token，最后 token 再通過(guò)模型轉(zhuǎn)化為生產(chǎn)力；最終，這些生產(chǎn)力通過(guò)社會(huì)評(píng)價(jià)體系（例如代碼、文本內(nèi)容等）被賦予具體的經(jīng)濟(jì)價(jià)值。

在這個(gè)鏈條中，token 是一個(gè)關(guān)鍵中間環(huán)節(jié)。隨著模型能力的提升，“token 到生產(chǎn)力”的轉(zhuǎn)化效率顯著提高。換句話(huà)說(shuō)，每一個(gè) token 所能承載和釋放的價(jià)值變得更高。

這也解釋了為什么 token 會(huì)具備經(jīng)濟(jì)屬性?？梢灶?lèi)比為企業(yè)為員工配備工具：之所以配備計(jì)算機(jī)，是因?yàn)樗軌蛱嵘a(chǎn)力，而不是提供一個(gè)沒(méi)有實(shí)際用途的工具。同理，當(dāng) token 能夠直接驅(qū)動(dòng)生產(chǎn)時(shí)，它自然會(huì)被納入經(jīng)濟(jì)體系。

另一方面，“成本下降”更多發(fā)生在“電能到 token”的階段，也就是算力效率的提升，例如硬件優(yōu)化或系統(tǒng)效率提升。而“token 到生產(chǎn)力”的價(jià)值轉(zhuǎn)化，則屬于鏈條中的另一環(huán)節(jié)。

在模型尚不可用的階段，由于后端價(jià)值有限，企業(yè)往往需要通過(guò)低價(jià)甚至補(bǔ)貼來(lái)推動(dòng)使用，包括大規(guī)模鋪量或持續(xù)優(yōu)化成本結(jié)構(gòu)。但當(dāng)模型能力提升、后端價(jià)值顯著提高后，整個(gè)邏輯會(huì)從“推廣驅(qū)動(dòng)”轉(zhuǎn)向“市場(chǎng)化驅(qū)動(dòng)”。

在這種情況下，企業(yè)需要重新平衡成本與收益，即使技術(shù)仍在持續(xù)優(yōu)化、推理效率不斷提升，價(jià)格上調(diào)也是市場(chǎng)化過(guò)程中的自然結(jié)果。因此，這種“成本下降但價(jià)格上升”的現(xiàn)象并不矛盾。本質(zhì)上，一方面是底層技術(shù)效率在提升，另一方面是過(guò)去推廣階段所存在的成本缺口逐步被填補(bǔ)，最終形成一個(gè)可持續(xù)的商業(yè)閉環(huán)。

DeepTech：你的研究方向之一是稀疏注意力（sparse attention）等機(jī)制，這類(lèi)方法會(huì)直接影響 token 的計(jì)算成本。如果沿著這一思路繼續(xù)推演，未來(lái)模型是否有可能具備“自適應(yīng)計(jì)算能力”，即自動(dòng)判斷哪些 token 需要精細(xì)計(jì)算，哪些可以簡(jiǎn)化甚至跳過(guò)？這種機(jī)制在多大程度上會(huì)影響推理成本？

戴國(guó)浩：從具體技術(shù)來(lái)看，這種趨勢(shì)已經(jīng)在發(fā)生，而且不僅限于稀疏注意力。

例如，稀疏專(zhuān)家（Mixture-of-Experts）、層級(jí)稀疏（layer skipping）、以及模型結(jié)構(gòu)層面的多級(jí)配置（如投機(jī)解碼、大小模型協(xié)同），本質(zhì)上都可以歸為“稀疏化”或“結(jié)構(gòu)化”的探索。像 DeepSeek 等團(tuán)隊(duì)，已經(jīng)在稀疏注意力等方向上進(jìn)行了實(shí)踐；同時(shí)，大規(guī)模模型（百億甚至千億參數(shù)級(jí)別）中，稀疏專(zhuān)家結(jié)構(gòu)也已較為常見(jiàn)。此外，一些系統(tǒng)開(kāi)始引入小模型與大模型協(xié)同，通過(guò)推測(cè)解碼（speculative decoding）提升整體吞吐效率。

這些方法的共同點(diǎn)在于：通過(guò)結(jié)構(gòu)設(shè)計(jì)，而非單純?cè)黾訁?shù)規(guī)模，來(lái)提升計(jì)算效率與性能表現(xiàn)。

從更宏觀的角度看，智能系統(tǒng)的發(fā)展，本質(zhì)上是在不斷逼近“最優(yōu)結(jié)構(gòu)”。在早期，由于對(duì)模型結(jié)構(gòu)理解有限，采用稠密矩陣（dense architecture）是一種更直接、通用的表達(dá)方式，通過(guò)擴(kuò)大數(shù)據(jù)和參數(shù)規(guī)模來(lái)獲得性能提升。但隨著理解的加深，結(jié)構(gòu)性特征會(huì)逐漸顯現(xiàn)。例如殘差連接（residual connection）、卷積結(jié)構(gòu)（convolution）等，都是在這一過(guò)程中被發(fā)現(xiàn)并固化下來(lái)的有效結(jié)構(gòu)。

理論上，任何結(jié)構(gòu)都可以用更大的稠密矩陣來(lái)近似表達(dá)，但在實(shí)際中，這樣的模型往往難以收斂，同時(shí)計(jì)算效率極低，因此并不可行。

回到 token 這一中間環(huán)節(jié)，未來(lái)一個(gè)重要方向是對(duì) token 進(jìn)行更細(xì)粒度的計(jì)算分配。例如，在推理過(guò)程中，不同 token 的復(fù)雜度是不同的：一些 token 可能只需要較淺層的計(jì)算即可得到結(jié)果，但另一些則需要更深層、更復(fù)雜的計(jì)算路徑。

因此，可以針對(duì)每個(gè) token 動(dòng)態(tài)分配計(jì)算資源，對(duì)其計(jì)算深度和計(jì)算量進(jìn)行定制化設(shè)計(jì)。相比于“所有 token 都經(jīng)過(guò)同樣深度模型”的方式，這種方法能夠在保證效果的同時(shí)顯著降低整體計(jì)算開(kāi)銷(xiāo)。這也是為什么 token 在當(dāng)前階段不僅是計(jì)量單位，更是計(jì)算調(diào)度與資源分配的核心對(duì)象，它也將逐漸成為一種關(guān)鍵的生產(chǎn)要素。

DeepTech：如果進(jìn)一步拆解 token 的成本結(jié)構(gòu)，除了模型本身，還包括 KV Cache 的顯存占用、帶寬，以及芯片架構(gòu)等因素。在這些層面中，你認(rèn)為當(dāng)前優(yōu)化空間最大的是哪一部分？

戴國(guó)浩：可以用一個(gè)相對(duì)簡(jiǎn)化的模型來(lái)描述推理開(kāi)銷(xiāo)：

那就是時(shí)間 ≈ 計(jì)算量 ÷（算力 × 利用率）

或者從存儲(chǔ)角度來(lái)看：

時(shí)間 ≈ 數(shù)據(jù)量 ÷（帶寬 × 利用率）

在這個(gè)框架下，不同變量對(duì)應(yīng)不同層面的參與者：

首先，計(jì)算量主要由模型設(shè)計(jì)決定，例如參數(shù)規(guī)模（3B、30B、300B 等）；其次，算力取決于芯片能力，例如算力規(guī)模（TFLOPS 級(jí)別差異）；最后，利用率則與軟硬件協(xié)同優(yōu)化密切相關(guān)。

此外，像 KV Cache 的顯存占用、注意力計(jì)算開(kāi)銷(xiāo)等問(wèn)題，本質(zhì)上更多影響的是系統(tǒng)的帶寬利用率與整體資源利用效率。芯片本身的能力則與其架構(gòu)設(shè)計(jì)和制造工藝有關(guān)。

在這一建?？蚣芟拢梢钥吹讲煌瑑?yōu)化方向的邊界：

首先，單純降低模型計(jì)算量的空間其實(shí)有限，因?yàn)槟Ｐ桶l(fā)展的首要目標(biāo)仍然是提升智能水平，這是一個(gè)基本前提。因此，在模型設(shè)計(jì)層面，壓縮計(jì)算量并不是主要矛盾。相比之下，利用率的優(yōu)化空間非常大。無(wú)論是算力利用率、帶寬利用率，還是緩存命中率，都存在顯著提升空間。

其次，芯片架構(gòu)本身的設(shè)計(jì)也是一個(gè)重要方向。例如 英偉達(dá)黃仁勛 所提出的“AI Factory”理念，本質(zhì)上是將芯片、系統(tǒng)軟件以及電力供給等多個(gè)層面打通，進(jìn)行整體協(xié)同優(yōu)化?？傮w來(lái)看，未來(lái)推理成本下降，更依賴(lài)于：一個(gè)是各層級(jí)資源利用率的提升，另一個(gè)是芯片架構(gòu)與系統(tǒng)設(shè)計(jì)的持續(xù)演進(jìn)。

而這些優(yōu)化的最終目標(biāo)，都是為了支撐更大規(guī)模、更高智能水平的模型發(fā)展。

DeepTech：那么從當(dāng)前階段來(lái)看，性能優(yōu)化的主要瓶頸更偏向算法側(cè)，還是硬件側(cè)？

戴國(guó)浩：我認(rèn)為主要瓶頸仍然在硬件，以及硬件與算法的協(xié)同設(shè)計(jì)（co-design）。

算法的發(fā)展方向始終是探索更高水平的智能，這是不會(huì)改變的。但算法的迭代效率，很大程度上受限于硬件條件。例如，一個(gè)模型版本的迭代周期是一個(gè)月還是三個(gè)月，本質(zhì)上取決于算力資源與系統(tǒng)效率。

因此，問(wèn)題不僅在于是否存在更優(yōu)的算法，還在于這些算法能否在現(xiàn)有硬件體系下高效實(shí)現(xiàn)。目前也有越來(lái)越多的團(tuán)隊(duì)在嘗試算法與硬件的協(xié)同優(yōu)化，但這一過(guò)程的效率，仍然受到硬件設(shè)計(jì)能力以及對(duì)硬件理解深度的制約。從這個(gè)角度來(lái)看，未來(lái)的關(guān)鍵競(jìng)爭(zhēng)點(diǎn)，將越來(lái)越集中在軟硬件一體化的協(xié)同設(shè)計(jì)能力上。

DeepTech：前段時(shí)間，黃仁勛在 GTC 大會(huì)上提出了一個(gè)頗具沖擊力的觀點(diǎn)：未來(lái)員工的 token 消耗量應(yīng)當(dāng)與薪酬成正比，可以將 token 使用量視為生產(chǎn)效率的一種指標(biāo)。與此同時(shí)，硅谷也出現(xiàn)了一種被稱(chēng)為“tokenmaxxing”的現(xiàn)象：一些從業(yè)者會(huì)刻意提高 token 使用量，用不完甚至?xí)a(chǎn)生焦慮。你如何看待這一觀點(diǎn)？無(wú)論是企業(yè)還是個(gè)人，應(yīng)該建立怎樣的“token 觀”？

戴國(guó)浩：我傾向于從辯證的角度來(lái)看。

首先，我可以理解他為什么會(huì)提出這樣的觀點(diǎn)。結(jié)合他所強(qiáng)調(diào)的 AI Factory，本質(zhì)上是在將算力體系轉(zhuǎn)化為“token 的生產(chǎn)系統(tǒng)”。在早期，當(dāng) AI 尚未形成完整的正向經(jīng)濟(jì)循環(huán)時(shí)，GPU 只是數(shù)據(jù)中心或算力基礎(chǔ)設(shè)施中的一個(gè)組件，是供應(yīng)鏈的一環(huán)。

但當(dāng) AI Factory 的概念成立之后，這套系統(tǒng)更像是一個(gè)“token 生產(chǎn)工廠”。如果進(jìn)一步類(lèi)比，可以將其視為一種“價(jià)值生成裝置”。在一種極端設(shè)想下，如果 token 的消耗可以直接映射為經(jīng)濟(jì)回報(bào)，那么這套系統(tǒng)就具備類(lèi)似“價(jià)值生成器”的屬性。

另一方面，我認(rèn)為這一觀點(diǎn)也具備一定合理性。因?yàn)閺墓ぞ邔傩詠?lái)看，可以類(lèi)比為早期的軟件工程實(shí)踐。例如在十年前，程序員的產(chǎn)出有時(shí)會(huì)通過(guò)代碼量進(jìn)行粗略衡量。代碼量在某種程度上反映了工具使用的強(qiáng)度和產(chǎn)出規(guī)模。

在今天，token 消耗可以被理解為一種新的“工作投入度量”。你使用了多少 token，某種程度上意味著你調(diào)用了多少模型能力，完成了多少任務(wù)。因此，它與產(chǎn)出之間確實(shí)存在一定相關(guān)性。

但問(wèn)題在于，這種關(guān)系并不是線(xiàn)性的，也不是穩(wěn)定的。如果回到我們前面討論的價(jià)值轉(zhuǎn)化鏈條，token 只是其中的一個(gè)中間環(huán)節(jié)?！皌oken 到生產(chǎn)力”的轉(zhuǎn)化效率，取決于多個(gè)因素：例如使用的模型能力，模型之間的協(xié)同方式，token 的質(zhì)量（例如 prompt 質(zhì)量），或者是具體任務(wù)類(lèi)型。

因此，我認(rèn)同 token 消耗量與價(jià)值之間“存在相關(guān)性”，但更關(guān)鍵的是：如何使用 token。換句話(huà)說(shuō)，高質(zhì)量地使用 token（例如選擇合適模型、設(shè)計(jì)有效結(jié)構(gòu)），比單純?cè)黾?token 消耗更重要。這可能才是未來(lái)個(gè)體需要重點(diǎn)關(guān)注的能力。

DeepTech：那是否有可能存在一個(gè)更合理的指標(biāo)，而不是簡(jiǎn)單用 token 消耗量來(lái)衡量生產(chǎn)效率？

戴國(guó)浩：如果在理想情況下，“token 到生產(chǎn)力”的轉(zhuǎn)化關(guān)系是標(biāo)準(zhǔn)化的，例如一個(gè) token 可以穩(wěn)定對(duì)應(yīng)某種經(jīng)濟(jì)價(jià)值，那么確實(shí)可以直接用 token 消耗來(lái)衡量產(chǎn)出。

但現(xiàn)實(shí)中，這一環(huán)節(jié)并不穩(wěn)定，尤其是在當(dāng)前階段。

對(duì)于一些高度標(biāo)準(zhǔn)化、確定性較強(qiáng)的行業(yè)（例如部分法律、會(huì)計(jì)等場(chǎng)景），隨著工具成熟，未來(lái)可能逐步接近這種“線(xiàn)性映射”。在這種情況下，將 token 使用量與產(chǎn)出掛鉤，是可以成立的。但對(duì)于更具創(chuàng)造性的工作，這種關(guān)系往往是非線(xiàn)性的。例如，有的人可能只使用較少的 token，就能產(chǎn)生更高價(jià)值的結(jié)果；而另一些人即使消耗更多 token，產(chǎn)出價(jià)值卻未必更高。

在這種情況下，更合理的評(píng)價(jià)方式，應(yīng)該是將token 使用量”與“最終產(chǎn)出價(jià)值”進(jìn)行聯(lián)合評(píng)估。從資源配置角度看，我們更應(yīng)該鼓勵(lì)的是：用更少的 token 產(chǎn)生更高的價(jià)值。這也可以理解為一種更正確的 token 觀。

DeepTech：在最近的趨勢(shì)中，我們發(fā)現(xiàn)了許多使用者尤其關(guān)注一個(gè)問(wèn)題：在實(shí)際使用大模型時(shí)，如何更高效、更具性?xún)r(jià)比地使用 token？你作為專(zhuān)業(yè)的從業(yè)人員，在日常使用中，有沒(méi)有一些經(jīng)過(guò)驗(yàn)證的方法或經(jīng)驗(yàn)，比如在 prompt 設(shè)計(jì)、任務(wù)拆解、模型選擇等方面？

戴國(guó)浩：這三個(gè)方面，其實(shí)都非常關(guān)鍵。

可以用一個(gè)類(lèi)比來(lái)理解：在傳統(tǒng)的軟件團(tuán)隊(duì)中，通常會(huì)有架構(gòu)師和程序員的分工。程序員負(fù)責(zé)具體實(shí)現(xiàn)，而架構(gòu)師負(fù)責(zé)整體設(shè)計(jì)，包括任務(wù)拆解、模塊劃分以及協(xié)作方式。

從當(dāng)前大模型的能力來(lái)看，它已經(jīng)可以高效完成很多“程序員層面”的執(zhí)行工作，這一點(diǎn)并不困難。真正的挑戰(zhàn)在于更上層的結(jié)構(gòu)設(shè)計(jì)。具體來(lái)說(shuō)，可以對(duì)應(yīng)三個(gè)關(guān)鍵環(huán)節(jié)：

第一是任務(wù)拆解。需要將一個(gè)復(fù)雜問(wèn)題分解為多個(gè)子任務(wù)，并明確各自的邊界與目標(biāo)。第二是 prompt 設(shè)計(jì)。本質(zhì)上是對(duì)任務(wù)目標(biāo)的精確表達(dá)，相當(dāng)于對(duì)執(zhí)行單元的“指令定義”。第三是模型選擇與調(diào)度。即讓“合適的模型做合適的事情”，例如簡(jiǎn)單任務(wù)可以交給輕量模型處理，復(fù)雜任務(wù)再調(diào)用更強(qiáng)的模型。這三個(gè)環(huán)節(jié)，實(shí)際上構(gòu)成了一個(gè)完整的“結(jié)構(gòu)設(shè)計(jì)過(guò)程”。

此外，還有一個(gè)容易被忽視的點(diǎn)：人類(lèi)輸入的 token 往往更高效。在一些推理型模型中（例如帶有長(zhǎng)鏈路思考過(guò)程的模型），模型在內(nèi)部會(huì)生成大量中間推理步驟，這些過(guò)程本身會(huì)消耗大量 token。而人類(lèi)可以在前置階段，通過(guò)更清晰的任務(wù)定義，減少模型不必要的探索路徑，從而降低整體開(kāi)銷(xiāo)。

結(jié)合這些經(jīng)驗(yàn)，我個(gè)人的使用方式是：先盡可能在前期將 prompt 定義得清晰、具體；然后，對(duì)任務(wù)進(jìn)行結(jié)構(gòu)化拆解；最后，在不同復(fù)雜度任務(wù)之間，靈活選擇模型（包括開(kāi)源模型與高性能閉源模型的組合使用）。

從長(zhǎng)期來(lái)看，這也意味著一個(gè)能力轉(zhuǎn)變。以程序員為例，需要逐漸從單純的“編碼者（coder）”，轉(zhuǎn)向“系統(tǒng)架構(gòu)設(shè)計(jì)者（architect）”。只有在更高層面進(jìn)行結(jié)構(gòu)設(shè)計(jì)，才能真正提升整體效率。

DeepTech：黃仁勛在會(huì)上還提出了 token 的分層定價(jià)策略，沿著"模型智能程度 × 生成速度 × 上下文長(zhǎng)度"三個(gè)維度來(lái)定價(jià)，形成從免費(fèi)層到高速層 $150/百萬(wàn) token 的供給體系。在這方面，一些國(guó)內(nèi)公司已經(jīng)相繼響應(yīng)。你認(rèn)為這一框架對(duì)產(chǎn)業(yè)格局會(huì)產(chǎn)生怎樣的深層影響？它是否會(huì)加速大模型市場(chǎng)的兩極分化？

戴國(guó)浩：剛才你提到的幾個(gè)關(guān)鍵變量，包括模型智能水平、生成速度和上下文長(zhǎng)度，其實(shí)可以歸為兩類(lèi)，并分別對(duì)應(yīng)我們之前討論的價(jià)值轉(zhuǎn)化鏈條中的不同環(huán)節(jié)。

其中，生成速度和上下文長(zhǎng)度，主要影響“算力到 token”的轉(zhuǎn)化效率。這一部分與計(jì)算能力和存儲(chǔ)能力密切相關(guān)：上下文長(zhǎng)度更多涉及存儲(chǔ)與帶寬，生成速度主要與計(jì)算能力相關(guān)，同時(shí)也受到訪存效率的影響。

模型的智能水平，則對(duì)應(yīng)“token 到生產(chǎn)力”的轉(zhuǎn)化效率。

從這個(gè)角度看，這三個(gè)變量實(shí)際上構(gòu)成了整個(gè)價(jià)值鏈條中的關(guān)鍵維度。因此，將 token 按不同能力層級(jí)進(jìn)行劃分，本身是有內(nèi)在合理性的。

進(jìn)一步來(lái)說(shuō)，不同行業(yè)、不同任務(wù)，對(duì) token 的“價(jià)值密度”要求是不同的。高質(zhì)量 token（例如由更強(qiáng)模型生成）在某些場(chǎng)景中能夠產(chǎn)生更高價(jià)值，因此在定價(jià)上進(jìn)行分層，是符合基本經(jīng)濟(jì)邏輯的。

至于具體的定價(jià)策略，我并不是這方面的專(zhuān)家，但從一般規(guī)律來(lái)看，一個(gè)比較普遍的現(xiàn)象是：價(jià)值越高的產(chǎn)品，其“性?xún)r(jià)比”往往反而越低。

這一點(diǎn)在很多行業(yè)中都存在。例如汽車(chē)、手機(jī)等領(lǐng)域，高端產(chǎn)品通常在絕對(duì)性能上更強(qiáng)，但單位性能的價(jià)格也更高。這樣的結(jié)構(gòu)并不會(huì)導(dǎo)致行業(yè)失衡，反而使不同需求的用戶(hù)，都可以在同一價(jià)值鏈中找到適合自己的選擇。

如果將 AI 視為一種逐漸成熟的“商品”，那么類(lèi)似的分層定價(jià)體系，大概率也會(huì)自然出現(xiàn)。

DeepTech：但 token 作為一種相對(duì)新的“商品”，用戶(hù)在理解和接受它的過(guò)程中，可能還需要時(shí)間。它不像傳統(tǒng)行業(yè)那樣已經(jīng)形成穩(wěn)定認(rèn)知。

戴國(guó)浩：是的，一方面是認(rèn)知上的適應(yīng)過(guò)程，另一方面，技術(shù)本身仍處在快速發(fā)展階段。

AI 在未來(lái)會(huì)在更多行業(yè)中釋放價(jià)值，但目前仍處于一個(gè)早期拐點(diǎn)階段。已經(jīng)開(kāi)始在部分場(chǎng)景中形成明確價(jià)值，但整體滲透率還不高。如果回看三年前，以對(duì)話(huà)系統(tǒng)為主的模型確實(shí)很難直接產(chǎn)生經(jīng)濟(jì)價(jià)值，而現(xiàn)在情況已經(jīng)發(fā)生了明顯變化。

DeepTech：當(dāng)前的云計(jì)算基礎(chǔ)設(shè)施，本質(zhì)上是為人類(lèi)工程師設(shè)計(jì)的，而不是為 agent（智能體）設(shè)計(jì)的。在這種情況下，這套架構(gòu)是否在一定程度上限制了 token 效率的進(jìn)一步釋放？如果以“token factory”為目標(biāo)推進(jìn)，你認(rèn)為從硬件、軟件到調(diào)度和服務(wù)，各個(gè)層面需要進(jìn)行怎樣的重構(gòu)？這種變化會(huì)有多激進(jìn)？

戴國(guó)浩：這個(gè)問(wèn)題也可以從生產(chǎn)體系演進(jìn)的角度來(lái)理解。

如果把 token factory 類(lèi)比為一種新的“工廠”，那么它和傳統(tǒng)的電廠或水廠類(lèi)似，本質(zhì)上是在生產(chǎn)基礎(chǔ)資源?；乜垂I(yè)發(fā)展歷程，每一次工業(yè)革命都會(huì)引入新的基礎(chǔ)生產(chǎn)要素，從蒸汽到電力，再到信息計(jì)算能力，而每一次這種變化，都會(huì)帶來(lái)整個(gè)系統(tǒng)結(jié)構(gòu)的重構(gòu)。

從這個(gè)意義上看，以 token 為代表的大模型體系，正在成為一種新的基礎(chǔ)生產(chǎn)要素。雖然它目前仍建立在既有的電力和信息系統(tǒng)之上，但隨著其重要性不斷提升，底層架構(gòu)發(fā)生系統(tǒng)性變化是一個(gè)必然趨勢(shì)。

外界對(duì) token 有不同的類(lèi)比，比如把它看作比特，或者類(lèi)比為電力，這些說(shuō)法各有其合理性。但更關(guān)鍵的一點(diǎn)在于，當(dāng) token 成為核心生產(chǎn)單元之后，整個(gè)系統(tǒng)的各個(gè)層級(jí)都會(huì)圍繞它進(jìn)行重新組織。最先發(fā)生變化的，往往是接口層——如果 token 成為統(tǒng)一的計(jì)量單位，那么系統(tǒng)之間的交互、任務(wù)的度量、甚至算力與電力的轉(zhuǎn)換關(guān)系，都可能逐漸以 token 為核心來(lái)表達(dá)。

當(dāng)然，這一判斷隱含了一個(gè)前提，即當(dāng)前以 Transformer 為基礎(chǔ)、以 token 為核心處理單元的范式在一段時(shí)間內(nèi)是穩(wěn)定的。從目前來(lái)看，這一方向具有較高確定性，但仍然存在技術(shù)演進(jìn)的不確定性。

在這個(gè)前提下，各個(gè)層面的變化其實(shí)已經(jīng)在發(fā)生。以芯片為例，像 NVIDIA 的 GPU 架構(gòu)，雖然仍然是通用計(jì)算架構(gòu)，但在數(shù)據(jù)中心場(chǎng)景中，已經(jīng)引入了大量針對(duì) Transformer 的專(zhuān)用計(jì)算單元。本質(zhì)上，這些優(yōu)化都是在圍繞 token 的處理效率展開(kāi)。整個(gè)過(guò)程是漸進(jìn)式的：從最早的通用計(jì)算，到針對(duì)矩陣運(yùn)算的加速，再到專(zhuān)門(mén)為 Transformer 結(jié)構(gòu)優(yōu)化，逐步向 token 對(duì)齊。類(lèi)似的趨勢(shì)，也會(huì)在軟件、調(diào)度乃至服務(wù)層逐步體現(xiàn)出來(lái)。

DeepTech：如果整個(gè)體系都逐步對(duì)齊到 token，本質(zhì)上意味著默認(rèn)的計(jì)算范式仍然是以 Transformer 為基礎(chǔ)。但我們也看到一些新的架構(gòu)在出現(xiàn)，比如 Mamba，或者擴(kuò)散模型在語(yǔ)言建模中的嘗試。你覺(jué)得如果這些技術(shù)發(fā)展到某個(gè)階段，token 是否可能被替代，或者演化成新的計(jì)算單元？

戴國(guó)浩：這個(gè)問(wèn)題可以分兩個(gè)層面來(lái)看。

在中短期內(nèi)，一種范式是否會(huì)被替代，關(guān)鍵不在于它“是否更好”，而在于它是否能在整體效率上實(shí)現(xiàn)數(shù)量級(jí)的提升。因?yàn)楝F(xiàn)有體系不僅僅是技術(shù)本身，還包括完整的工業(yè)基礎(chǔ)、軟件生態(tài)以及價(jià)值評(píng)估體系，這些都是高度固化的，切換成本非常高。往往需要展現(xiàn)出一個(gè)數(shù)量級(jí)的提升的潛力，才有可能推動(dòng)技術(shù)的汰換迭代。

目前確實(shí)出現(xiàn)了一些新的架構(gòu)，比如 Mamba，以及基于擴(kuò)散過(guò)程的語(yǔ)言模型。這些方法在某些特定任務(wù)上可能表現(xiàn)更優(yōu)，但從整體來(lái)看，一方面還缺乏大規(guī)模工程驗(yàn)證，另一方面也很難在短時(shí)間內(nèi)嵌入現(xiàn)有體系。更重要的是，它們?cè)趯?shí)際落地時(shí)，仍然需要與現(xiàn)有接口對(duì)齊，最終輸出依然是 token 序列。因此，從現(xiàn)實(shí)路徑來(lái)看，這些技術(shù)更像是在現(xiàn)有范式內(nèi)部進(jìn)行優(yōu)化，而不是直接替代。

如果把視角拉得更長(zhǎng)遠(yuǎn)，確實(shí)存在一種可能性，即未來(lái)出現(xiàn)完全不同的計(jì)算范式，例如連續(xù)計(jì)算甚至量子計(jì)算。這類(lèi)體系一旦成立，可能會(huì)從根本上改變當(dāng)前以離散 token 為基礎(chǔ)的計(jì)算方式。但同樣，它必須在關(guān)鍵效率指標(biāo)上顯著優(yōu)于現(xiàn)有體系，才有可能推動(dòng)整個(gè)產(chǎn)業(yè)遷移。

在當(dāng)前階段，我更傾向于認(rèn)為，這樣的范式轉(zhuǎn)變還需要較長(zhǎng)時(shí)間。更現(xiàn)實(shí)的問(wèn)題仍然是，在以 token 為核心的既有體系中，如何持續(xù)提升轉(zhuǎn)化效率，以及如何完善整個(gè)基礎(chǔ)設(shè)施和應(yīng)用生態(tài)。這可能才是當(dāng)下更關(guān)鍵的方向。

運(yùn)營(yíng)/排版：何晨龍