Anthropic 昨天點(diǎn)名 DeepSeek、月之暗面、MiniMax 三家中國(guó) AI 實(shí)驗(yàn)室「蒸餾」Claude 模型，全網(wǎng)炸鍋。

對(duì)于此事件，RLHF （基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）領(lǐng)域最知名的研究者之一，《RLHF》一書(shū)的作者 Nathan Lambert 指出，這件事沒(méi)有人們想象的那么嚴(yán)重，但也沒(méi)有那么簡(jiǎn)單。

他認(rèn)為，中國(guó) AI 公司的基礎(chǔ)設(shè)施非常好，取得了很多創(chuàng)新，也在攻克各種技術(shù)難題，但它們?nèi)〉眠@樣的結(jié)果，靠的并不是「走捷徑」。

在討論蒸餾這件事之前，先看看 Lambert 的話為什么值得聽(tīng)。

Nathan Lambert 是 Allen AI 研究所的科學(xué)家，博士畢業(yè)于加州大學(xué)伯克利分校，師從機(jī)器人領(lǐng)域的著名學(xué)者 Pieter Abbeel。他并非 RLHF 技術(shù)的發(fā)明者，但他寫(xiě)的《RLHF》這本開(kāi)源書(shū)籍，如今是 AI 從業(yè)者理解大模型訓(xùn)練流程的標(biāo)準(zhǔn)參考材料之一。

和到處都是的 AI 網(wǎng)紅不一樣，他是真正上手訓(xùn)練過(guò)大模型的人。

在 Anthropic 博客發(fā)出的當(dāng)天，Lambert 就發(fā)布了一篇詳細(xì)分析文章《蒸餾對(duì)于中國(guó)大模型到底有多重要？》。他的核心論點(diǎn)，和主流媒體的解讀方向截然不同，也比一般網(wǎng)友更加深入和全面。

蒸餾是什么，Anthropic 又說(shuō)了什么？

首先我們來(lái)看 Anthropic 指控的核心：「蒸餾」（distillation）。

它指的是讓弱模型學(xué)習(xí)強(qiáng)模型的輸出，從而快速獲得相似能力。

Anthropic 指控三家公司通過(guò)約 2.4 萬(wàn)個(gè)虛假賬號(hào)，在違反服務(wù)條款和地區(qū)訪問(wèn)限制的情況下，用 Claude 生成了超過(guò) 1600 萬(wàn)次對(duì)話，用于訓(xùn)練各自的模型。

博客還附上了安全警告：非法蒸餾出來(lái)的模型可能缺失原模型的安全護(hù)欄，一旦被用于網(wǎng)絡(luò)攻擊、生物武器研發(fā)或大規(guī)模監(jiān)控，后果難以預(yù)測(cè)。

Anthropic 把這套基礎(chǔ)設(shè)施叫做「九頭蛇集群」(hydra cluster)——多達(dá)數(shù)萬(wàn)個(gè)賬號(hào)的分布式網(wǎng)絡(luò)，流量同時(shí)分散在 Anthropic 自己的 API 和多個(gè)第三方 API 聚合平臺(tái)上。

在最極端的案例里，一個(gè)代理網(wǎng)絡(luò)同時(shí)管理超過(guò) 2 萬(wàn)個(gè)虛假賬號(hào)，還把蒸餾流量混入普通用戶請(qǐng)求流里，用來(lái)規(guī)避檢測(cè)算法。這種網(wǎng)絡(luò)沒(méi)有單點(diǎn)故障，封掉一個(gè)賬號(hào)，馬上換一個(gè)。

海外媒體隨即跟進(jìn)，復(fù)述了 Anthropic 的話術(shù)。然而這套敘事邏輯很快就翻車(chē)了：畢竟「蒸餾」這件事美國(guó) AI 公司訓(xùn)練的時(shí)候也會(huì)做，更何況 Anthropic 自己也有類(lèi)似行為：

以及：

但 Lambert 更加冷靜，他認(rèn)為要先把這三家中國(guó) AI 實(shí)驗(yàn)室分開(kāi)來(lái)看。

Lambert 指出，Anthropic 把三家公司并排列在同一篇博客里，掩蓋了一個(gè)關(guān)鍵差異：它們做的根本不是同一件事，量級(jí)天差地別，動(dòng)機(jī)也各有側(cè)重。

按照 Anthropic 的指控，DeepSeek 的蒸餾數(shù)量最少，只有 15 萬(wàn)次，但手法更精準(zhǔn)。與其直接收集答案，Anthropic 指控 DeepSeek 在做的是批量生產(chǎn)思維鏈 (chain-of-thought)訓(xùn)練數(shù)據(jù)。

要的不是「你得出了什么結(jié)論」，而是得到結(jié)論的過(guò)程。

但 15 萬(wàn)次是個(gè)什么體量？Lambert 認(rèn)為，這點(diǎn)數(shù)據(jù)對(duì) DeepSeek 傳聞中的 V4 模型或任何模型整體訓(xùn)練的影響可以忽略不計(jì)，「更像是某個(gè)小團(tuán)隊(duì)在內(nèi)部做實(shí)驗(yàn)，大概率連訓(xùn)練負(fù)責(zé)人都不知道。」

月暗的規(guī)模就不是「可以忽略」了：340 萬(wàn)次交互，目標(biāo)集中在智能體推理、、工具調(diào)用、代碼與數(shù)據(jù)分析、computer-use 開(kāi)發(fā)、計(jì)算機(jī)視覺(jué)等方向——這些方向當(dāng)中，大部分都是 Claude 近期最受企業(yè)客戶歡迎的能力組合。

Anthropic 指出三家里流量最大的是 MiniMax，約 1300 萬(wàn)次，目標(biāo)是代理編碼、工具調(diào)用和復(fù)雜任務(wù)編排。

月暗和 MiniMax 相加約 1650 萬(wàn)次，按對(duì)話平均 token 量估算，總量大約在 1500 億到 4000 億 token 之間，折合數(shù)百到上千萬(wàn)美元的 token 成本。

但問(wèn)題是，只盯著蒸餾看，其實(shí)有很大問(wèn)題。

蒸餾的天花板在哪里？

這才是 Lambert 真正想說(shuō)的部分，也是整件事里最被忽視的地方。

把強(qiáng)模型的輸出喂給弱模型，弱模型能快速獲得類(lèi)似能力——這個(gè)邏輯本身成立，Lambert 沒(méi)有否認(rèn)。但他指出了一個(gè)沒(méi)人說(shuō)清楚的問(wèn)題：蒸餾的天花板到底在哪里，取決于你想要的是什么類(lèi)型的能力。

作為 RLHF 方面的專(zhuān)家，Lambert 認(rèn)為，當(dāng)前最頂尖的模型訓(xùn)練，已經(jīng)高度依賴(lài)強(qiáng)化學(xué)習(xí)（RL）。而 RL 和蒸餾在本質(zhì)上是兩種不同的事情：

蒸餾是模仿，學(xué)強(qiáng)模型的輸出，把它的「答案形狀」復(fù)制過(guò)來(lái)；RL 是探索，模型必須大量自己推理、自己生成、在錯(cuò)誤里反復(fù)迭代，從試錯(cuò)中提煉能力。

換言之，真正強(qiáng)大的模型，需要的從來(lái)不只是正確答案，而往往要靠模型自己摸索出來(lái)的解題路徑，這是依靠蒸餾別人 API 的輸出，得不到的東西。

以 DeepSeek 自己做的蒸餾嘗試為例：基于隔壁千問(wèn)蒸餾自家的 R1 模型后得到的 DeepSeek-R1-Distill-Qwen 1.5B 這個(gè)小模型，僅靠 7000 條樣本和極低的計(jì)算成本，就在 AIME24 數(shù)學(xué)競(jìng)賽基準(zhǔn)上超越了 OpenAI 的 o1-preview。

但關(guān)鍵在于：這個(gè)提升等多仰仗強(qiáng)化學(xué)習(xí)的結(jié)果，而非來(lái)自蒸餾這個(gè)行為本身。

換句話說(shuō)，蒸餾能幫你更快「熱身」，要真正到達(dá)頂級(jí)水平，還是得靠自己跑 RL。

不同模型之間的數(shù)據(jù)分布差異

Lambert 還指出了一個(gè)技術(shù)層面很少被外界提及的問(wèn)題：不同模型之間存在微妙的數(shù)據(jù)分布差異。

把 Claude 的輸出直接喂給另一個(gè)架構(gòu)的模型，不一定有效，有時(shí)甚至?xí)a(chǎn)生干擾。兩個(gè)模型內(nèi)部表征空間的差異，會(huì)讓「老師」的回答在「學(xué)生」那里引發(fā)意想不到的偏差。

這意味著蒸餾從來(lái)不是「拿來(lái)用就行」的事，而是需要大量工程工作才能真正發(fā)揮效果。這本身就是一個(gè)研究課題。

這也是為什么 Lambert 將 Anthropic 所指控的「蒸餾」行為，看作是一種創(chuàng)新的做法，可以理解為試圖攻克這一研究課題的努力。

Anthropic 的殺手锏，恰恰最難蒸餾

Anthropic 點(diǎn)名的三家公司，抓取的重心都落在代理行為 (agentic behavior) 這同一個(gè)方向上，包括 AI 自主規(guī)劃、工具調(diào)用、分解復(fù)雜任務(wù)并逐步執(zhí)行的能力等。

這是 Claude 目前最突出的方向，也是 Anthropic 最不想被復(fù)制的能力。

但 Lambert 的判斷是，這些能力恰恰也是最難通過(guò)蒸餾獲得的。

正如前面提到，一個(gè)強(qiáng)大的 AI agent，強(qiáng)大之處從來(lái)不在于知道或者訓(xùn)練過(guò)正確答案，而是「在面對(duì)沒(méi)見(jiàn)過(guò)的情況時(shí)能自主探索出解決路徑」，可以理解為一種 0-shot 或 few-shot 實(shí)現(xiàn) SOTA 效果的能力。

這個(gè)過(guò)程中產(chǎn)生的價(jià)值，體現(xiàn)在推理軌跡，而推理軌跡是很難通過(guò)蒸餾習(xí)得的——至少現(xiàn)在是這樣。

DeepSeek-R1-Distill（蒸餾模型）和 DeepSeek-R1（蒸餾對(duì)象）之間的差距，是 Lambert 論點(diǎn)最直接的例證。

在格式化的數(shù)學(xué)推理任務(wù)上，前者表現(xiàn)不錯(cuò)；但在需要自主探索、動(dòng)態(tài)規(guī)劃的復(fù)雜代理任務(wù)上，兩者的差距是真實(shí)存在的。

為什么 Anthropic 現(xiàn)在公開(kāi)說(shuō)

Lambert 有一個(gè)判斷，很多人可能都有同感：這次 Anthropic 公開(kāi)點(diǎn)名中國(guó) AI 公司，「技術(shù)防御」壓根不是首要?jiǎng)訖C(jī)。

在 Anthropic 這篇博客發(fā)出的幾天前，美國(guó)國(guó)防部剛剛威脅 Anthropic 配合提供「不受限制的使用權(quán)限」，否則就將做出對(duì)后者不利的安排，比如將其標(biāo)記為「供應(yīng)鏈危險(xiǎn)」，也即無(wú)法進(jìn)入國(guó)防/政府供應(yīng)商名單。

Anthropic 現(xiàn)在處于一個(gè)「既要又要」的兩難境地：既想維持安全、不反人性的模型定位和公司形象，又不愿意錯(cuò)過(guò)美國(guó)政府的大單。

Lambert 指出了一個(gè)根本矛盾：美國(guó)的學(xué)術(shù)界和開(kāi)源模型開(kāi)發(fā)者也在做蒸餾行為，但包括 Anthropic 在內(nèi)的大廠并沒(méi)有對(duì)它們做出實(shí)質(zhì)性的打擊。如果僅因?yàn)閷?duì)方是中國(guó)公司，未免地緣的意味太重了。

結(jié)果就是，Anthropic 這篇博客與其說(shuō)是報(bào)告一個(gè)重大技術(shù)風(fēng)險(xiǎn)事件……其實(shí)更像是一封「投名狀」。

雙標(biāo)

關(guān)于 Anthropic 在這件事上的立場(chǎng)，有一個(gè)繞不開(kāi)的背景。

APPSO 在昨天的文章里也有提到：

2024 年年初，美國(guó)某倉(cāng)庫(kù)里，工人們把一本本新書(shū)送進(jìn)機(jī)器，切掉書(shū)脊，掃描，然后把紙送去回收。下令做這件事的是 Anthropic，項(xiàng)目?jī)?nèi)部代號(hào)「巴拿馬」，目標(biāo)是以破壞性方式掃描全球所有書(shū)籍——Anthropic不希望外界知道他們做了這件事。

2021 年，Anthropic 聯(lián)合創(chuàng)始人 Ben Mann 在 11 天里從盜版網(wǎng)站 LibGen 下載了大量侵權(quán)書(shū)籍；次年，另一個(gè)公開(kāi)宣稱(chēng)「在大多數(shù)國(guó)家故意違反版權(quán)法」的網(wǎng)站 Pirate Library Mirror 上線，Mann 把鏈接發(fā)給同事，留言：「來(lái)得正是時(shí)候?。。　?/p>

在后來(lái)的書(shū)籍版權(quán)訴訟中，Anthropic 被迫支付 15 億美元和解金，折算下來(lái)每本書(shū)約賠 3000 美元。

斯坦福和耶魯?shù)难芯空甙l(fā)現(xiàn)，Claude 3.7 Sonnet 在特定條件下會(huì)以 95.8% 的準(zhǔn)確率「近乎逐字逐句」地輸出《哈利波特》等受版權(quán)保護(hù)的作品——這不僅與 Anthropic 長(zhǎng)期以來(lái)關(guān)于「模型只是學(xué)習(xí)了語(yǔ)言規(guī)律」的說(shuō)法背道而馳，更讓該公司對(duì)任何人的「蒸餾」指控顯得缺乏底氣。

Futurism 的標(biāo)題寫(xiě)得很直接：「Anthropic 對(duì) DeepSeek 未經(jīng)授權(quán)復(fù)制 AI 大發(fā)雷霆——考慮到它是怎么構(gòu)建 Claude 的，這相當(dāng)諷刺。」

Musk 在 X 上也補(bǔ)了一刀：「Anthropic 大規(guī)模竊取訓(xùn)練數(shù)據(jù)，還為此支付了數(shù)十億美元的和解金。這是事實(shí)?！?/p>

反駁者還有一個(gè)更尖銳的邏輯：Anthropic 當(dāng)年從那些書(shū)里拿走的，不僅沒(méi)付過(guò)任何使用費(fèi)，回頭還用于商業(yè)行為（Claude 和 Anthropic API 都是付費(fèi)服務(wù)）；而從商業(yè)角度來(lái)看，蒸餾 Claude 的公司至少付了錢(qián)……

當(dāng)然，從法律層面來(lái)看，這兩件事的性質(zhì)完全不同。但不論怎樣，Anthropic 看起來(lái)還是很像個(gè)偽善的雙標(biāo)者。

「后蒸餾時(shí)代」

最后再?gòu)?qiáng)調(diào)一遍：蒸餾有用，但沒(méi)有你們想象的那么有用。

DeepSeek 的 15 萬(wàn)次，按任何合理標(biāo)準(zhǔn)來(lái)看都是可以忽略的數(shù)字。Moonshot 和 MiniMax 合計(jì) 1650 萬(wàn)次，量級(jí)是另一回事——但能轉(zhuǎn)化成多少真實(shí)能力，取決于他們能不能解決「如何用好這些數(shù)據(jù)」的技術(shù)問(wèn)題。

考慮到數(shù)據(jù)分布差異、模型架構(gòu)差異，以及代理能力的獲得本身對(duì)于強(qiáng)化學(xué)習(xí)的重度依賴(lài)，蒸餾從來(lái)不是「拿來(lái)就用」那么簡(jiǎn)單。

Lambert 還是給了 Anthropic 面子：「快速迭代加上高質(zhì)量數(shù)據(jù)可以走很遠(yuǎn)，讓學(xué)生模型超越老師也并非不可能。」

但他也明確指出，真正的創(chuàng)新靠的是強(qiáng)化學(xué)習(xí)，不是蒸餾。從 DeepSeek、月暗、MiniMax 公開(kāi)的論文來(lái)看，它們都用有相當(dāng)完善的基礎(chǔ)設(shè)施和優(yōu)秀的人才，遠(yuǎn)非只靠小聰明小伎倆企圖彎道超車(chē)的「小作坊」。

蒸餾能幫你更快入場(chǎng)，但真要打到頂級(jí)水平，從來(lái)沒(méi)有捷徑。

某種意義上，Anthropic 提出的「蒸餾」?fàn)幾h，本身就是這個(gè) AI 時(shí)代縮影。

整個(gè)行業(yè)打一開(kāi)始就建立在曖昧不清的規(guī)則上：用人類(lèi)寫(xiě)的東西訓(xùn)練，用別人的開(kāi)源成果迭代，在法律沒(méi)有明確禁止的地方快速行動(dòng)。

現(xiàn)在，規(guī)則開(kāi)始慢慢收緊——先是版權(quán)，再是芯片，現(xiàn)在又是 API……誰(shuí)在制定規(guī)則？誰(shuí)受益于規(guī)則？誰(shuí)一邊打著人類(lèi)的旗號(hào)，卻濫用規(guī)則謀求私利？

這些問(wèn)題的答案，都越來(lái)越清晰。

附上參考地址：

https://www.interconnects.ai/p/how-much-does-distillation-really

歡迎加入 APPSO AI 社群，一起暢聊 AI 產(chǎn)品，獲取，解鎖更多 AI 新知

我們正在招募伙伴

簡(jiǎn)歷投遞郵箱hr@ifanr.com

?? 郵件標(biāo)題「姓名+崗位名稱(chēng)」（請(qǐng)隨簡(jiǎn)歷附上項(xiàng)目/作品或相關(guān)鏈接）