前段時間，硅谷 AI 御三家 OpenAI 、 Anthropic 和谷歌十分罕見地，組成了”復(fù)仇者聯(lián)盟“。

根據(jù)彭博社的報道，平時恨不得卷死對方的哥仨，現(xiàn)在正通過一個”前沿模型論壇“分享信息，目的很明確，就是要聯(lián)手揪出那些對抗性蒸餾行為。

不明白這個所謂的“對抗性蒸餾行為”是啥，沒關(guān)系，但世超想說，這一次，明顯是沖著國內(nèi)大模型來的。

如果把時間線往回拉到今年 2 月份，沖突其實就已經(jīng)擺上了臺面。

當時， Anthropic 甩出了一份調(diào)查報告，公開點名 DeepSeek、月之暗面和 MiniMax，說這三家公司弄了大概 2.4 萬個欺詐賬戶，跟 Claude 交互超過 1600 萬次，然后把套出來的精華數(shù)據(jù)全拿去訓(xùn)練自家的模型去了。

在這份報告里，每家公司進行蒸餾的規(guī)模有多大、行動目標是啥，都寫得一清二楚。

就比如陣仗最大的 MiniMax ，一家就發(fā)起了超 1300 萬次交互，而且跟得很緊， Anthropic 新模型剛發(fā)布，他們就重新調(diào)整了流量方向。

DeepSeek蒸餾的規(guī)模相對小，只有超過 15 萬次的交互，但專門盯著思維鏈下手。

當然，把這些交互行為定義為“對抗性蒸餾”，純屬 Anthropic 的一面之詞，因為沒法兒證明人家用你的數(shù)據(jù)去訓(xùn)練模型了。

不過，因為蒸餾破防的還不只 Anthropic 一家。

差不多時間，OpenAI 也跑到美國國會那邊告御狀，指控 DeepSeek 通過模型蒸餾技術(shù)，違規(guī)復(fù)制了他們的產(chǎn)品功能。

所以世超覺著，這次三家聯(lián)手可能是要動真格的了。

不過，在聊“反蒸餾”之前，我們可能得先弄清楚，這個讓巨頭們?nèi)缱槡值摹罢麴s”，到底是個啥技術(shù)？

其實這玩意兒也沒那么玄乎，大家都知道，模型訓(xùn)練費算力、費數(shù)據(jù)還費時間，而蒸餾的邏輯是，即使你手頭的資源有限，只要找到一個名師帶帶你，同樣能在短時間內(nèi)，訓(xùn)練出一個跟老師有七八成像的學(xué)霸。

核心在于學(xué)習“軟標簽”，也就是大模型輸出的概率分布。

放在三年前，當時的 API 環(huán)境比現(xiàn)在寬松得多，名師不僅給你答案，還會吐出概率分布，方便搞科研。

但后面不知道咋回事兒，模型大廠們都紛紛把門焊死了，像 OpenAI 他們家的 API 就規(guī)定只能看到前 5 個概率最高的詞。

所以蒸餾的思路就變成了黑盒蒸餾、思維鏈蒸餾，包括 Anthropic 、 OpenAI 口中的蒸餾攻擊，很多說的都是思維、邏輯上的模仿。

這種蒸餾方式，就需要大量地調(diào)用API。

具體操作上，你得寫個腳本沒日沒夜地向老師提問，不光要拿到標準答案，還要看老師是怎么回答問題的，中間轉(zhuǎn)了幾個彎、避開了哪些坑，然后再把這些名師教案打包回家，反手喂給自家的模型。

用較低的成本，快速復(fù)刻頂級模型的能力，這就是蒸餾。

換句話說，硅谷 AI 三巨頭是在指責，咱們國內(nèi)的模型廠商偷師。

但仔細一想，這事兒又處處透著詭異。

因為不管是結(jié)盟，還是公開指控，目前看下來都是他們幾家巨頭在那自說自話。

整個事情看下來讓人不得不懷疑，他們口中的“對抗性”蒸餾到底是不是一個偽命題，以及，合法蒸餾和對抗性蒸餾的界限又在哪里？

蒸餾這項技術(shù)在圈子里算不上什么行業(yè)機密，不過咱們大多數(shù)普通人接觸到這個詞，大概率還是因為去年初 DeepSeek 發(fā)布 R1 ，順帶吃瓜吃到的。

當時 R1 模型剛炸場不久，微軟和 OpenAI 就針對 DeepSeek 展開了調(diào)查，說是懷疑它非法竊取了 OpenAI 的數(shù)據(jù)來訓(xùn)練模型。

話里話外都在點草，咱家孩子考試成績突然逆天，是因為抄了他們的答案。

可能因為 R1 正式露面前，有用戶在跟 DeepSeek V3 對話的時候，發(fā)現(xiàn)了一個很離譜的現(xiàn)象，如果你問它“你是什么模型”，它有時會回答自己是 ChatGPT 。。。所以才引來了不少外界的猜疑。

但這事兒， DeepSeek 后面專門在論文的補充材料里作了解釋，說是 DeepSeek－V3－Base 的預(yù)訓(xùn)練數(shù)據(jù)完全來自互聯(lián)網(wǎng)，沒有刻意使用合成數(shù)據(jù)。

打那之后，蒸餾在業(yè)內(nèi)就一直頗受爭議。

理論上，蒸餾是一項合法的技術(shù)， 一些模型公司也會自己蒸餾模型給企業(yè)客戶去做定制。

但“對抗性蒸餾”，也就是用戶利用服務(wù)或輸出開發(fā)競爭模型，在 OpenAI 、 Anthropic 等公司的用戶使用條款里，是普遍被禁止的。

理由很簡單，你開發(fā)一個頂級模型，大把大把地往里燒錢、燒卡，如果競爭對手只花了幾十萬美金調(diào)用 API ，就能偷學(xué)走七八分，這跟直接從你兜里搶錢沒區(qū)別。

為了保證自己的領(lǐng)先地位和商業(yè)利潤，巨頭們心里不平衡，想把這道門焊死，也是人之常情。

除此之外，在 Anthropic 的那份調(diào)查報告里，也提到了反蒸餾的另外一層考量。

正常情況下，模型在發(fā)布之前都要進行紅隊測試來評估風險，目的就是為了建立一套安全護欄，防止模型教人制造生物武器、編寫惡意代碼又或者是搞點種族歧視的言論。

問題在于，蒸餾不會蒸這些。

這就導(dǎo)致了非法蒸餾出來的模型，很可能成為一個隱患。

所以世超覺著，這次三巨頭跳出來聯(lián)合抵制，雖然有商業(yè)競爭上的私心，但在技術(shù)風險上確實也說得通。

但話又說回來， Anthropic 的這份報告把蒸餾抬到了威脅國家安全的角度，在時間點上，又很值得揣摩。

就在報告發(fā)出來的前腳，Anthropic正因為開不開后門的事情，跟五角大樓鬧得很僵。

所以一個猜測，當時他們選擇在 CEO 趕去五角大樓談判的前一天，發(fā)出來這么一份強調(diào)國家安全的報告，有沒有可能是想爭取一點談判空間？

當然了，后續(xù)大家伙兒也都知道，沒談攏。

諷刺的地方在于，這些舉著反蒸餾、反抄襲大旗的巨頭們，因為大肆在互聯(lián)網(wǎng)上抓數(shù)據(jù)，也沒少被官司找上門。

一向看熱鬧不嫌事大的馬斯克，在 Anthropic 的調(diào)查報告發(fā)出來沒多久，直接在 X 上嘲諷開大。說 Anthropic 才是那個大規(guī)模盜取數(shù)據(jù)、還為此賠了數(shù)十億美金的慣犯。

包括零一萬物CEO李開復(fù)也跳出來說，因為作品侵權(quán)，Anthropic 還欠他3000美金。

抓別人的作品來訓(xùn)練數(shù)據(jù)的時候，你管那叫“人類知識共享”，現(xiàn)在輪到別人來學(xué)你了，你就管這叫“工業(yè)級攻擊”了？

說白了，到底算不算偷，怎么才算偷？在大模型領(lǐng)域里還屬于一片灰色地帶。

別鬧到最后，整成全員惡人了。

撰文：西西

編輯：江江&面線

美編：素描

圖片、資料來源：

X、彭博社

Anthropic，Detecting and preventing distillation attacks