之前寫(xiě)DeepSeek R1論文解讀的時(shí)候，有個(gè)細(xì)節(jié)我一直沒(méi)想通。

他們的Cold Start流程是用R1-Zero生成推理軌跡，過(guò)濾后當(dāng)訓(xùn)練數(shù)據(jù)。這就是合成數(shù)據(jù)。但按信息論的說(shuō)法，這不應(yīng)該有用。數(shù)據(jù)處理不等式說(shuō)得很清楚：對(duì)數(shù)據(jù)做確定性變換，信息只會(huì)減少不會(huì)增加。你沒(méi)引入新數(shù)據(jù)，信息從哪來(lái)？

但它就是有用。效果比純?nèi)祟?lèi)標(biāo)注數(shù)據(jù)還好。

不止DeepSeek。AlphaZero從幾KB的圍棋規(guī)則自我對(duì)弈，生成了百萬(wàn)字節(jié)的戰(zhàn)略知識(shí)。整個(gè)AI行業(yè)都在大規(guī)模使用合成數(shù)據(jù)，而且越用越多。理論說(shuō)不行，實(shí)踐說(shuō)行。

這個(gè)矛盾困擾我挺久的。直到最近讀到CMU和NYU的一篇論文，叫《From Entropy to Epiplexity》。它提出了一個(gè)新概念，核心觀點(diǎn)就一句話：信息不是數(shù)據(jù)的固有屬性，而是取決于誰(shuí)在看、用多少算力去看。

這不只解釋了合成數(shù)據(jù)的問(wèn)題。它還回答了幾個(gè)做AI的人一直憑直覺(jué)知道但說(shuō)不清楚的事：為什么數(shù)據(jù)質(zhì)量比數(shù)據(jù)量重要？為什么LLM的泛化能力遠(yuǎn)強(qiáng)于視覺(jué)模型？為什么訓(xùn)練數(shù)據(jù)的順序會(huì)影響效果？

香農(nóng)忽略了什么

要理解這些，得先看看經(jīng)典信息論到底假設(shè)了什么。

1948年，克勞德·香農(nóng)發(fā)表了《通信的數(shù)學(xué)理論》。他用熵這個(gè)概念，第一次精確定義了信息的度量方式。從電報(bào)到WiFi到5G，整個(gè)現(xiàn)代通信的理論基礎(chǔ)都是這篇論文。

但香農(nóng)的框架有一個(gè)隱含假設(shè)，很少有人注意到：

它假設(shè)觀察者的計(jì)算能力是無(wú)限的。

在通信領(lǐng)域，這沒(méi)問(wèn)題。發(fā)送端編碼、接收端解碼，編解碼器的算力不是瓶頸。但如果觀察者是一個(gè)正在學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)呢？它的參數(shù)量有限，訓(xùn)練時(shí)間有限，算力有限。這時(shí)候，香農(nóng)的框架就出現(xiàn)了裂縫。

具體來(lái)說(shuō)，經(jīng)典信息論有三條推論。乍一聽(tīng)都很合理，但做AI的人會(huì)覺(jué)得哪里不對(duì)：

一、確定性變換不能創(chuàng)造信息（數(shù)據(jù)處理不等式）。

二、信息和數(shù)據(jù)的排列順序無(wú)關(guān)。

三、如果模型完美匹配了數(shù)據(jù)分布，它就學(xué)會(huì)了數(shù)據(jù)中的一切。

每一條，在AI實(shí)踐中都被證明是錯(cuò)的。第一條的反例開(kāi)頭已經(jīng)說(shuō)了——合成數(shù)據(jù)不應(yīng)該有用，但它就是有用。后面兩條也一樣站不住腳。

倒著讀一本書(shū)，信息一樣多？

香農(nóng)信息論和柯?tīng)柲缏宸驈?fù)雜度都認(rèn)為，信息的度量與數(shù)據(jù)排列順序無(wú)關(guān)。一篇從前往后寫(xiě)的英文文章和同一篇字母倒過(guò)來(lái)排列的文章，「信息量」應(yīng)該完全相同。

但做過(guò)大模型訓(xùn)練的人知道，從左到右讀英文的訓(xùn)練效果，明顯好于倒著讀。

密碼學(xué)給了一個(gè)更極端的例子。RSA加密的核心是：兩個(gè)大素?cái)?shù)相乘很容易，一步就算完。但從乘積反推回兩個(gè)素?cái)?shù)？目前沒(méi)有已知的高效算法。

同樣的信息，一個(gè)方向輕松提取，另一個(gè)方向幾乎不可能。

如果信息真的和順序無(wú)關(guān)，這種不對(duì)稱(chēng)性不應(yīng)該存在。

4條規(guī)則能涌現(xiàn)出多少知識(shí)

第三個(gè)悖論可能是最有意思的。

經(jīng)典觀點(diǎn)說(shuō)，如果一個(gè)模型完美匹配了訓(xùn)練數(shù)據(jù)的概率分布（困惑度最低），它就「學(xué)會(huì)了」數(shù)據(jù)中的所有信息。

但Conway的生命游戲只有4條簡(jiǎn)單規(guī)則：細(xì)胞根據(jù)鄰居數(shù)量存活或死亡。就這4條。從這4條規(guī)則出發(fā)，會(huì)涌現(xiàn)出滑翔機(jī)（glider）、振蕩器（oscillator）等各種復(fù)雜的動(dòng)態(tài)結(jié)構(gòu)。

這些結(jié)構(gòu)不在規(guī)則里。你盯著規(guī)則看，怎么看都看不出來(lái)會(huì)有「滑翔機(jī)」這種東西。但它們確實(shí)存在，而且是可學(xué)習(xí)的模式。一個(gè)足夠強(qiáng)的模型，能從這4條規(guī)則中學(xué)到遠(yuǎn)比規(guī)則本身豐富得多的知識(shí)。

三個(gè)悖論指向同一個(gè)漏洞：經(jīng)典信息論沒(méi)有考慮觀察者的計(jì)算能力。

信息取決于誰(shuí)在看

今年1月，CMU和NYU的六位研究者發(fā)了一篇論文，叫《From Entropy to Epiplexity》。作者之一Andrew Gordon Wilson說(shuō)他們研究了近兩年，「抑制不住地興奮」。

說(shuō)實(shí)話，「信息取決于觀察者算力」這個(gè)直覺(jué)不算全新。2020年的V-information論文就證明了計(jì)算約束下信息可以被「創(chuàng)造」，直接違反了DPI。更早的1988年，Bennett提出過(guò)邏輯深度（logical depth），1996年物理學(xué)家Gell-Mann提出過(guò)有效復(fù)雜度（effective complexity），都從不同角度摸到了類(lèi)似的東西。ML社區(qū)在實(shí)踐中也早就知道特征工程和數(shù)據(jù)增強(qiáng)能提升性能，跟DPI矛盾，只是沒(méi)人太在意理論解釋。

但之前的工作更像是散落的碎片，各自解釋一個(gè)側(cè)面。這篇論文的價(jià)值在于把這些直覺(jué)整合成了一套完整框架，同時(shí)覆蓋合成數(shù)據(jù)、數(shù)據(jù)排序、涌現(xiàn)等多個(gè)現(xiàn)象，而且給出了可操作的測(cè)量方法。不只是說(shuō)「有這么回事」，而是說(shuō)「怎么量、怎么用」。

他們的核心思路很優(yōu)雅：把數(shù)據(jù)中的信息拆成兩部分。

第一部分叫 Epiplexity（認(rèn)知復(fù)雜度）。在給定算力范圍內(nèi)，觀察者能從數(shù)據(jù)中提取的可學(xué)習(xí)結(jié)構(gòu)。

第二部分叫 Time-bounded Entropy（時(shí)間有界熵）。在給定算力范圍內(nèi)，看起來(lái)像隨機(jī)噪聲的那部分。

關(guān)鍵來(lái)了：同一份數(shù)據(jù)，對(duì)不同算力的觀察者，這兩個(gè)量是不同的。

算力越強(qiáng)，能看到的結(jié)構(gòu)越多（epiplexity升高），噪聲變少（entropy降低）。算力越弱，結(jié)構(gòu)藏在「看不見(jiàn)」的地方，整個(gè)數(shù)據(jù)更像噪聲。

打個(gè)比方。同一本醫(yī)學(xué)教材，對(duì)醫(yī)學(xué)生來(lái)說(shuō)，里面滿(mǎn)是可學(xué)習(xí)的結(jié)構(gòu)（高epiplexity）——癥狀和疾病之間的關(guān)聯(lián)、用藥邏輯、鑒別診斷的決策樹(shù)。對(duì)小學(xué)生來(lái)說(shuō)，同樣的內(nèi)容大部分看起來(lái)像噪聲（高entropy，低epiplexity）。數(shù)據(jù)沒(méi)變。變的是觀察者的「算力」。

對(duì)AI模型也一樣。同一份訓(xùn)練數(shù)據(jù)，GPT-2和GPT-4能從中提取的結(jié)構(gòu)量完全不同。不是數(shù)據(jù)變了，是模型的算力變了。

密碼學(xué)給了一個(gè)特別漂亮的驗(yàn)證。偽隨機(jī)數(shù)生成器產(chǎn)生的序列，多項(xiàng)式時(shí)間的觀察者幾乎不可能與真隨機(jī)數(shù)區(qū)分。所以它的time-bounded entropy接近最大值（看起來(lái)全是噪聲），但epiplexity幾乎為零（沒(méi)有可學(xué)習(xí)的結(jié)構(gòu)）。

翻譯成人話：你的算力不夠，你就發(fā)現(xiàn)不了數(shù)據(jù)里的規(guī)律。對(duì)你來(lái)說(shuō)，它就是噪聲。

這不是一個(gè)哲學(xué)觀點(diǎn)。論文給出了嚴(yán)格的數(shù)學(xué)定義和證明。

這把尺子量出了什么

理論漂亮是一回事，能不能用是另一回事。研究者拿這個(gè)框架實(shí)際測(cè)量了，結(jié)果挺值得說(shuō)。

文本數(shù)據(jù)的epiplexity遠(yuǎn)高于圖像數(shù)據(jù)。

這可能是第一次從信息論角度解釋「為什么語(yǔ)言模型比視覺(jué)模型泛化更強(qiáng)」。文本里藏著更密集的可學(xué)習(xí)結(jié)構(gòu)，所以LLM學(xué)到的東西能遷移到更多下游任務(wù)。我們直覺(jué)上一直知道，但缺少理論解釋。

他們還用國(guó)際象棋做了實(shí)驗(yàn)。用不同數(shù)據(jù)集預(yù)訓(xùn)練模型，測(cè)試在從未見(jiàn)過(guò)的棋局上的表現(xiàn)。結(jié)果很清楚：高epiplexity數(shù)據(jù)集訓(xùn)練出的模型，在新棋局上明顯更強(qiáng)。

更實(shí)用的是，測(cè)量方法出奇簡(jiǎn)單。

他們提出了一種叫 prequential coding 的估計(jì)方法，核心思想是看訓(xùn)練損失曲線。損失從高到低下降的「面積」越大，說(shuō)明模型從數(shù)據(jù)中學(xué)到了越多結(jié)構(gòu)，epiplexity越高。

你不需要復(fù)雜的數(shù)學(xué)推導(dǎo)。看訓(xùn)練曲線，就能大致判斷數(shù)據(jù)質(zhì)量。

回到那個(gè)問(wèn)題

前面三個(gè)悖論現(xiàn)在都能解釋了。

合成數(shù)據(jù)為什么有用？因?yàn)閿?shù)據(jù)處理不等式假設(shè)了無(wú)限算力的觀察者。對(duì)無(wú)限算力來(lái)說(shuō)，確定性變換確實(shí)不增加信息。但對(duì)有限算力的模型來(lái)說(shuō)，一個(gè)好的合成過(guò)程可以把隱藏的結(jié)構(gòu)變成可學(xué)習(xí)的結(jié)構(gòu)，提高epiplexity。

數(shù)據(jù)順序?yàn)槭裁粗匾?？因?yàn)橛邢匏懔Φ挠^察者從不同方向提取信息的難度是不對(duì)稱(chēng)的。從左到右和從右到左，對(duì)無(wú)限算力沒(méi)區(qū)別，但對(duì)有限算力有巨大差異。

涌現(xiàn)為什么發(fā)生？因?yàn)橛邢匏懔Φ挠^察者能發(fā)現(xiàn)生成規(guī)則本身沒(méi)有明確包含的模式。規(guī)則簡(jiǎn)單，但規(guī)則運(yùn)行的結(jié)果中蘊(yùn)含的可學(xué)習(xí)結(jié)構(gòu)遠(yuǎn)超規(guī)則本身。

飛輪還在轉(zhuǎn)嗎

之前寫(xiě)Ilya Sutskever那篇文章時(shí)，他說(shuō)：「2020到2025是規(guī)模時(shí)代，但現(xiàn)在規(guī)模已經(jīng)夠大了?！购芏嗳擞X(jué)得scaling law快到頭了，原因很簡(jiǎn)單：世界上的高質(zhì)量文本數(shù)據(jù)快用完了。

但這引出了一個(gè)更大膽的問(wèn)題：如果更好的模型能生成更好的合成數(shù)據(jù)，更好的合成數(shù)據(jù)又能訓(xùn)練出更好的模型，這個(gè)飛輪能一直轉(zhuǎn)下去嗎？

直覺(jué)上覺(jué)得不行。合成數(shù)據(jù)不能憑空創(chuàng)造關(guān)于真實(shí)世界的新知識(shí)。AlphaZero學(xué)到的所有戰(zhàn)略，本質(zhì)上都是圍棋規(guī)則的推論，不是新的物理定律。你不可能靠AI生成數(shù)據(jù)來(lái)教AI它不知道的事實(shí)。這像是踩著自己的腳想把自己舉起來(lái)。

但epiplexity給了一個(gè)不同的視角。

合成數(shù)據(jù)做的事情不是「增加知識(shí)」，而是「提高結(jié)構(gòu)密度」。你有一本沒(méi)目錄、沒(méi)索引的百科全書(shū)。一個(gè)好的合成過(guò)程相當(dāng)于給它重新排版、標(biāo)注重點(diǎn)、加上交叉引用。信息沒(méi)變，但對(duì)有限算力的讀者來(lái)說(shuō)，可學(xué)習(xí)的結(jié)構(gòu)變多了。epiplexity提高了。

所以飛輪可能還在。只是驅(qū)動(dòng)它的東西變了：從「更多的數(shù)據(jù)」變成「更高密度的結(jié)構(gòu)」。不是加油，是換擋。

不過(guò)有一個(gè)關(guān)鍵前提：你需要一種方法來(lái)驗(yàn)證合成數(shù)據(jù)的質(zhì)量。代碼可以編譯運(yùn)行，數(shù)學(xué)可以形式化證明，所以這兩個(gè)領(lǐng)域的合成飛輪最先跑通了。Demis Hassabis也說(shuō)過(guò)，代碼和數(shù)學(xué)可以靠合成數(shù)據(jù)無(wú)限生成訓(xùn)練素材，正是因?yàn)橛凶詣?dòng)驗(yàn)證。

沒(méi)有驗(yàn)證機(jī)制的領(lǐng)域呢？模型生成的「知識(shí)」可能只是幻覺(jué)。這時(shí)候合成數(shù)據(jù)不但不增加epiplexity，反而引入noise。Nature上那篇model collapse論文就是這個(gè)警告：純合成數(shù)據(jù)訓(xùn)練，模型會(huì)不可避免地退化。

所以更準(zhǔn)確地說(shuō)：飛輪能不能轉(zhuǎn)，取決于你有沒(méi)有驗(yàn)證器。有驗(yàn)證器的領(lǐng)域（代碼、數(shù)學(xué)、游戲），踩自己的腳上天是可能的。沒(méi)有驗(yàn)證器的領(lǐng)域，自舉大概率坍縮。

所有人都在說(shuō)data quality matters，但一直沒(méi)人能精確定義什么是quality。Epiplexity給了一個(gè)候選答案：高epiplexity的數(shù)據(jù)就是高質(zhì)量的數(shù)據(jù)。而驗(yàn)證器，是確保合成數(shù)據(jù)確實(shí)有高epiplexity的守門(mén)員。

Karpathy之前在訪談里說(shuō)過(guò)一個(gè)觀點(diǎn)，我印象很深：人類(lèi)記憶差，反而是優(yōu)勢(shì)。因?yàn)橛洃浟Σ缓?，迫使人?lèi)去尋找模式，而不是死記硬背。LLM的問(wèn)題恰恰相反，過(guò)度記憶，反而忽略了可以泛化的規(guī)律。

用epiplexity的語(yǔ)言重新說(shuō)這句話：人類(lèi)的有限算力反而迫使我們只提取高epiplexity的結(jié)構(gòu)，忽略noise。而LLM的巨大參數(shù)量讓它可以把noise也記住，結(jié)果反而泛化變差。

費(fèi)曼說(shuō)過(guò)：「如果你不能簡(jiǎn)單地解釋它，說(shuō)明你還不理解它?！?/p>

我做了兩年多內(nèi)容，最大的體會(huì)是邊學(xué)、邊做、邊分享形成的飛輪。當(dāng)你試圖教別人一個(gè)概念，費(fèi)曼學(xué)習(xí)法會(huì)逼你把東西梳理得更清楚?，F(xiàn)在我覺(jué)得這個(gè)過(guò)程可以用一個(gè)更精確的詞來(lái)描述：你在用有限的算力（時(shí)間、注意力、已有知識(shí)），從數(shù)據(jù)中提取結(jié)構(gòu)。提取得越多，你就越「理解」了這個(gè)東西。

同一份數(shù)據(jù)，不同的人看到不同的信息。這不是雞湯。這是一個(gè)數(shù)學(xué)事實(shí)。

只是信息論花了70年才真正意識(shí)到它。

論文地址：https://arxiv.org/abs/2601.03220