這項由研究者Prashant C. Raju進(jìn)行的研究發(fā)表于2026年4月5日，論文編號為arXiv:2604.04155v1 [cs.LG]。有興趣深入了解的讀者可以通過該編號查詢完整論文內(nèi)容。

在我們?nèi)粘Ｉ钪?，世界是連續(xù)的。水流是流暢的，溫度變化是漸進(jìn)的，音樂的音調(diào)是平滑過渡的。然而，當(dāng)科學(xué)家們試圖讓人工智能理解生物學(xué)和物理學(xué)時，卻遇到了一個根本性問題：他們必須把這個連續(xù)的世界切割成一個個離散的小塊，就像用積木搭建一個光滑的斜坡一樣。

研究者發(fā)現(xiàn)了一個被稱為"幾何對齊稅"的隱形代價。這個概念就像是給連續(xù)性征收的一種特殊稅收。當(dāng)AI模型試圖理解DNA序列、蛋白質(zhì)結(jié)構(gòu)或物理現(xiàn)象時，它們必須先把這些本質(zhì)上連續(xù)的自然現(xiàn)象轉(zhuǎn)換成離散的符號代碼，然后再進(jìn)行處理。這個轉(zhuǎn)換過程就像用方塊積木搭建圓形，無論積木多么小，最終的結(jié)果都不可能真正平滑。

這項研究的核心發(fā)現(xiàn)令人震驚：在生物學(xué)和物理學(xué)的AI模型中，離散代碼化是導(dǎo)致幾何不穩(wěn)定的主要原因，而不是模型架構(gòu)本身的問題。研究團(tuán)隊通過精心設(shè)計的對比實驗證明，同樣的模型架構(gòu)，當(dāng)使用連續(xù)數(shù)值輸出時，幾何穩(wěn)定性比使用離散代碼輸出時要好8.5倍。

這個發(fā)現(xiàn)的重要性在于，目前評估科學(xué)AI模型的標(biāo)準(zhǔn)都集中在預(yù)測準(zhǔn)確性上，比如困惑度、準(zhǔn)確率等指標(biāo)，但這些指標(biāo)完全忽略了模型內(nèi)部表示是否保持了它們所建模系統(tǒng)的連續(xù)幾何特性。這就像評判一個畫家只看他用了多少種顏色，而不看畫作是否真實反映了現(xiàn)實世界的連續(xù)性和和諧性。

一、積木搭斜坡的困境

為了讓普通讀者理解這個問題的本質(zhì)，我們可以用一個簡單的比喻。假設(shè)你要用長方形積木搭建一個光滑的斜坡供彈珠滾下。直覺上，你可能會認(rèn)為使用更小的積木就能讓斜坡更加平滑。確實，從遠(yuǎn)處看，用小積木搭建的斜坡確實比用大積木搭建的看起來更光滑。

但當(dāng)彈珠真的滾下來時，真相就顯露了。每一個微小的積木邊緣都會給彈珠造成一個細(xì)小的方向擾動。雖然單個擾動很小，但這些微小的角度誤差會累積。最關(guān)鍵的是，當(dāng)積木變小時，彈珠滾到底部時的累計角度誤差并不會消失，而是以極其緩慢的速度減小，以至于在實際應(yīng)用中，我們永遠(yuǎn)無法達(dá)到真正的平滑。

這個斜坡實際上不是平滑的，它只是一個高分辨率的粗糙表面近似。目前的科學(xué)AI模型就面臨著完全相同的結(jié)構(gòu)性分歧。它們將連續(xù)數(shù)據(jù)量化成離散詞匯表，然后進(jìn)行處理。增加參數(shù)數(shù)量和上下文窗口確實會縮小詞匯表箱子之間的步長，最小化宏觀錯誤，創(chuàng)造幾何保真度的錯覺。但底層的流形仍然是破碎的，這種破碎受到縮放定律的支配，使得收斂變得極其緩慢。

研究團(tuán)隊設(shè)計了一系列巧妙的對比實驗來證明這一點。他們使用了三種不同的AI架構(gòu)：Transformer（類似于ChatGPT使用的注意力機(jī)制）、狀態(tài)空間模型SSM（一種新興的連續(xù)時間架構(gòu)）和混合型架構(gòu)。當(dāng)這些架構(gòu)在具有已知連續(xù)幾何特性的合成動力系統(tǒng)上進(jìn)行訓(xùn)練時，使用連續(xù)目標(biāo)函數(shù)的三種架構(gòu)在幾何穩(wěn)定性方面只相差1.3倍。

然而，當(dāng)同樣的架構(gòu)被迫使用離散代碼化時，情況發(fā)生了戲劇性變化。在一個生物突變行走實驗中，三種架構(gòu)的表現(xiàn)相差高達(dá)3000倍。這種巨大的差異不是來自架構(gòu)設(shè)計的不同，而是來自代碼化方法的差異。同樣的編碼器，同樣的訓(xùn)練數(shù)據(jù)，同樣的擾動協(xié)議，唯一的變量就是輸出離散化邊界。

二、學(xué)習(xí)型代碼本的雙重困境

一些讀者可能會想，既然簡單的均勻分箱會造成問題，那么使用更智能的學(xué)習(xí)型代碼本（Vector Quantization，VQ）是否能解決這個問題呢？研究團(tuán)隊預(yù)見了這個質(zhì)疑，專門設(shè)計了實驗來測試這種想法。

他們使用了VQ k-means代碼本，測試了六種不同大小的代碼本（從32個代碼到1024個代碼）。結(jié)果揭示了一個令人困擾的雙重困境。一方面，重建質(zhì)量隨著代碼本大小的增加而單調(diào)改善：從32個代碼時的重建誤差0.098，改善到1024個代碼時的0.00014，證明代碼本確實學(xué)會了如何更好地表示數(shù)據(jù)。

但另一方面，幾何穩(wěn)定性卻呈現(xiàn)出一個奇怪的非單調(diào)模式。在64個代碼時存在一個淺層最優(yōu)點（失真度0.073），略好于256箱均勻基線（0.096），但隨著代碼本變大，失真度反而增加：512個代碼時為0.100，1024個代碼時為0.105，兩者都比均勻基線更差。

這種現(xiàn)象的機(jī)制很直觀：更精細(xì)的Voronoi單元格使得固定幅度的擾動更有可能跨越單元格邊界。因此，在重建意義上更好的代碼化反而使幾何變得更差。實證幾何失真遵循1/log K的縮放規(guī)律，這遠(yuǎn)比人們天真預(yù)期的添加代碼本條目時的1/K縮放要慢得多。這種緩慢的衰減反映了擾動下邊界跨越的幾何特性，而非重建質(zhì)量，這意味著需要指數(shù)級更多的代碼才能接近連續(xù)性能。

三、規(guī)?；南葳?/p>

研究團(tuán)隊還發(fā)現(xiàn)了一個令人擔(dān)憂的現(xiàn)象：隨著AI模型變得越來越大，幾何穩(wěn)定性問題不但沒有改善，反而變得更加嚴(yán)重。他們以ESM-2蛋白質(zhì)Transformer套件為例進(jìn)行了詳細(xì)分析，該套件包含從800萬到150億參數(shù)的六個不同規(guī)模的模型。

結(jié)果顯示，從800萬參數(shù)到30億參數(shù)，復(fù)合穩(wěn)定性呈單調(diào)下降趨勢：從0.463下降到0.391。這種漸進(jìn)式的稅收橫跨了近四個數(shù)量級的參數(shù)。然后，150億參數(shù)的檢查點似乎"恢復(fù)"到了0.445，表現(xiàn)出一個V形曲線。

但這種"恢復(fù)"是誤導(dǎo)性的。研究團(tuán)隊通過一種叫做Procrustes縮減的技術(shù)量化了全局漂移。他們發(fā)現(xiàn)，150億參數(shù)模型在1%替換下實現(xiàn)了約5%的縮減率，在序列反轉(zhuǎn)下上升到約20%。這表明流形作為一個連貫塊全局漂移，同時保持內(nèi)部相對結(jié)構(gòu)，這是"無系泊凝膠"的標(biāo)志。

這種現(xiàn)象就像一個完整的果凍塊在盤子里滑動。從外部看，果凍內(nèi)部的相對位置關(guān)系保持不變，所以某些測量指標(biāo)會顯示"穩(wěn)定"。但實際上，整個果凍塊已經(jīng)偏離了它應(yīng)該在的位置，這種全局漂移對實際應(yīng)用來說是破壞性的。

四、DNA反向互補(bǔ)的虛假成功

研究中最引人注目的發(fā)現(xiàn)之一涉及DNA序列的反向互補(bǔ)特性。由于雙螺旋的結(jié)構(gòu)生物化學(xué)特性，每條DNA鏈都具有數(shù)學(xué)上完美的連續(xù)對稱性：反向互補(bǔ)。因為一條序列及其反向互補(bǔ)編碼完全相同的生物學(xué)信息，一個在幾何上有根據(jù)的模型必須將兩者映射到相同或完全對稱的表示流形。

為了確定原因，研究團(tuán)隊設(shè)計了一個巧妙的四條件對照實驗，稱為"紋理假設(shè)測試"。他們測試了四種不同類型的DNA序列：真實人類chr22序列、純隨機(jī)序列、紋理匹配的馬爾科夫序列（只保留群體水平的雙核苷酸頻率），以及雙核苷酸洗牌的真實DNA（保留每個序列的精確k-mer計數(shù)，但破壞所有位置結(jié)構(gòu)）。

結(jié)果令人震驚：雙核苷酸洗牌的真實DNA恢復(fù)了真實隨機(jī)差距的97%，而紋理匹配的馬爾科夫序列只恢復(fù)了3%。這個結(jié)果明確揭示了機(jī)制：Evo 2的嵌入功能就像高維的每序列k-mer直方圖。反向互補(bǔ)保留精確的k-mer計數(shù)，所以正向和反向互補(bǔ)產(chǎn)生對稱的直方圖，模型的權(quán)重等價地聚合它們。

通過雙核苷酸洗牌破壞位置結(jié)構(gòu)仍保持這種對應(yīng)關(guān)系，因為每序列直方圖保持不變。通過馬爾科夫生成只匹配群體水平統(tǒng)計失敗，是因為個體序列失去了它們獨特的組成指紋，崩潰了RDM測量的每序列配對結(jié)構(gòu)。這是一個受控的因果結(jié)果：Evo 2不理解雙鏈DNA對稱性，它只是在計算短子序列。

五、信息論揭示的三大失效模式

研究團(tuán)隊通過率失真理論和互信息神經(jīng)估計（MINE）技術(shù)，識別出了現(xiàn)代生物學(xué)基礎(chǔ)模型中三種不同的失效模式。這些失效模式就像三種不同類型的"疾病"，每種都有其獨特的癥狀和表現(xiàn)。

第一種失效模式被稱為"局部-全局解耦"。在這種模式下，模型通過固定嵌入到短程組成來最小化局部失真，但犧牲了維持長程結(jié)構(gòu)所需的全局互信息。幾何在局部得到保持，生物學(xué)連貫性在全局丟失。從幾何角度看，這表現(xiàn)為研究中識別的"無系泊凝膠"特征：高Procrustes縮減表明連貫的全局漂移。大規(guī)模ESM-2（≥30億參數(shù)）和Evo 2都表現(xiàn)出這種模式。

第二種失效模式是"表示壓縮"。模型通過集中任務(wù)相關(guān)信息來最大化互信息，但付出完全的失真代價：流形在壓縮下扭曲，產(chǎn)生類似于"脆性玻璃"特征的幾何斷裂。這里的驅(qū)動因素是有意的信息集中而不是容量耗盡。OpenFold的Evoformer是這種模式的典型例子。

第三種失效模式最為矛盾，被稱為"幾何空虛"。模型通過不編碼任何東西來平凡地實現(xiàn)低失真。幾何之所以平滑，是因為流形在信息上是空的：互信息落在隨機(jī)噪聲底線之下。既不適用脆性玻璃也不適用無系泊凝膠的幾何特征，因為沒有信息可以斷裂或漂移。ProtMamba就是這種模式的典型代表。

通過對14個不同的生物學(xué)基礎(chǔ)模型進(jìn)行MINE分析，研究團(tuán)隊發(fā)現(xiàn)沒有任何一個離散代碼模型能夠同時實現(xiàn)低失真、高互信息和全局連貫性。每個模型都在不同的"貨幣"中支付稅收，但稅收總是要支付的。

六、實驗驗證：從合成數(shù)據(jù)到真實應(yīng)用

研究團(tuán)隊的實驗設(shè)計可以比作一場精心策劃的科學(xué)偵探工作。他們首先在完全受控的合成環(huán)境中進(jìn)行了因果證明，使用具有已知連續(xù)幾何特性的合成動力系統(tǒng)，包括疊加正弦波、阻尼諧振子和洛倫茲吸引子。

在基線離散交叉熵條件下，三種架構(gòu)都保持了洛倫茲吸引子動力學(xué)：最大李雅普諾夫指數(shù)估計值分別為0.036、0.038和0.038，都在真實值0.037的3%范圍內(nèi)。蝴蝶測試證實了所有架構(gòu)在所有5個種子下都保持了吸引子結(jié)構(gòu)。架構(gòu)間的幾何穩(wěn)定性差異是適中的。

但當(dāng)研究團(tuán)隊將分類交叉熵輸出頭替換為在MSE損失下訓(xùn)練的線性投影時，情況發(fā)生了根本性變化。編碼器主干（自注意層、位置嵌入、前饋塊）保持不變。這個單一修改消除了所有架構(gòu)的流形斷裂。在1%噪聲的洛倫茲數(shù)據(jù)集上，SmallBERT改善了2.8倍，SmallStripedHyena改善了8.5倍，成為整個研究中的最佳條件。

更令人印象深刻的是，連續(xù)條件下的架構(gòu)間差異從離散交叉熵下的0.072-0.157崩潰到0.0085-0.034。任何單一架構(gòu)內(nèi)的離散到連續(xù)差距都超過了任一體制下的跨架構(gòu)差距。這證明了問題的根源不在于注意力、遞歸或卷積機(jī)制，而在于將連續(xù)世界離散化的代價。

七、規(guī)模的詛咒

研究還揭示了一個反直覺的發(fā)現(xiàn)：更大的模型并不意味著更好的幾何穩(wěn)定性。事實上，恰恰相反。隨著參數(shù)數(shù)量的增加，交叉熵訓(xùn)練產(chǎn)生更尖銳和更多的決策邊界，每個都是嵌入流形中的不連續(xù)性。這是ESM-2中觀察到的單調(diào)穩(wěn)定性下降的源頭：更多容量能夠?qū)崿F(xiàn)更精細(xì)的分割，從而創(chuàng)造更多的斷裂表面。

這個現(xiàn)象可以這樣理解：如果把AI模型的內(nèi)部表示想象成一個復(fù)雜的地形圖，那么每增加一層參數(shù)就像在這個地形圖上增加更多的懸崖和峽谷。雖然這些額外的地形特征可能有助于模型區(qū)分不同的輸入，但它們也使得整個地形變得更加崎嶇不平，任何小的擾動都可能導(dǎo)致從一個懸崖跌落到另一個峽谷。

150億參數(shù)處的表觀穩(wěn)定性恢復(fù)是虛幻的。全局漂移掩蓋了局部斷裂而不是解決它。這種"無系泊凝膠"模式表明，大型模型學(xué)會了以一種保持內(nèi)部相對結(jié)構(gòu)的方式整體移動其表示，但這種移動對實際應(yīng)用是有害的，因為它破壞了表示與輸入空間的絕對對應(yīng)關(guān)系。

八、上下文長度的局限性

另一個重要發(fā)現(xiàn)涉及上下文長度擴(kuò)展的效果。研究團(tuán)隊評估了Evo 2模型在三種不同上下文窗口檢查點下的表現(xiàn)：8K、262K和1M代碼。在合成DNA上，SNP穩(wěn)定性增益是適中的：1% SNP RDM相似性從0.747（8K）上升到0.817（1M）。在真實chr22序列上，增益是邊際的：從0.990到0.993。

更讓人震驚的是，在上下文稅測試中（從1千堿基對信號區(qū)域分類大腸桿菌與人類），凍結(jié)頭準(zhǔn)確性為0.988（8K）、0.980（262K）、0.993（1M）：128倍更多的上下文幾乎沒有帶來幾何增益。這說明簡單地增加模型能夠"看到"的序列長度并不能解決根本的幾何問題。

這個結(jié)果特別重要，因為它表明當(dāng)前AI領(lǐng)域追求更長上下文窗口的趨勢可能并不會自動解決幾何對齊問題。就像給一個近視眼的人更大的望遠(yuǎn)鏡，如果基礎(chǔ)的光學(xué)系統(tǒng)有問題，增大鏡頭只會放大問題而不是解決問題。

九、后補(bǔ)對稱性的失敗嘗試

既然識別出了問題，自然的想法是通過后補(bǔ)的對稱性強(qiáng)制來解決它。研究團(tuán)隊測試了一種稱為RCCR（反向互補(bǔ)一致性正則化）的方法，這種方法在微調(diào)過程中最小化前向和反向互補(bǔ)序列的平均池化表示之間的L2距離。

RCCR確實實現(xiàn)了完美的每序列反向互補(bǔ)一致性：余弦差距從0.041降到0.000。但群體水平的幾何結(jié)構(gòu)卻惡化了：前向和反向互補(bǔ)嵌入矩陣之間的Procrustes差異增加了91%，反向互補(bǔ)RDM相似性變?yōu)樨?fù)值（-0.036），SNP擾動敏感性崩潰了兩個數(shù)量級。

這個結(jié)果說明，強(qiáng)制點對點對稱合規(guī)會平坦化嵌入景觀，而不是對齊其幾何。這就像試圖通過強(qiáng)制每個部分都對稱來修復(fù)一幅畫，結(jié)果卻把整幅畫變成了一張平淡無奇的對稱圖案，失去了原有的豐富細(xì)節(jié)和自然美感。幾何對齊稅不能簡化為缺失的對稱性；它是離散優(yōu)化景觀內(nèi)在的特性。

十、三種失效體制的深度剖析

通過率失真理論框架，研究團(tuán)隊將觀察到的失效模式形式化為三種不同的體制，每種都代表了在嚴(yán)格量化限制下最小化幾何失真的不同策略。

局部-全局解耦體制通過將嵌入錨定到短程組成來最小化局部失真，但犧牲了整合長程結(jié)構(gòu)所需的全局互信息。紋理假設(shè)測試確立了機(jī)制：Evo 2的嵌入功能作為每序列k-mer直方圖。MINE證實了信息淺薄性。全局互信息（完整8192代碼上下文，平均池化）超過局部互信息（128代碼窗口）僅14%。64倍的上下文增加幾乎買不到任何東西。

表示壓縮體制最大化互信息，但付出完全的失真代價。以O(shè)penFold的Evoformer為例，它在幾何上扭曲表示的同時增加互信息。Evoformer在每個序列長度上都超過ESM-1b的互信息：增加了+2.3到+2.5 nats的結(jié)構(gòu)上下文。但這是有幾何代價的。ESM-1b和Evoformer輸出表示之間的Procrustes差異為0.164（L=100）、0.162（L=200）和0.149（L=400），證實了實質(zhì)性的流形扭曲。

幾何空虛體制通過不編碼任何東西來平凡地實現(xiàn)低失真。ProtMamba呈現(xiàn)負(fù)的過量互信息：嵌入攜帶的與生物學(xué)基礎(chǔ)真相的互信息比匹配的隨機(jī)基線還少。凍結(jié)頭探測證實了診斷：線性邏輯回歸和非線性MLP探測在所有序列長度和全局與局部池化策略下都達(dá)到機(jī)會水平準(zhǔn)確性。

十一、實際影響和未來方向

這項研究的發(fā)現(xiàn)對當(dāng)前AI在科學(xué)中的應(yīng)用具有深遠(yuǎn)影響。目前的評估實踐（困惑度、AUC、基準(zhǔn)準(zhǔn)確性）對幾何對齊稅是盲目的。一個模型可以在排行榜上占主導(dǎo)地位，而其全局幾何完全沒有根據(jù)，或者產(chǎn)生平滑、穩(wěn)定的流形，通過幾何一致性檢查，同時不編碼生物學(xué)信號。

隨著基礎(chǔ)模型越來越多地部署用于治療設(shè)計、材料發(fā)現(xiàn)和物理模擬，該領(lǐng)域必須擴(kuò)展其可靠性概念，超越預(yù)測準(zhǔn)確性，包含研究團(tuán)隊稱為"物理對齊"的要求：學(xué)習(xí)表示必須忠實保持它們建模系統(tǒng)的連續(xù)不變量。

對于生成應(yīng)用如聊天機(jī)器人，幾何對齊稅可能是可以接受的，甚至是可取的。漂移的流形允許創(chuàng)造性，其中"幻覺"是一個特征，而不是缺陷。然而，對于科學(xué)基礎(chǔ)模型，物理定律是不變的，結(jié)果可能具有生死攸關(guān)的后果，這種稅收是不可承受的。

研究結(jié)果表明，我們不能簡單地通過規(guī)模化來擺脫這個懲罰。通向科學(xué)AGI的道路不僅僅是訓(xùn)練更大的離散模型來追逐漸近極限，也不是應(yīng)用平凡滿足幾何穩(wěn)定性但抹去生物學(xué)信號的連續(xù)先驗。它需要承認(rèn)我們當(dāng)前的架構(gòu)手冊對自然科學(xué)來說是根本性破壞的，需要回到第一原理。

前進(jìn)的道路可能需要原生統(tǒng)一連續(xù)幾何先驗與高保真度離散編碼的架構(gòu)，而不是將一個嫁接到另一個上。幾何穩(wěn)定性審計、連續(xù)值基礎(chǔ)模型和聯(lián)合優(yōu)化預(yù)測準(zhǔn)確性與流形保持的混合目標(biāo)是有希望的方向。

這項研究最終表明，當(dāng)前主導(dǎo)的離散代碼化范式在科學(xué)應(yīng)用中存在根本性限制。雖然這些模型在傳統(tǒng)基準(zhǔn)測試中表現(xiàn)出色，但它們的內(nèi)部表示系統(tǒng)性地?zé)o法保持所建模系統(tǒng)的連續(xù)幾何特性。這不是一個可以通過更多參數(shù)、更長上下文或更好的正則化技術(shù)簡單解決的工程問題，而是一個需要重新思考AI架構(gòu)基礎(chǔ)假設(shè)的根本性挑戰(zhàn)。

就像死亡和稅收是生活中唯一確定的事情一樣，幾何對齊稅似乎是當(dāng)前離散AI系統(tǒng)的一個不可避免的特征。但與生活中的稅收不同，這個科學(xué)稅收的代價可能太高，迫使我們尋找全新的解決方案，而不是簡單地接受現(xiàn)狀。

Q&A

Q1：什么是幾何對齊稅？

A：幾何對齊稅是指當(dāng)AI模型試圖處理連續(xù)的自然現(xiàn)象（如DNA序列、蛋白質(zhì)結(jié)構(gòu)）時，必須先將其轉(zhuǎn)換為離散代碼而產(chǎn)生的幾何扭曲代價。就像用積木搭建光滑斜坡一樣，無論積木多小，最終都無法實現(xiàn)真正的平滑，這種扭曲會累積并影響模型對真實世界的理解。

Q2：為什么更大的AI模型幾何穩(wěn)定性反而更差？

A：隨著模型參數(shù)增加，模型會產(chǎn)生更多更尖銳的決策邊界，每個邊界都是幾何表示中的斷裂點。這就像在地形圖上增加更多懸崖和峽谷，使得任何小擾動都可能導(dǎo)致表示從一個區(qū)域跳躍到另一個區(qū)域。研究發(fā)現(xiàn)從800萬到30億參數(shù)，模型穩(wěn)定性持續(xù)下降。

Q3：如何解決科學(xué)AI模型的幾何對齊稅問題？

A：研究表明簡單的解決方案（如增加模型規(guī)模、延長上下文窗口、后補(bǔ)對稱性約束）都無法根本解決問題。真正的解決方案需要開發(fā)能夠原生統(tǒng)一連續(xù)幾何特性和離散編碼的新型AI架構(gòu)，而不是將兩者簡單拼接。這需要重新思考當(dāng)前AI架構(gòu)的基礎(chǔ)假設(shè)。