夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

Claude最強“神話”模型，可能用到來自字節(jié)的技術(shù)？

這條猜測直接沖上熱搜榜。

這款“強到不敢公開發(fā)布”的Mythos模型，確實刺激了人們對下一代LLM架構(gòu)的想象。

社區(qū)正在熱烈討論它是否采用了循環(huán)語言模型（Looped Language Model）架構(gòu)。

這個概念來自字節(jié)Seed團隊與多個高校合作的一篇論文，Yoshua Bengio也參與其中。

關(guān)鍵線索在于Anthropic公布的一組測試數(shù)據(jù)。

字節(jié)論文指出，圖搜索是循環(huán)算法相比標準RLVR具有巨大理論優(yōu)勢的領(lǐng)域之一。

再看Mythos，正是在廣度搜索優(yōu)先的圖搜索測試GraphWalks BFS中，超越對手GPT5.4最多。

80%對21.4%，接近4倍的差距。

在其他類型的任務(wù)上，并沒有出現(xiàn)如此異常的分差。

說明這種進步很可能不是來自通用的Scaling Law，而是架構(gòu)創(chuàng)新。

循環(huán)語言模型：同一層”多轉(zhuǎn)幾圈”，小模型碾壓大模型

GraphWalks BFS測試，就是給模型一個復(fù)雜的圖結(jié)構(gòu)，讓它做廣度優(yōu)先搜索，從起點出發(fā)，一層一層地訪問所有相鄰節(jié)點。

標準Transformer處理這類問題只能一次前向傳播，從頭走到尾，輸出結(jié)果，沒有“迭代”這個概念。

Mythos在圖遍歷上拿到了80%的分數(shù)，表明它內(nèi)部很可能在“”反復(fù)計算”，對同一組信息來回處理了好幾遍。

那么什么樣的架構(gòu)能實現(xiàn)“反復(fù)計算”？

字節(jié)Seed團隊在論文中提出LoopLM循環(huán)語言模型。

簡單總結(jié)LoopLM有三個特點。

1、不寫長文思考，在模型內(nèi)部潛空間迭代，不額外輸出更多token。

2、簡單題少想幾步，難題多想幾步，自動調(diào)節(jié)。

3、預(yù)訓(xùn)練時就學(xué) “怎么在潛空間思考”，而不是只學(xué) “怎么預(yù)測下一個token”。

在實驗中，團隊訓(xùn)練了Ouro系列循環(huán)語言模型，內(nèi)置了循環(huán)思考。

測試結(jié)果，1.4B的Ouro模型性能對標約4B的傳統(tǒng)模型。2.8B的Ouro模型相當于8B–12B的傳統(tǒng)模型。

至于循環(huán)模型的能力提升來自何處，論文詳細分析了知識存儲vs知識操作的區(qū)別。

知識存儲（Knowledge Storage）的容量是有限的，大約每個參數(shù)2bits，不管用什么架構(gòu)，這個數(shù)字基本不變。

循環(huán)也不會讓你“記住”更多東西。

但知識操作（Knowledge Manipulation）不一樣，把已知事實組合起來做多跳推理、執(zhí)行程序、搜索圖結(jié)構(gòu)，這類能力隨循環(huán)步數(shù)和訓(xùn)練tokens指數(shù)級增長。

換句話說，循環(huán)模型沒有給AI一個更大的知識庫，但它讓AI在知識庫庫里的搜索和組合能力提升了一個量級。

那么Mythos究竟是不是循環(huán)模型架構(gòu)，有人總結(jié)出除了GraphWalks之外的更多線索。

三條線索指向循環(huán)模型架構(gòu)

第一條線索，也就是廣度優(yōu)先圖搜索測試結(jié)果。

Mythos除了分數(shù)是GPT5.4的4倍，比上一代Opus提升幅度也異常大。

第二條線索，Anthropic報告Mythos每個任務(wù)使用的token數(shù)量是Opus4.6的1/5，但速度更慢。

（價格也貴5倍！）

這在標準Transformer框架下很難說得通，token少，生成步驟就少，應(yīng)該更快才對。

但循環(huán)模型剛好解釋了這個矛盾：推理不發(fā)生在token層面，而是發(fā)生在潛空間，計算量花在了看不見的地方。

線索三，Mythos在網(wǎng)絡(luò)安全方面非常突出。

Mythos在CyberGym測試上拿到83.1%，Opus4.6是66.6%，領(lǐng)先近17個百分點。

以及找到上千個零日漏洞，主流操作系統(tǒng)和瀏覽器全都沒逃過。

漏洞發(fā)現(xiàn)的本質(zhì)就是對控制流圖做遍歷。找到一條從輸入到危險函數(shù)的路徑，也就是圖的可達性問題。

又是圖遍歷。又是循環(huán)架構(gòu)的天生強項。

說了這么多，終歸只是大家的猜測，Anthropic沒有公開任何關(guān)于Mythos架構(gòu)的信息，很可能以后也不會公開。

但有一句話值得思考：

Scaling Law改善一切，相對均勻，架構(gòu)創(chuàng)新在匹配其歸納偏置的任務(wù)上創(chuàng)造異常尖峰值。

循環(huán)Transformer的歸納偏置就是迭代圖算法。Mythos的異常尖峰，恰好出現(xiàn)在圖遍歷任務(wù)上。

Anthropic不說，但測試數(shù)據(jù)已經(jīng)替它說了。

字節(jié)論文：
https://arxiv.org/abs/2510.25741

參考鏈接：
[1]
https://x.com/ChrisHayduk/status/2042711699413926262
[2]
https://aiia.ro/blog/claude-mythos-looped-language-model-theory