機器之心編輯部

最近，研究人員李博杰在 arXiv 發(fā)布論文，提出一個名為「不可壓縮知識探針」的評測框架，嘗試僅通過黑盒 API 調(diào)用，來逆向估算任意 LLM 的參數(shù)規(guī)模。

• 論文標題：Incompressible Knowledge Probes: Estimating Black-Box LLM Parameter Counts via Factual Capacity
• 論文地址：https://arxiv.org/pdf/2604.24827

該研究的靈感源于一項持續(xù)三年的非正式測試。據(jù)李博杰介紹，其團隊成員長期向各代主流大模型提出同一個冷門問題：「你了解中科大 Hackergame 嗎？」（一項 CTF 網(wǎng)絡安全競賽）。

跨越多個版本的觀察結(jié)果，直觀展示了模型對世界知識認知的發(fā)展：2024 年 5 月，GPT-4o 對該賽事題目存在明顯的「幻覺」與編造；至 2025 年 2 月，Claude 3.7 Sonnet 已能準確列出 2023 年賽季的 19 道題目；而到了 2026 年 4 月，多個前沿模型已能精確回憶起連續(xù)多屆賽事的具體細節(jié)。

受此啟發(fā)，在 DeepSeek-V4 發(fā)布后，研究團隊利用 AI Agent 歷時四天自主構(gòu)建了完整的 IKP 正式數(shù)據(jù)集。該數(shù)據(jù)集包含 1400 個問題，按信息的稀缺程度劃分為 7 個層級，并在涵蓋 27 家廠商的 188 個模型上進行了全面測試。

研究的核心假設在于：模型的邏輯推理能力可以通過訓練技巧被壓縮或蒸餾，但對冷門「事實性知識」的記憶容量則無法大幅壓縮，其主要取決于模型的物理參數(shù)規(guī)模。

基于此，研究者在 89 個參數(shù)量已知的開源模型（規(guī)模從 1.35 億到 1.6 萬億參數(shù)）上擬合出事實準確率與參數(shù)量的對數(shù)線性關(guān)系，擬合優(yōu)度 R2 = 0.917，并據(jù)此對閉源模型進行參數(shù)估算。

根據(jù)該方法，論文給出的估算數(shù)字（90% 置信區(qū)間約為 0.3 至 3 倍）如下：

• GPT-5.5：約 9 萬億參數(shù)
• Claude Opus 4.7：約 4 萬億參數(shù)
• GPT-5.4：約 2.2 萬億參數(shù)
• Claude Sonnet 4.6：約 1.7 萬億參數(shù)
• Gemini 2.5 Pro：約 1.2 萬億參數(shù)

論文同時指出另外兩項發(fā)現(xiàn)：

一是引用數(shù)量和 h 指數(shù)并不能有效預測研究者是否被模型記住，模型更傾向于記住那些產(chǎn)生了領域性影響的工作，而非高產(chǎn)但影響相對分散的學者；

二是跨越三年的 96 個開源模型數(shù)據(jù)顯示，事實記憶容量的時間系數(shù)在統(tǒng)計上接近于零，這與此前「Densing Law」所預測的效率隨時間提升的規(guī)律相悖，研究者據(jù)此認為推理能力基準趨于飽和，而事實容量仍主要受制于參數(shù)規(guī)模。

這組直觀的數(shù)據(jù)迅速在技術(shù)社區(qū)傳播并引發(fā)廣泛討論，但也伴隨著巨大的爭議。

有博主基于這組估算數(shù)據(jù)，結(jié)合近期 Claude Opus 4.7 在部分長文本任務中的主觀體驗波動，推演出一套完整的邏輯：Anthropic 因算力儲備不足（僅為 OpenAI 的四分之一），在訓練 Mythos 模型后資源見底，被迫將 Opus 4.7 的參數(shù)量從上一代的 5.3T 「反向升級」閹割至 4T；而 OpenAI 則憑借充足的算力將 GPT-5.5 堆到了 9T，從而實現(xiàn)了體驗上的反轉(zhuǎn)。

也有多位研究者和從業(yè)者對估算數(shù)字及方法論提出了不同程度的質(zhì)疑。

對于 GPT-5.5 約 9 萬億參數(shù)的估算，部分用戶認為與實際服務能力不符，指出若規(guī)模真達到這一量級，OpenAI 現(xiàn)有基礎設施難以支撐此前的推出方式，且 GPT-5.4 到 GPT-5.5 的性能提升幅度與 10 倍參數(shù)差距并不匹配。有人認為兩者規(guī)模比約在 2 倍左右更為合理。

同時，定向引入「合成數(shù)據(jù)」進行微調(diào)，同樣能顯著提升模型對冷門知識的掌握度，這會直接干擾「事實知識不可壓縮」的核心前提。

根據(jù)該方法估算，Gemini 2.5 Pro 和 Claude Sonnet 的規(guī)模約 1.7T，而行業(yè)已知國內(nèi)模型 Kimi k2.6 和 GLM 5.1 約為 800B。若參數(shù)差距僅在兩倍左右，單純的數(shù)據(jù)差異極難解釋目前兩者間的巨大性能鴻溝。

此外，業(yè)內(nèi)長期流傳的 GPT-4 規(guī)模約 1.7T，這與論文估算的結(jié)果出入極大。

發(fā)起討論的另一位 X 博主也補充說明：「這些數(shù)字不應被視為事實，置信區(qū)間非常大，我私下收到的反饋表明某些模型的估算可能相差甚遠?！?/p>

當然，在爭議與質(zhì)疑之外，技術(shù)社區(qū)中也涌現(xiàn)出了許多極具建設性的正向探討。

例如，有用戶認為 MoE 架構(gòu)和稠密模型在知識壓縮效率上可能存在本質(zhì)不同（MoE 的事實可能被分散在不同專家中），建議將這兩類模型分開統(tǒng)計以觀察趨勢。

對這組數(shù)據(jù)你怎么看？

https://x.com/deedydas/status/2049523583517634862

https://x.com/bojie_li/status/2049314403208896521

https://www.zhihu.com/pin/2032769685012361774

https://x.com/yiran2037840/status/2049827667034439821

https://x.com/Yampeleg/status/2049573913399607711