西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

哦豁，馬斯克一個(gè)“不小心”，把Claude參數(shù)抖出來(lái)了？？？

長(zhǎng)話短說(shuō)：Sonnet 1T、Opus 5T。

起因是老馬發(fā)帖表示，xAI的Colossus 2超算正在訓(xùn)練7個(gè)模型，其中最大的一款，參數(shù)量直接沖到了10萬(wàn)億。

完整清單：

Imagine V2
2個(gè)1萬(wàn)億（1T）參數(shù)的變體模型
2個(gè)1.5 萬(wàn)億（1.5T）參數(shù)的變體模型
6萬(wàn)億（6T）參數(shù)模型
10萬(wàn)億（10T）參數(shù)模型

P.S. Colossus 2，就是老馬巨硬計(jì)劃（Macrohard）的一部分。據(jù)2025年8月披露的信息，Colossus 2已經(jīng)安裝了119臺(tái)風(fēng)冷式冷水機(jī)組，提供約200MW的冷卻能力，足以支持約11萬(wàn)個(gè)GB200 NVL72 GPU。

按照當(dāng)時(shí)規(guī)劃，Colossus 2第一階段部署11萬(wàn)個(gè)英偉達(dá)GB200 GPU，最終目標(biāo)是超過(guò)55萬(wàn)個(gè)GPU，峰值功率需求預(yù)計(jì)超過(guò)1.1GW。

這次發(fā)推文，也是馬斯克為數(shù)不多地對(duì)外公開Colossus超算的具體訓(xùn)練計(jì)劃。

消息一出，網(wǎng)友開啟好奇寶寶模式，馬斯克也是心情不錯(cuò)的樣子，看到提問(wèn)也回復(fù)了不少。

比如有人問(wèn)“訓(xùn)練一個(gè)10T模型，大概要花多久？”，馬斯克說(shuō)預(yù)訓(xùn)練階段大約需要2個(gè)月。

哎，就有這么一段對(duì)話出現(xiàn)了。

Grok 4.2的參數(shù)量，僅為xAI目前在訓(xùn)最大模型的5%。也就是5000億（500B）對(duì)比10萬(wàn)億（10T），后者是前者20倍。
Grok 4.2真的是總參數(shù)量500B嗎？還是說(shuō)只是在一個(gè)更大的MoE里，激活的參數(shù)量是500B億？

面對(duì)疑問(wèn)，老馬又親自回應(yīng)了：

總參數(shù)量就是0.5T（5000億）?，F(xiàn)在的Grok，參數(shù)量是Sonnet的一半、Opus的十分之一。以它的規(guī)模來(lái)說(shuō)，是非常強(qiáng)的模型。

網(wǎng)友一眼瞄到顯眼信息，這不就是說(shuō)Sonnet是1T，Opus是5T。

于是有人追問(wèn)：

純好奇，你（馬斯克）怎么知道Sonnet、Opus大?。?br/>

對(duì)此老馬閉麥了，網(wǎng)友提出的點(diǎn)倒不無(wú)道理，“頂尖人才在這么幾家公司間流動(dòng)，似乎也沒(méi)什么秘密能藏太久”。

Claude各版本參數(shù)，來(lái)自網(wǎng)友推測(cè)

自打Claude系列模型問(wèn)世，Anthropic就一直嚴(yán)格保密參數(shù)規(guī)模，不管是Opus還是Sonnet，愣是一點(diǎn)沒(méi)披露。

越不說(shuō)，網(wǎng)友討論得越起勁。

我們用AI總結(jié)了一下網(wǎng)友們分析討論的不同版本的Claude參數(shù)規(guī)模。

你還別說(shuō)，你還真別說(shuō)。最新模型Claude 4.6 Sonnet ~1-2T、Claude 4.6 Opus ~1.5-2.5T/2-5T，還真和老馬手滑泄露的“Sonnet1T、Opus5T”對(duì)上了。

具體來(lái)看網(wǎng)友都討論出來(lái)了啥。

目前主流推測(cè)方法有四類：

• 推理成本與吞吐量反推法：模型推理成本與激活參數(shù)量呈近似線性關(guān)系，而總參數(shù)量則可通過(guò)架構(gòu)類型和行業(yè)經(jīng)驗(yàn)系數(shù)推算。
• 性能基準(zhǔn)對(duì)標(biāo)法：通過(guò)與已知參數(shù)的開源模型在標(biāo)準(zhǔn)化基準(zhǔn)上的表現(xiàn)對(duì)比，推斷閉源模型的參數(shù)規(guī)模。
• 內(nèi)部文件泄露與傳聞分析法：官方意外暴露的信息&一些小道消息。
• 架構(gòu)特性分析法：通過(guò)對(duì)模型行為特性的觀察，推斷其采用的架構(gòu)類型，進(jìn)而縮小參數(shù)估計(jì)范圍。

首先來(lái)看Claude 3系列，2024年3月發(fā)布，這是首個(gè)形成清晰產(chǎn)品矩陣的Claude系列，包含三個(gè)定位不同的版本。

小杯Haiku、中杯Sonnet以及大杯Opus，成本和性能依次遞增。

對(duì)于它們的參數(shù)規(guī)模，LifeArchitect.ai創(chuàng)始人Alan D. Thompson曾給出估算：

Claude 3 Haiku (~20B)、Claude 3 Sonnet (~70B)、Claude 3 Opus (~2T)。

對(duì)于Claude 3 Sonnet，Reddit社區(qū)后續(xù)也展開了持續(xù)討論，也有網(wǎng)友基于性能等推測(cè)Claude 3 Sonnet參數(shù)量在150-250B之間。

再來(lái)看Claude 3.5，這是Claude的一次重大升級(jí)，多個(gè)關(guān)鍵指標(biāo)吊打GPT-4o。

不過(guò)，Anthropic最初只發(fā)布了獨(dú)苗Claude 3.5 Sonnet。

其速度是Claude 3 Opus的兩倍，成本卻僅為后者的1/5。

關(guān)于模型參數(shù)量，微軟等曾發(fā)布了一篇論文。

其中指出據(jù)行業(yè)估算，Claude 3.5 Sonnet參數(shù)約175B。

順帶附上其它模型估算參數(shù)：ChatGPT約175B、GPT-4約1.76T、GPT-4o約200B、o1-mini約100B、o1-preview約300B。

之后，Anthropic跳過(guò)了3.5命名，未發(fā)布3.5 Opus，在Claude Sonnet 3.7后直接進(jìn)入4系列，發(fā)布了兩個(gè)模型：

Claude Opus 4和Claude Sonnet 4。

圈內(nèi)對(duì)于Claude 4的參數(shù)估計(jì)，存在較大分歧。

行業(yè)估算Claude Opus 4參數(shù)約在300–500B之間，Claude Sonnet 4約在50B-100B之間。

接下來(lái)Claude Opus 4.1發(fā)布。

其編程性能再次突破，超越Claude Opus 4，在Agent任務(wù)和推理方面也進(jìn)一步升級(jí)。

不過(guò)發(fā)布時(shí)，官方表示計(jì)劃在未來(lái)幾周對(duì)模型進(jìn)行更大規(guī)模升級(jí)與改進(jìn)，看來(lái)4.1真就只是一次小更新，替代Opus 4。

甚至網(wǎng)友討論，Anthropic可能本來(lái)不想發(fā)模型，但是奈何GPT-5/Gemini-3的消息太多，為了保持市場(chǎng)競(jìng)爭(zhēng)力所以先更新一波。

這可能也是關(guān)于其參數(shù)討論并不多的原因之一。

Hacker News有網(wǎng)友認(rèn)為，其可能是Anthropic嘗試超大參數(shù)規(guī)模的實(shí)驗(yàn)性產(chǎn)品，后續(xù)4.5版本反而縮小了參數(shù)規(guī)模以優(yōu)化效率。

Anthropic對(duì)Opus 4/4.1進(jìn)行了蒸餾，得到了Opus 4.5。這也是該模型的運(yùn)行速度比Opus 4快約3倍，同時(shí)API調(diào)用成本僅為后者的三分之一的核心原因。
整個(gè)AI行業(yè)的發(fā)展方向，正在摒棄萬(wàn)億參數(shù)規(guī)模的超大模型。當(dāng)下的核心命題是提升現(xiàn)有參數(shù)規(guī)模的利用效率。
Opus 4.5參數(shù)量撐死也就在2T左右。Opus 4/4.1的參數(shù)量或許能達(dá)到約6T（MoE架構(gòu)）。

再往下就是4.5系列了。

Claude Sonnet 4.5先發(fā)布，計(jì)算機(jī)操作方面，在OSWorld測(cè)試中取得了60.2分的SOTA成績(jī)，比Sonnet 4提升了近一半。

Claude Opus 4.5后腳跟上，前端開發(fā)、視覺(jué)能力顯著提升，更擅長(zhǎng)使用電腦；在深度研究、PPT制作與電子表格處理等日常任務(wù)方面的表現(xiàn)也全面升級(jí)。

今年2月剛發(fā)布的最新4.6系列，各項(xiàng)能力再上一個(gè)臺(tái)階。

Anthropic表示，對(duì)填寫復(fù)雜Excel、網(wǎng)頁(yè)清單等計(jì)算機(jī)操作任務(wù)，Sonnet 4.6已經(jīng)接近人類水平。

而Opus 4.6，在GDPval-AA（一項(xiàng)評(píng)估金融、法律和其他領(lǐng)域經(jīng)濟(jì)價(jià)值知識(shí)工作任務(wù)的性能指標(biāo)）上，比GPT-5.2高出144Elo；編程依舊獨(dú)領(lǐng)風(fēng)騷，在Agent編程評(píng)估Terminal-Bench 2.0中取得了最高分，并在“人類最后考試”中領(lǐng)先所有其它前沿模型。

越往后，技術(shù)迭代步入深水區(qū)，底層技術(shù)和模型架構(gòu)還一個(gè)勁地搞創(chuàng)新，想估算模型參數(shù)量，越來(lái)越難了。

最近，一篇發(fā)表在Substack的技術(shù)逆向工程分析，通過(guò)OpenRouter在Google Vertex和Amazon Bedrock上的Token吞吐數(shù)據(jù)，估算了Claude Opus 4.5和4.6的激活參數(shù)量。

作者署名unexcitedneurons，他以3個(gè)開源MoE模型為校準(zhǔn)基準(zhǔn)，推算出Vertex平臺(tái)的有效內(nèi)存帶寬約為4.0–4.5TB/s，進(jìn)而得出：

Opus 4.6在FP8精度下的激活參數(shù)量為93–105B。

若假設(shè)模型采用FP8精度稠密層+FP4精度混合專家層的配置，Opus 4.6的激活參數(shù)量約為127–154B。

結(jié)合不同專家稀疏度方案，最終他認(rèn)為，Opus 4.5絕非網(wǎng)傳的10T+規(guī)模，它是一款體量小得多的模型，由Claude Opus 4/4.1蒸餾而來(lái)，參數(shù)量規(guī)模應(yīng)落在1.5T-2T之間。

這一點(diǎn)也能從API定價(jià)中得到印證，Claude Opus 4.1的輸入/輸出定價(jià)為每百萬(wàn)Token 15美元/75美元，而Claude Opus 4.5/4.6目前的定價(jià)僅為每百萬(wàn)Token 5美元/25美元，價(jià)格直接降至原先的三分之一。

作者也提到，Claude Opus 4/4.1參數(shù)量大概率在5T-6T左右。

除了已發(fā)布模型的模型外，前幾天Anthropic團(tuán)隊(duì)因權(quán)限配置失誤，把自家未發(fā)布模型泄露了。

模型Claude Mythos（內(nèi)部代號(hào)Capybara）。

泄露文件中，曾多次使用質(zhì)的飛躍這種說(shuō)法來(lái)形容Mythos，在具體能力上，相較于Claude Opus 4.6，Mythos在軟件編碼、學(xué)術(shù)推理和網(wǎng)絡(luò)安全等測(cè)試中的得分顯著更高。

Claude Mythos，被稱為是迄今為止公司開發(fā)過(guò)的最強(qiáng)大的AI模型。

傳言稱模型參數(shù)達(dá)10T。

參考鏈接：
[1]https://x.com/lifetimization/status/2042285703162397167
[2]https://www.reddit.com/r/ClaudeAI/comments/1ixuxln/estimate_of_model_size_for_claude_37/
[3]https://lifearchitect.substack.com/p/the-memo-special-edition-claude-3
[4]https://arxiv.org/pdf/2412.19260v1
[5]https://medium.com/@bob.mashouf/claude-4-vs-llama-4-benchmarking-55b99c17d3f7
[6]https://news.ycombinator.com/item?id=47319205
[7]https://unexcitedneurons.substack.com/p/estimating-the-size-of-claude-opus