被馬斯克稱為"全世界最聰明模型"的 Grok 3 如約而至。

北京時(shí)間今天中午，馬斯克在各種宣傳后終于發(fā)布了 Grok 3。

核心信息如下：

1. 模型信息：本次發(fā)布的 Grok 3 是模型家族，包括原版及精簡版 Grok 3 mini 和各自的推理測(cè)試版（Reasoning Beta）。

2. 測(cè)試結(jié)果：Grok 3 模型測(cè)試版在數(shù)學(xué)、科學(xué)和編程三個(gè)方面表現(xiàn)優(yōu)異，得分超過GPT-4o、Deepseek-V3等基礎(chǔ)模型，Chatbot Arena打榜第一。推理版兩個(gè)模型的測(cè)評(píng)結(jié)果均超過o1、Deepseek-R1，Grok-3 mini Reasoning 模型在科學(xué)和編程方面還要略高于 Grok-3 Reasoning Beta 模型。

3. 如何使用：官方表示Grok 3 支持在 Grok 網(wǎng)頁版、Grok App 和 X 平臺(tái)上直接發(fā)起聊天，暫時(shí)沒有 API 版本，預(yù)計(jì)會(huì)在未來幾周內(nèi)提供。

Grok 3 發(fā)布后，X 平臺(tái)已經(jīng)出現(xiàn)一些網(wǎng)友反饋?！杆哪鞠鄬?duì)論」收集了一部分 case。

先看一個(gè)正面案例。

提示詞：用 Python 寫一個(gè)旋轉(zhuǎn)的超立方體中彈跳的球。

這里 Grok 3 表現(xiàn)不錯(cuò)。它對(duì)超立方體進(jìn)行了正確的3D建模，并保證在旋轉(zhuǎn)時(shí)模型完整且沒有變形。小球符合物理規(guī)律的彈跳運(yùn)動(dòng)，并且還擁有區(qū)別于立方體顏色的紅色。

但也有網(wǎng)友發(fā)現(xiàn)，Grok 3 的代碼能力不穩(wěn)定——同一段提示詞測(cè)試 Grok 3、o3-mini、DeepSeek-R1，只有 o3-mini 實(shí)現(xiàn)需求。

提示詞：Write code for a beautiful ball bouncing inside a circle, now instead of 1 ball make it 100

另外，它還是算不清 9.8 和 9.11 到底哪個(gè)大、DeepSeek 中一共有多少個(gè) “e”（打開推理模式后可以解決這個(gè)問題）。

AI 大神 Andrej Karpathy 綜合評(píng)價(jià)稱， Grok 3 表現(xiàn)出接近 OpenAI 最強(qiáng)模型（o1-pro）的能力，尤其在思維功能方面有所突破，超越 DeepSeek-R1 和 Gemini 2.0 Flash Thinking。

但他也提及，Grok 3 在一些復(fù)雜推理、信息查詢?nèi)蝿?wù)上仍會(huì)出現(xiàn)錯(cuò)誤，并且在“復(fù)雜倫理問題”方面過于敏感，也缺乏幽默感。

（Andrej Karpathy 的 X 帖）

由于 Grok 3 目前未向廣泛用戶開放，效果難以公允評(píng)價(jià)，但 xAI 在大模型圈最大的特點(diǎn)依然未改變：

它是全球最花力氣投入算力資源的大模型公司之一，某種程度上代表了預(yù)訓(xùn)練 Scaling Law 的邊界。

這次發(fā)布中，馬斯克同樣自豪地聲稱，Grok 3 之所以能在很短的時(shí)間內(nèi)超越 Grok 2，是因?yàn)楸澈笥袕?qiáng)大的技術(shù)團(tuán)隊(duì)和數(shù)據(jù)中心支持。

在馬斯克的觀點(diǎn)里，訓(xùn)練最優(yōu)秀的模型需要超級(jí)規(guī)模的數(shù)據(jù)中心。

他也是這樣踐行的。

過去大半年里，xAI 首先花費(fèi)了 122 天建成 10 萬卡的 Colossus 超算集群。但團(tuán)隊(duì)很快發(fā)現(xiàn)這不夠，于是又用短短 92 天將Colossus 的規(guī)模從 10 萬卡擴(kuò)建到 20 萬卡。通常，這些工作需要花費(fèi)4年左右的時(shí)間。

在首個(gè)服務(wù)器機(jī)架進(jìn)入數(shù)據(jù)中心19天后，下一代 Grok 模型——目前看就是 Grok 3——已經(jīng)開始訓(xùn)練。

今天 Grok 3 的發(fā)布會(huì)中，馬斯克身著印有《艾爾登法環(huán)》中角色 Malenia 的T恤登場(chǎng)。Malenia 的經(jīng)典臺(tái)詞是“I have never known defeat”。（“我從未經(jīng)歷過失敗?！保?/p>

（Grok 3發(fā)布直播中，馬斯克的T恤）

（游戲《艾爾登法環(huán)》中的 Malenia 角色）

Grok 3背后：巨多的卡和效率奇跡

作為馬斯克對(duì) AI 全力以赴的證明，Colossus 已經(jīng)鼎鼎大名——過去半年，它以超快的建設(shè)速度和巨大的算力資源引領(lǐng)行業(yè)。

Colossus 所在的數(shù)據(jù)中心坐落在美國田納西州孟菲斯市中心附近。

它原本是家用電器制造工廠。被馬斯克為 xAI 征用后，這座工廠被改造成了專門用于訓(xùn)練大模型的、世界上規(guī)模最大的服務(wù)器集群。

去年一開始披露的信息是，Colossus 配備了10萬顆 GPU（主要是 H100）。最新情況是，它已經(jīng)擁有20萬顆 GPU（包括額外5萬塊 H100與5萬塊 H200）。"Grok 3 的計(jì)算資源是 Grok 2 的10倍。"馬斯克說。

（馬斯克還曾提出30萬塊的目標(biāo)）

談到這個(gè)項(xiàng)目，英偉達(dá) CEO 黃仁勛數(shù)度贊不絕口。他曾在播客中感慨，Colossus 的進(jìn)展"讓大家輾轉(zhuǎn)難眠"。他覺得，全世界唯有馬斯克一人具備舉世無雙的、對(duì)工程、建筑、大型系統(tǒng)構(gòu)建以及資源調(diào)配的獨(dú)到能力。

這個(gè)世界上資源最多的 AI 數(shù)據(jù)中心，搭建速度快到不可思議。

從2024年9月第一周開始運(yùn)營倒推，第一期擁有10萬張卡的 Colossus，從開始到完成只用了122天。

黃仁勛形容它的搭建“創(chuàng)造了一項(xiàng)工程奇跡”——普通數(shù)據(jù)中心需要四年時(shí)間，才能完成馬斯克在 Colossus 項(xiàng)目里19天的工作。

為了讓 Colossus快速投產(chǎn)，馬斯克進(jìn)行了一些"非常規(guī)"操作（對(duì)他來說或許很常規(guī)）。

比如，馬斯克在還沒從電網(wǎng)獲得足夠電力的情況下，就啟動(dòng)了 Colossus 的建設(shè)。在等待地方當(dāng)局增加100兆瓦電力的請(qǐng)求的同時(shí)，他引入了移動(dòng)天然氣渦輪機(jī)作為臨時(shí)的電力補(bǔ)充。

這些輪機(jī)的有害空氣污染物（HAP）排放量超過美國環(huán)保署設(shè)定的上限，引起了不小的爭議。就在Grok 3發(fā)布的今天，Colossus所在的孟菲斯市，還有大批市民在游行反對(duì)馬斯克。

另外，Colossus 的現(xiàn)場(chǎng)調(diào)度也非常緊湊。在一次現(xiàn)場(chǎng)探訪中，有項(xiàng)目承包商透露，多數(shù)建筑還沒來得及砌墻，但承包商正在場(chǎng)外預(yù)制大部分組件，以便到場(chǎng)后迅速組裝。

而且，為保證建設(shè)速度，馬斯克還拋棄了一些大名鼎鼎的合作伙伴。

比如甲骨文。去年春夏 xAI 和甲骨文還處于甜蜜期，但當(dāng)甲骨文表示由于馬斯克的選址電力供應(yīng)不足（原本選在孟菲斯的 Electrolux），難以按期望的計(jì)劃完成安裝任務(wù)時(shí)，雙方的蜜月就結(jié)束了。

最終，馬斯克選擇帶著xAI獨(dú)立完成建造數(shù)據(jù)中心這項(xiàng)任務(wù)。

Colossus中的高科技

在2024年10月底，國際權(quán)威評(píng)測(cè)媒體 ServeTheHome（簡稱STH）實(shí)地探訪，揭開了 Colossus 的神秘面紗。

*ServeTheHome專注對(duì)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)和高端工作站硬件進(jìn)行評(píng)測(cè)，同時(shí)也涉及優(yōu)秀開源項(xiàng)目的評(píng)測(cè)，旨在為IT專業(yè)人士提供最新的服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)趨勢(shì)的指南，幫助他們更好地了解和應(yīng)用這些技術(shù)。

透過他們的鏡頭，能看到這個(gè)超級(jí)計(jì)算中心應(yīng)用的前沿技術(shù)。

Colossus 的基本構(gòu)建模塊是來自超微（Supermicro）的液冷機(jī)架。

每個(gè)機(jī)架配備八臺(tái) 4U 服務(wù)器（共計(jì)64 塊 NVIDIA H100 GPU）、一個(gè)超微冷卻劑分配單元（CDU）及相關(guān)硬件。

（超微 4U 通用 GPU 液冷服務(wù)器）

這些機(jī)架不僅冷卻性能優(yōu)異，而且維護(hù)簡便。

• 冷卻性能：每個(gè)機(jī)架都設(shè)有一個(gè)使用專門冷卻液的流體循環(huán)系統(tǒng)，為所有 GPU 服務(wù)器提供冷卻服務(wù)。同時(shí)配有后門熱交換器，可以抽取多余的熱量。

• 維護(hù)：每個(gè)冷卻模塊都配備了冗余的泵和電源，如果任何一個(gè)部件發(fā)生故障，都可以在不關(guān)閉整個(gè)機(jī)架的情況下進(jìn)行現(xiàn)場(chǎng)更換。
• 
  機(jī)架背面，配有用于 GPU 和 CPU 復(fù)合體的 400GbE 連接光纖，以及用于管理網(wǎng)絡(luò)的銅纜。它們都安裝在自己的托盤上，可以輕松更換而不需要移除機(jī)架。此外，每個(gè)服務(wù)器配備了四個(gè)電源，這些電源支持熱插拔，并通過三相 PDU 進(jìn)行供電。

（移除一個(gè)超微 CDU 泵）

另外，現(xiàn)場(chǎng)仍能看到大量傳統(tǒng) CPU 計(jì)算節(jié)點(diǎn)。處理和數(shù)據(jù)操作任務(wù)仍是CPU 的強(qiáng)項(xiàng)，xAI 希望讓 GPU 盡可能多的運(yùn)行 AI 訓(xùn)練或推理工作負(fù)載，而不是其他任務(wù)。

Colossus 的電力及配套設(shè)備也值得一提。它采用了規(guī)模龐大的液冷式 AI 服務(wù)器機(jī)架，因此也需要配備強(qiáng)力的電源和用水設(shè)施。

在機(jī)房內(nèi)，部署著由一組冷水和熱水管組成的巨大循環(huán)水管。冷卻水會(huì)被這些設(shè)備帶入集群中循環(huán)——熱量從 GPU 以及后門熱交換器傳遞到冷卻水中，然后熱水被帶到水管設(shè)備外的冷卻器中，冷卻后再次通過設(shè)備循環(huán)。

（Colossus中的水管）

特斯拉推出的 Megapack 的集裝箱也在 Colossus 出現(xiàn)了。

要知道，AI 服務(wù)器并不總是全天候以 100% 的額定功率運(yùn)行，它們的能耗呈現(xiàn)出明顯的高峰和低谷，xAI 發(fā)現(xiàn)，Colossus 毫秒級(jí)的功率峰值和下降幅度相當(dāng)大。

而 Megapack 相當(dāng)于“巨型充電寶+智慧能源管家”，能讓儲(chǔ)能設(shè)備的峰值平穩(wěn)，有助于確保整個(gè)數(shù)據(jù)供電的穩(wěn)定，也能讓xAI利用不同時(shí)段電力價(jià)格差，更好地控制成本。

砸錢之路漫漫

即便已經(jīng)擁有全世界資源最多的AI數(shù)據(jù)中心，xAI持續(xù)投入資源的消息依舊層出不窮。

田納西州孟菲斯市商會(huì)透露，馬斯克未來計(jì)劃將把Colossus擴(kuò)容5倍，最終整合超過100萬個(gè) GPU。

恰好就在Grok3發(fā)布四天前，The Information報(bào)道，xAI 正在考慮建立第二個(gè)數(shù)據(jù)中心。彭博社同樣報(bào)道稱，xAI 即將與服務(wù)器制造商戴爾達(dá)成協(xié)議，購買價(jià)值 50 億美元搭載英偉達(dá)最新芯片 Blackwell GB200 的服務(wù)器。

馬斯克的融資之路也在同步推進(jìn)。彭博社曝出 xAI 正在接洽紅杉資本、Andreessen Horowitz 和 Valor Equity Partners 等投資方，希望在一輪融資中籌集 100 億美元，這將使它的估值達(dá)到 750 億美元。

即便 DeepSeek 讓不少信奉"大力出奇跡"的美國同行遭受了難熬的一個(gè)月，但這條砸錢之路，馬斯克看起來是走定了。

https://www.theinformation.com/briefings/musk-looks-for-another-data-center-for-xai-nears-5-billion-chip-deal-with-dell?rc=d4lanv

https://finance.yahoo.com/news/dell-nears-5-billion-ai-181759925.html

https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/

https://techcrunch.com/2025/02/15/xais-colossus-supercomputer-raises-health-questions-in-memphis/

https://www.datacenterdynamics.com/en/news/xai-elon-musk-memphis-colossus-gpu/

https://view.inews.qq.com/k/20241116A07PUZ00