一張 NVIDIA RTX PRO 6000 Blackwell GPU，在跑 230B 參數(shù)大模型時(shí)的 token 生成速度，幾乎追平了四張 RTX 5090 組建的卡皇集群——而它的功耗只有后者的四分之一。實(shí)測數(shù)據(jù)顯示，單卡 RTX PRO 6000 達(dá)到 118.74 tok/s，四張 RTX 5090 為 120.54 tok/s，差距微乎其微。但功耗一側(cè)，差距天壤之別：RTX PRO 6000 只需 600W，四張 RTX 5090 要 2300W。

性能幾乎持平，功耗只有 1/4

測試使用 MiniMax M2.7，這是一款 230B 參數(shù)的 AI 推理模型。所有平臺均采用 Unsloth 的 UD-IQ3_XXS 量化方案（GGUF 格式），上下文長度為 32k，最大 token 長度為 4096。結(jié)果如下：單卡 RTX PRO 6000（96GB VRAM）達(dá)到 118.74 tok/s，首 token 延遲（TTFT）765ms；四張 RTX 5090（4 × 32GB，共 128GB VRAM）為 120.54 tok/s，TTFT 725ms；四張 RTX 4090（4 × 24GB，共 96GB VRAM）只有 71.52 tok/s，TTFT 1045ms。作為參考，NVIDIA DGX Spark（128GB 系統(tǒng)）只有 24.41 tok/s。

為什么單卡能追平多卡？

多卡互聯(lián)雖然能堆疊更多 VRAM，但卡間通信會帶來額外開銷，拖累實(shí)際效率。RTX PRO 6000 憑借 96GB 超大單卡顯存，直接裝下 230B 模型的量化版本，省去了多卡協(xié)作的協(xié)調(diào)成本，在這款模型上實(shí)現(xiàn)了與四卡集群相當(dāng)?shù)耐掏铝?，同時(shí)大幅降低了復(fù)雜度與功耗。

價(jià)格與功耗綜合對比

從成本來看，單張 RTX PRO 6000 定價(jià)約 9500 美元，四張 RTX 5090 總價(jià)約 14000 美元，DGX Spark 約 4699 美元。功耗方面，四張 RTX 5090 平臺峰值 2300W，四張 RTX 4090 平臺 1800W，RTX PRO 6000 單卡僅 600W，DGX Spark 全機(jī) 240W。這意味著 RTX PRO 6000 在特定大模型任務(wù)上，實(shí)現(xiàn)了比四卡 RTX 5090 更高能效、更低總擁有成本的表現(xiàn)。

對 AI 用戶意味著什么

RTX PRO 6000 定位并非消費(fèi)級游戲顯卡，而是面向 AI 工作站和專業(yè)數(shù)據(jù)中心的旗艦產(chǎn)品。它展示的趨勢是：在特定 AI 推理任務(wù)上，單卡大顯存配合高帶寬的設(shè)計(jì)路線，比多卡堆疊更高效。對于需要本地部署大模型的用戶來說，這是一個(gè)值得關(guān)注的信號——大顯存單卡方案在性價(jià)比和能效上，可能比想象中更實(shí)用。