国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

全球最小的AI超級計算機(jī):本地 大模型推理,秒殺Mac Mini

0
分享至


NVIDIA 首席執(zhí)行官黃仁勛親手交付全球最小 AI 超級計算機(jī) DGX Spark——一個可置于辦公桌上、性能達(dá)千萬億次計算的機(jī)箱

大家好,我是章北海

Nvidia 又出新了——全球最小 AI 超級計算機(jī) NVIDIA DGX Spark

DGX Spark 配備 128GB 統(tǒng)一內(nèi)存,可以在本地運(yùn)行 2000 億參數(shù)規(guī)模的大模型,微調(diào) 700 億參數(shù)級別的大模型,它還支持開發(fā)者在本地創(chuàng)建 AI 智能體并運(yùn)行先進(jìn)軟件棧。


開箱即用

硬件方面: NVIDIA GB10 Grace Blackwell 超級芯片、NVIDIA ConnectX-7 200 Gb/s 網(wǎng)絡(luò)及 NVIDIA NVLink?-C2C 技術(shù)加速實(shí)現(xiàn),其 CPU-GPU 一致性內(nèi)存達(dá) 128GB,帶寬是第五代 PCIe 的 5 倍。

在 GPU 方面,GB10 可提供高達(dá)1 PFLOP 的稀疏 FP4 張量性能,其 AI 能力大致介于 RTX 5070 和 5070 Ti 之間。最突出的特點(diǎn)是其128 GB 一致性統(tǒng)一系統(tǒng)內(nèi)存,可在 CPU 和 GPU 之間無縫共享。這種統(tǒng)一架構(gòu)使 DGX Spark 能夠直接加載和運(yùn)行大型模型,無需承擔(dān)系統(tǒng)內(nèi)存與顯存之間數(shù)據(jù)傳輸?shù)拈_銷。借助其雙 QSFP 以太網(wǎng)端口(總帶寬 200 Gb/s),可將兩臺 DGX Spark 設(shè)備連接組成小型集群,實(shí)現(xiàn)更大模型的分布式推理。據(jù) NVIDIA 稱,兩臺互聯(lián)的 DGX Spark 可處理參數(shù)規(guī)模高達(dá)4050 億的 FP4 模型。


DGX Spark 提供了令人印象深刻的連接選項(xiàng):一個電源按鈕、四個 USB-C 端口(最左側(cè)支持高達(dá) **240 瓦功率輸出** )、一個 HDMI 端口、一個 **10 千兆以太網(wǎng) RJ-45 接口** ,以及**兩個由 NVIDIA ConnectX-7 網(wǎng)卡驅(qū)動的 QSFP 端口,最高支持 200 Gbps 速率** 。這些接口允許將兩臺 DGX Spark 設(shè)備互連,從而能夠運(yùn)行更大型的 AI 模型。

軟件方面: DGX Spark 集成了完整的 NVIDIA AI 平臺——包括 GPU、CPU、網(wǎng)絡(luò)、CUDA 庫及 NVIDIA AI 軟件棧,開發(fā)者能夠調(diào)用 NVIDIA AI 生態(tài)系統(tǒng)工具,包括各類模型、函數(shù)庫及 NVIDIA NIM?微服務(wù),實(shí)現(xiàn)本地化工作流——例如定制 Black Forest Labs 的 FLUX.1 模型以優(yōu)化圖像生成,運(yùn)用 NVIDIA Cosmos? Reason 視覺語言模型創(chuàng)建視覺搜索與摘要代理,或是基于 Qwen3 構(gòu)建專為 DGX Spark 優(yōu)化的 AI 聊天機(jī)器人。


全金屬機(jī)身配以優(yōu)雅的香檳金涂層 測評

lmsys 做了測試,結(jié)果雖然 DGX Spark 確實(shí)能夠加載并運(yùn)行超大規(guī)模模型(如GPT-OSS 120BLlama 3.1 70B),但這些工作負(fù)載更適合用于原型設(shè)計和實(shí)驗(yàn)驗(yàn)證而非生產(chǎn)環(huán)境。DGX Spark 的真正優(yōu)勢在于服務(wù)小型模型,特別是在采用批處理技術(shù)最大化吞吐量時表現(xiàn)尤為出色。


具體來說在Ollama中運(yùn)行GPT-OSS 20B(MXFP4)時,Spark 實(shí)現(xiàn)了2,053 tps 預(yù)填充/49.7 tps 解碼,是RTX Pro 6000 Blackwell是它的 5 倍** ,GeForce RTX 5090是它的 4 倍。這證實(shí)了 Spark 統(tǒng)一的 LPDDR5x 內(nèi)存帶寬是主要限制因素。在

但是 Spark 爆揍 Mac Mini M4 Pro 還是沒問題的,比如 gpt-oss-20b 和 deepseek-r1-14b 上,Spark 預(yù)填充速度都秒殺 Mac Mini

Device

Model Name

Model Size

Quantization

Batch Size

Prefill (tps)

Decode (tps)

NVIDIA DGX Spark

gpt-oss

20b

mxfp4

1

2,053.98

Mac Mini M4 Pro

gpt-oss

20b

mxfp4

1

NVIDIA DGX Spark

deepseek-r1

14b

q4_K_M

1

2,500.24

Mac Mini M4 Pro

deepseek-r1

14b

q4_K_M

1


結(jié)論

這種統(tǒng)一內(nèi)存架構(gòu)使 DGX Spark 在原型開發(fā)、模型實(shí)驗(yàn)邊緣 AI 研究場景中極具價值——這些場景中流暢的內(nèi)存訪問往往比原始算力更重要。

簡而言之,DGX Spark并非設(shè)計為與完整規(guī)格的 Blackwell 或 Ada-Lovelace GPU 正面對抗,而是將 DGX 體驗(yàn)濃縮至緊湊且開發(fā)者友好的形態(tài)中。

它是以下場景的理想平臺:

  • 模型原型設(shè)計與實(shí)驗(yàn)

  • 輕量級設(shè)備端推理

  • 關(guān)于內(nèi)存一致性 GPU 架構(gòu)的研究這是一臺設(shè)計精良、堪稱完美的迷你超級計算機(jī),它以犧牲部分原始性能為代價,換取了更高的易用性、能效和優(yōu)雅設(shè)計,在這些方面確實(shí)表現(xiàn)出色。

參考: https://blogs.nvidia.com/blog/live-dgx-spark-delivery/ https://nvidianews.nvidia.com/news/nvidia-dgx-spark-arrives-for-worlds-ai-developers https://lmsys.org/blog/2025-10-13-nvidia-dgx-spark/



特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
43歲迪拜最帥王儲:明明有嫡子,卻帶小妾生的兒子接待馬斯克父子

43歲迪拜最帥王儲:明明有嫡子,卻帶小妾生的兒子接待馬斯克父子

毒舌小紅帽
2025-12-25 18:44:36
2025-12-27 16:28:49
機(jī)器學(xué)習(xí)與Python社區(qū) incentive-icons
機(jī)器學(xué)習(xí)與Python社區(qū)
機(jī)器學(xué)習(xí)算法與Python
3235文章數(shù) 11081關(guān)注度
往期回顧 全部

科技要聞

小米也漲價了!業(yè)界稱終端再不漲明年必虧

頭條要聞

"和平計劃"差臨門一腳 特朗普放話烏命運(yùn)掌握在他手里

頭條要聞

"和平計劃"差臨門一腳 特朗普放話烏命運(yùn)掌握在他手里

體育要聞

NBA教練圈的布朗尼,花了22年證明自己

娛樂要聞

劉宇寧:我的價值不需要靠番位來證明

財經(jīng)要聞

注意,開始拉物價了!

汽車要聞

好音響比大屏更重要?車企開始“聽”用戶的

態(tài)度原創(chuàng)

健康
家居
手機(jī)
旅游
公開課

這些新療法,讓化療不再那么痛苦

家居要聞

格調(diào)時尚 智慧品質(zhì)居所

手機(jī)要聞

年輕人第一臺徠卡!小米17 Ultra徠卡版正式開售:7999元起

旅游要聞

貴州舉辦2025滿意旅游“痛客行”頒獎儀式

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進(jìn)入關(guān)懷版