北京
開源生成式 AI 模型不再局限于數(shù)據(jù)中心，而是開始深入到現(xiàn)實世界的各種機器中。從 Orin 到 Thor，NVIDIA Jetson 系列正在成為運行 NVIDIA Nemotron、Cosmos 和 Isaac GR00T 等模型以及千問大模型、Gemma、Mistral AI、GPT-OSS、PI 等社區(qū)模型的通用平臺。
在今年初的 CES 展會上，卡特彼勒展示了 Cat 306 CR 小型挖掘機。其 Cat AI Assistant 運行在 NVIDIA Jetson Thor 平臺上。為了實現(xiàn)快速準(zhǔn)確的自然語音交互，該系統(tǒng)采用了 NVIDIA Nemotron 語音模型，同時借助 Qwen3 4B，可以通過 vLLM 本地服務(wù)，確保無云連接的情況下，以低延遲解析請求并生成響應(yīng)。
除了推動企業(yè)創(chuàng)新，開放模型還為開發(fā)者開辟了自由構(gòu)建與實驗的廣闊空間。基于 NVIDIA Jetson，開發(fā)者可打造個人全天候在線的邊緣 AI 助手。
云部署會帶來延遲成本和持續(xù)的計算成本，而物理系統(tǒng)需要低延遲、功耗受控以及穩(wěn)定一致的行為。NVIDIA Jetson 通過將計算單元與內(nèi)存集成于單個系統(tǒng)級模塊（SoM）中，不僅加速了客戶的硬件設(shè)計進程，也使元器件采購與驗證比采用分立方案更為高效可靠。
NVIDIA Jetson 已成為在邊緣端運行開放模型的通用平臺。它全面支持各類開放模型與 AI 框架，開發(fā)者可在邊緣端靈活部署幾乎任何生成式 AI 工作負(fù)載。同時，Jetson Thor 在所有主流生成式 AI 模型上均提供領(lǐng)先的推理性能。
以上為摘要內(nèi)容，點擊鏈接閱讀完整內(nèi)容：開放模型點燃 AI 熱潮，NVIDIA Jetson 賦能 AI 在邊緣端落地 | NVIDIA 英偉達博客
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
揚子晚報
