隨著座艙屏幕數(shù)量和算力趨近用戶感知上限，智能座艙的競爭焦點正由硬件堆疊轉(zhuǎn)向智能體驗。真正的變革在于座艙系統(tǒng)能否成為貼心伙伴——不僅能聽懂指令，更能理解意圖；不僅能識別環(huán)境，更能洞察場景；不僅能執(zhí)行操作，更具情感共鳴與主動服務(wù)能力。

NVIDIA TensorRT Edge-LLM 是專為邊緣端大模型部署打造的輕量級推理框架，面向智能汽車等實時端側(cè)應(yīng)用場景。

NVIDIA 在 GPU 計算領(lǐng)域深耕多年，依托 CUDA、TensorRT 等核心技術(shù)構(gòu)建了成熟的 AI 開發(fā)生態(tài)，已成為業(yè)界事實標(biāo)準(zhǔn)。此次開源 TensorRT Edge-LLM，正是將這一生態(tài)優(yōu)勢向邊緣端延伸的重要舉措。

中科創(chuàng)達(dá)的創(chuàng)新實踐

基于 NVIDIA TensorRT Edge-LLM 的

多模態(tài) AI 服務(wù)架構(gòu)

TensorRT Edge-LLM 為車載邊緣 AI 提供了高性能、輕量化、純 C++ 的推理運行時，是構(gòu)建車規(guī)級推理系統(tǒng)的重要基礎(chǔ)?；谠撨\行時，中科創(chuàng)達(dá)進(jìn)一步構(gòu)建了面向座艙業(yè)務(wù)的多模態(tài) AI 服務(wù)架構(gòu)，將底層推理能力封裝為可調(diào)度、可擴(kuò)展的系統(tǒng)服務(wù)。

注：MoE 模塊將在后續(xù)版本中引入

該架構(gòu)具有統(tǒng)一的 AI 服務(wù)接口、支持跨 SoC 平臺的快速適配、面向業(yè)務(wù)負(fù)載的推理任務(wù)調(diào)度和優(yōu)化的特點。

案例 A：重構(gòu) AI 座艙交互

基于 NVIDIA DRIVE AGX Orin 的

端側(cè)算力與優(yōu)化視覺大模型融合實踐

基于 DRIVE Orin 平臺，中科創(chuàng)達(dá)與某頭部車企攜手，成功打造并全球首發(fā)了新一代 AI 座艙。其核心成果在于：充分利用 DRIVE Orin 平臺的極致 AI 算力，深度融合經(jīng)中科創(chuàng)達(dá)深度優(yōu)化的本地 Qwen2.5-VL-7B 視覺大模型，真正兌現(xiàn)了“AI 座艙”的感知與決策能力，并將關(guān)鍵 AI 場景的端到端推理延遲降至業(yè)界領(lǐng)先水平，為用戶帶來顛覆性的瞬時響應(yīng)體驗。

案例 B：面向下一代車載自然交互的

端側(cè)大模型記憶實踐

中科創(chuàng)達(dá)與某全球頭部車企合作的 Innovation Project 中，在車規(guī)級高性能 AI 算力底座上，部署并深度優(yōu)化了 Qwen3-VL-4B 視覺語言模型，使其滿足車載環(huán)境的苛刻要求?；诖?，成功實現(xiàn)了“長聆聽”（Long-Context Listening）與“端側(cè)主動記憶”（On-Device Proactive Memory）兩大原型功能，為探索無界面的自然交互奠定了基礎(chǔ)。

核心價值

面向未來，雙方將合作聚焦于三個維度：基于量產(chǎn)數(shù)據(jù)和用戶反饋持續(xù)優(yōu)化 DRIVE 平臺上的性能表現(xiàn)；共同開發(fā)支持個性化服務(wù)與座艙 AI Agent 框架；為車企提供從模型選型、量化優(yōu)化到 Agent 部署集成的完整工具鏈與參考框架，助力打造可持續(xù)進(jìn)化的 AI 定義座艙。中科創(chuàng)達(dá)非常期待通過 NVIDIA 開放的底層能力與中科創(chuàng)達(dá)成熟的集成經(jīng)驗，與更多開發(fā)者共同創(chuàng)建創(chuàng)新可靠的智能汽車軟件生態(tài)，真正實現(xiàn)從功能定義到 AI 定義的范式變革。

以上為摘要內(nèi)容，訪問鏈接閱讀原文：https://blogs.nvidia.cn/blog/nvidia-thundersoft-smart-cockpit-ai-defined-era/

*本文中圖片由中科創(chuàng)達(dá)提供，如果您有任何疑問或需要使用圖片，請聯(lián)系中科創(chuàng)達(dá)。