車東西（公眾號：chedongxi）
作者 ｜ 張睿
編輯 ｜ 志豪

理想汽車發(fā)布新自動駕駛基礎模型，也能夠擴展到機器人。

車東西3月17日消息，今日，理想汽車基座模型負責人詹錕出席NVIDIA GTC 2026，發(fā)布了理想汽車下一代自動駕駛基礎模型MindVLA-o1。

▲理想汽車基座模型負責人詹錕（圖源網(wǎng)絡）

根據(jù)詹錕的介紹，MindVLA-o1以原生多模態(tài)MoE Transformer為核心，通過五大技術——3D空間理解、多模態(tài)思考、統(tǒng)一行為生成、閉環(huán)強化學習（Closed-loop RL）和軟硬件協(xié)同設計（Hardware–Software Co-Design），構(gòu)建了面向物理世界智能的自動駕駛基礎模型，讓自動駕駛看得更遠、想得更深、行得更穩(wěn)、進化更快、部署更高效。

▲MindVLA-o1基礎模型

而根據(jù)詹錕的說法，MindVLA-o1基礎模型正在向具身智能通用模型進化，他表示：“當我們把視覺、語言和行動統(tǒng)一到一個模型中時，它已不再只是自動駕駛模型，而是在逐漸演化為面向物理世界的通用智能體?；谕惶譜LA模型，不僅可以控制車輛，也能夠擴展到機器人。因此，自動駕駛只是物理AI的起點，未來這類基礎模型將驅(qū)動新的具身智能范式?！?/p>

一、基于五大技術 多方面提升自動駕駛性能

具體來看，理想汽車自動駕駛基礎模型MindVLA-o1有以下五大技術要點：

1、具備3D空間理解能力，使模型看得更遠。

在感知層面，理想汽車采用以視覺為核心的 3D ViT Encoder（3D視覺模型編碼器），并利用激光雷達點云作為三維幾何提示，引導模型理解真實空間結(jié)構(gòu)，使其在單一表示中同時具備語義理解與三維感知能力。

▲3D空間理解技術

同時引入前饋式3DGS表示（Feedforward 3D Representation），將場景拆分為靜態(tài)環(huán)境與動態(tài)物體分別建模，并通過下一幀預測（Next-state prediction）作為自監(jiān)督信號，使模型同時學習深度信息、語義結(jié)構(gòu)與物體運動，最終形成融合空間結(jié)構(gòu)與時間上下文的高質(zhì)量3D表示。

2、擁有多模態(tài)思考能力，讓模型想得更深。

在思考層面，自動駕駛既要理解當前環(huán)境，也要預測未來幾秒的場景演化。在語言模型承擔語義理解、常識知識和交互能力的基礎上，理想汽車還引入了預測式隱世界模型。

▲多模態(tài)思考能力

訓練分三階段：第一，用海量視頻數(shù)據(jù)預訓練Latent World Token（隱世界詞元），構(gòu)建未來表征；第二，在MindVLA-o1中持續(xù)世界模型的推演，形成隱空間的未來推理能力；第三，將世界模型、多模態(tài)推理能力及駕駛行為進行聯(lián)合訓練與對齊。

由此，模型不僅能理解當前場景并進行邏輯判斷，還能在隱空間中提前“想象”未來畫面，將駕駛決策具象化，理想汽車將這種能力定義為多模態(tài)思考（Generative Multimodal Thinking）。

3、形成統(tǒng)一行為生成機制，使模型行得更穩(wěn)。

在行為層面，理想汽車構(gòu)建了統(tǒng)一行為生成（Unified Action Generation）機制。

▲統(tǒng)一行為生成

首先，MindVLA-o1使用VLA-MoE（混合專家模型）架構(gòu)，并引入專門的Action Expert（動作專家），從3D場景特征、導航目標、駕駛指令等多維輸入中提取信息，并結(jié)合多模態(tài)思考生成高精度駕駛軌跡。

其次，為滿足實時性要求，系統(tǒng)采用并行解碼（Parallel Decoding），同時生成所有軌跡點，大幅提升效率。

最后，引入Discrete Diffusion（離散擴散）進行多輪迭代優(yōu)化，類似逐步去噪，確保軌跡空間連續(xù)、時間穩(wěn)定，并符合車輛動力學約束。

4、在閉環(huán)強化學習框架下，模型實現(xiàn)更快進化。

在模型迭代層面，理想汽車構(gòu)建了閉環(huán)強化學習框架，讓模型不僅能從真實數(shù)據(jù)學習，還能在世界模擬器（World Simulator）中持續(xù)探索和優(yōu)化策略。

▲閉環(huán)強化學習

為此，理想汽車將逐步優(yōu)化式重建為Feed-forward（前饋）場景重建，使系統(tǒng)能夠瞬時生成大規(guī)模、高保真駕駛場景，支持大規(guī)模并行訓練。

同時，結(jié)合生成式模型（Generative Models），模擬環(huán)境可擴展、編輯并生成全新場景。為支持大規(guī)模模擬與訓練，理想汽車開發(fā)了統(tǒng)一的3D Gaussian Splatting（3D高斯?jié)姙R）渲染引擎和分布式訓練框架，渲染速度提升近2倍，整體訓練成本降低約75%。

5、在軟硬件協(xié)同設計定律下，模型部署更高效。

為解決傳統(tǒng)端側(cè)大模型部署耗時長、調(diào)試頻繁的問題，理想汽車面向端側(cè)大模型的軟硬件協(xié)同設計定律，將模型結(jié)構(gòu)與驗證損失建模，并結(jié)合Roofline模型刻畫硬件計算能力與內(nèi)存帶寬限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架。

▲軟硬件協(xié)同設計

理想汽車基座模型團隊評估了近2000種模型架構(gòu)配置，在英偉達Orin與Thor平臺上完成驗證，找到了模型精度與推理延遲之間的Pareto Front（帕累托前沿），將架構(gòu)探索時間縮短，提升了端側(cè)VLA模型的設計與部署效率。

二、四大核心構(gòu)建AI框架 也可擴展至機器人

同時，理想汽車方面提到，MindVLA-o1是理想汽車面向物理世界智能核心AI框架的重要組成部分，這套AI框架由四大核心模塊組成：

1、MindData，統(tǒng)一的VLA數(shù)據(jù)引擎，負責大規(guī)模數(shù)據(jù)的采集、清洗和自動標注；

2、MindVLA-o1，統(tǒng)一的原生多模態(tài)VLA模型，可以理解環(huán)境、進行推理，并生成駕駛行為；

3、MindSim，可控的多模態(tài)世界模型，用于生成復雜駕駛場景并支持大規(guī)模閉環(huán)訓練；

4、RL Infra（強化學習基礎設施），通過獎勵模型和策略學習，使系統(tǒng)在仿真與真實環(huán)境中自我進化。

▲AI框架四大核心模塊

四部分協(xié)同形成完整閉環(huán)，使AI能夠感知、理解并在物理世界中自主行動，并持續(xù)學習。

從結(jié)構(gòu)上看，這套系統(tǒng)如同一個“數(shù)字大腦”：感知層對應視覺皮層，推理與規(guī)劃如前額葉，場景生成似運動皮層，強化學習則類似多巴胺反饋，實現(xiàn)了感知、理解、行動和持續(xù)優(yōu)化的完整閉環(huán)。

理想汽車方面表示，車是最大號的機器人，其本質(zhì)是在構(gòu)建硅基生命體的軀干與大腦，而該AI框架不僅服務于汽車，也可擴展至機器人及各種物理系統(tǒng)。

另外，理想汽車方面還提到，MindVLA-o1相關的多篇論文已在CVPR、ICLR、ICRA、AAAI等國際頂會上發(fā)表。

結(jié)語：理想新模型意在打通自動駕駛與具身智能

自2021年啟動輔助駕駛自研以來，理想輔助駕駛技術架構(gòu)經(jīng)歷了多輪迭代，2025年，理想汽車推出了VLA司機大模型，并于8月隨理想i8交付正式推送，9月向AD Max用戶全量推送。

截至2025年底，VLA司機大模型月使用率達到80%，VLA指令累計使用1225.4萬次；春節(jié)期間理想輔助駕駛總里程達2.5億公里，VLA指令使用次數(shù)達130.3萬次。

未來，理想汽車表示持續(xù)構(gòu)建面向物理世界智能的完整AI系統(tǒng)。