人物簡介

賈鵬|至簡動(dòng)力創(chuàng)始人兼CEO，曾任理想汽車智駕技術(shù)研發(fā)負(fù)責(zé)人，主導(dǎo)多項(xiàng)關(guān)鍵技術(shù)研發(fā)。此前在英偉達(dá)、IBM任職，經(jīng)驗(yàn)深厚。2025年他進(jìn)入具身智能領(lǐng)域，創(chuàng)立至簡動(dòng)力，提出創(chuàng)新架構(gòu)，半年獲五輪20億融資。

在近日舉辦的GTC上，賈鵬以新身份首次深入剖析了具身智能通用能力與工業(yè)高要求之間的矛盾，并重點(diǎn)分享了至簡動(dòng)力在基座模型上的突破性實(shí)踐——基于「大一統(tǒng)」的基座模型架構(gòu)，其團(tuán)隊(duì)已可實(shí)現(xiàn)在短短20分鐘內(nèi)，實(shí)現(xiàn)下游任務(wù)100%的成功率。

骨感現(xiàn)實(shí)中的巨大鴻溝

在具身智能實(shí)際的落地過程中，存在一個(gè)巨大的現(xiàn)實(shí)鴻溝：目前具身智能的整體泛化能力比較差，尤其在靈巧操作任務(wù)上，幾乎沒有任何泛化能力可言，大多數(shù)場景中都存在落地難題。

為了制作Demo，大家往往會(huì)針對(duì)單一任務(wù)大量采集數(shù)據(jù)。可即便如此，很多精細(xì)操作任務(wù)的成功率也難以提高。與此相對(duì)的是，在工廠等應(yīng)用場景中，只有達(dá)到100%的成功率，才能真正形成生產(chǎn)力，對(duì)用戶產(chǎn)生價(jià)值。

“通用能力的不足與用戶的高要求之間存在著巨大鴻溝，這也是具身智能發(fā)展至今仍未大規(guī)模落地的真正原因。”

賈鵬介紹稱，至簡動(dòng)力（Simplexity Robotics）希望以極簡架構(gòu)破解復(fù)雜難題——通過打造簡單統(tǒng)一的底層框架，致力于讓通用基座模型兼具「高泛化性」與「100%任務(wù)成功率」，跨越落地鴻溝，形成真正的工業(yè)生產(chǎn)力。

要想達(dá)成這一目標(biāo)，需要在四個(gè)方面努力：

1、構(gòu)建高上限的基礎(chǔ)模型；2、更高效的數(shù)據(jù)采集方式；3、確保模型能快速達(dá)到100%的成功率；4、實(shí)現(xiàn)端側(cè)的實(shí)時(shí)推理和訓(xùn)練

他尤其指出，很多工廠對(duì)節(jié)拍和延時(shí)有非常高的要求，系統(tǒng)必須具備實(shí)時(shí)的推理能力。同時(shí)，很多工廠因?yàn)楸Ｃ茉虿辉试S接入外網(wǎng)，因此具身模型必須部署在端側(cè)，這極具挑戰(zhàn)。

三大技術(shù)流派的利與弊

賈鵬介紹稱，目前具身智能模型的技術(shù)路線并不收斂，行業(yè)內(nèi)還存在路線之爭，主要分為以下三個(gè)流派：

1、雙系統(tǒng)范式：利用一個(gè)較大的VLM進(jìn)行指令的理解和任務(wù)的拆解，再通過一個(gè)較小的、端到端的VLA模型做快速的執(zhí)行。

2、端到端的VLA模型：它將指令理解、任務(wù)拆解以及動(dòng)作生成合為一個(gè)整體，端到端地去完成任務(wù)。

3、世界模型：這是最近比較熱門的路線，它不再以傳統(tǒng)的VLM作為基礎(chǔ)，而是基于視頻生成模型或者是高斯?jié)姙R生成模型，實(shí)現(xiàn)對(duì)世界的理解、預(yù)測以及動(dòng)作的生成。

這三條路線都有各自的優(yōu)勢和不足。

1、雙系統(tǒng)基于VLM對(duì)任務(wù)的拆解和調(diào)度，其優(yōu)點(diǎn)是可以處理長程任務(wù)。但由于雙系統(tǒng)是由兩個(gè)不同的模型構(gòu)成的，二者運(yùn)行幀率不同，因此協(xié)同與聯(lián)合訓(xùn)練都非常困難。

“事實(shí)上，我們團(tuán)隊(duì)是全球最早提出并量產(chǎn)雙系統(tǒng)的團(tuán)隊(duì)，因此踩過非常多的坑?！?/p>

2、端到端VLA模型普遍基于預(yù)訓(xùn)練的VLM去做具身的指令微調(diào)。在此過程中，大家都發(fā)現(xiàn)災(zāi)難性遺忘是不可避免的：第一是視覺能力的遺忘，第二是語言的思維鏈（CoT）能力的遺忘。

“行業(yè)已普遍認(rèn)為視覺是具身智能中最重要的模態(tài)，那么一旦視覺識(shí)別能力下降，對(duì)靈巧操作的影響就非常大。因此，很多VLA模型訓(xùn)練出來之后，泛化能力幾乎為零?！?/strong>

3、世界模型相對(duì)于雙系統(tǒng)和端到端VLA，是一個(gè)巨大的范式變化——它從「以語言為中心」轉(zhuǎn)向「以視覺為中心」、從「以理解為主」轉(zhuǎn)向「以生成為主」。

不過，該方法同樣伴隨著語言中的幻覺問題。所以目前世界模型在靈巧操作上的性能并沒有超過VLA。同時(shí)它還有一個(gè)劣勢，就是對(duì)算力的要求非常高。

基座模型的「大一統(tǒng)」設(shè)計(jì)哲學(xué)

在此背景下，至簡動(dòng)力認(rèn)為，所有的模型設(shè)計(jì)都應(yīng)追求結(jié)構(gòu)簡單。隨著數(shù)據(jù)的增加，這種沒有太多人為先驗(yàn)設(shè)計(jì)的結(jié)構(gòu)，上限反而會(huì)更高。

首先賈鵬認(rèn)為，具身基礎(chǔ)模型需要四種能力：

1、多模態(tài)理解與建構(gòu)：它需要對(duì)語言指令、任務(wù)邏輯、3D空間及其時(shí)序變化以及本體自身的狀態(tài)進(jìn)行統(tǒng)一的理解和建構(gòu)，這意味著模型的輸入天生就是多模態(tài)的，而且多模態(tài)之間必須進(jìn)行統(tǒng)一的建模和編碼，而非簡單的跨模態(tài)對(duì)齊。

2、閉環(huán)交互與多模態(tài)生成：模型在理解指令和任務(wù)的基礎(chǔ)之上，需要與世界進(jìn)行交互，而這個(gè)交互一定是閉環(huán)的——?jiǎng)幼鲿?huì)改變世界，同時(shí)世界的變化也會(huì)影響動(dòng)作。這就意味著需要同時(shí)對(duì)世界的變化和動(dòng)作進(jìn)行聯(lián)合生成和預(yù)測，所以模型的輸出也是多模態(tài)的。

3、快慢思考：模型對(duì)實(shí)時(shí)性的要求非常高，所以其結(jié)構(gòu)必須非常適合端側(cè)的推理。但僅僅是條件反射式的響應(yīng)還是不夠的，它需要具備在關(guān)鍵時(shí)刻深入思考的能力，并且能根據(jù)工況自適應(yīng)地調(diào)整思考的速度。

4、自我評(píng)估與調(diào)整：模型還需要具備對(duì)自身狀態(tài)作出評(píng)估的能力，并且根據(jù)評(píng)估的狀態(tài)調(diào)整動(dòng)作的生成。

綜上所述，這樣的模型實(shí)際上綜合了雙系統(tǒng)、端到端VLA和世界模型的所有優(yōu)點(diǎn)?！八?，未來通用的具身基座模型，一定是一個(gè)大一統(tǒng)的模型?！彼^「大一統(tǒng)」，是四個(gè)方面的一體化：

?多模態(tài)理解的一體化、多模態(tài)生成的一體化、快慢思考的一體化，以及策略（Policy）和價(jià)值（Critic）的一體化。

“我們心目的大一統(tǒng)模型，是只使用單一的Transformer網(wǎng)絡(luò)，就能實(shí)現(xiàn)多模態(tài)的理解和生成。但是對(duì)于我們至簡這樣的初創(chuàng)團(tuán)隊(duì)來說，從零訓(xùn)練一個(gè)原生多模態(tài)的模型是非常困難的?！?/p>

在此背景下，至簡破局的方法是采用MoT (Mixture-of-Transformer)架構(gòu)。這是一種在已有模型之上實(shí)現(xiàn)原生多模態(tài)能力的架構(gòu)，其核心思想是，讓不同的模態(tài)通過共享的attention層層實(shí)現(xiàn)跨模態(tài)的信息交互。

“它的輸入被統(tǒng)一為Token序列，不同模態(tài)保留獨(dú)立的QKV和FFN網(wǎng)絡(luò)，但是通過共享的attention層進(jìn)行聯(lián)合建模?！?/p>

相比于從零訓(xùn)練原生多模態(tài)模型，MoT的優(yōu)勢在于它可以復(fù)用已有的單模態(tài)預(yù)訓(xùn)練模型，成本非常低。此外，它可以靈活擴(kuò)展新模態(tài)，便于靈巧操作的拓展。

同時(shí)，通過實(shí)踐，至簡團(tuán)隊(duì)發(fā)現(xiàn)擴(kuò)散模型在3D動(dòng)作生成的效果上明顯優(yōu)于自回歸模型。而由于MoT的不同子網(wǎng)絡(luò)可采用不同的訓(xùn)練目標(biāo)，所以它天然兼容了自回歸和擴(kuò)散兩種生成方式。

至簡基座模型LaST?

賈鵬介紹稱，至簡動(dòng)力的具身基座模型LaST?，將理解和生成合一，引入了高效的時(shí)空多模態(tài)CoT，將VLA和世界模型的優(yōu)點(diǎn)結(jié)合在一起，在緊湊的隱空間中對(duì)物理世界進(jìn)行建模和預(yù)測。

在隱空間（Latent space）中，LaST?會(huì)同時(shí)自回歸地預(yù)測二維圖像、三維點(diǎn)云以及本體的感知狀態(tài)，實(shí)現(xiàn)了多模態(tài)的思維鏈，獲得優(yōu)秀的空間推理能力。同時(shí)，多模態(tài)的時(shí)空CoT也被擴(kuò)展到未來的關(guān)鍵幀上，實(shí)現(xiàn)了時(shí)序上的預(yù)測和生成。

經(jīng)過大規(guī)模的預(yù)訓(xùn)練，MoT實(shí)現(xiàn)了在快慢系統(tǒng)的統(tǒng)一架構(gòu)中自主切換，有效地實(shí)現(xiàn)了深度思考與快速響應(yīng)之間的無縫交互，從而實(shí)現(xiàn)了更高的推理效率，并保證了高幀率、低延時(shí)的要求。

至簡團(tuán)隊(duì)在仿真任務(wù)和真實(shí)場景上評(píng)估了LaST?的效率。結(jié)果顯示，在仿真和真實(shí)場景中，LaST?均實(shí)現(xiàn)了SOTA，大幅超越了之前的基座模型，同時(shí)比顯式的CoT方法實(shí)現(xiàn)了約14倍的加速。

在長程任務(wù)中，LaST?也具備很好的容錯(cuò)能力，即使中間被故意打斷，它也能從錯(cuò)誤中快速恢復(fù)。

「每個(gè)模態(tài)僅需一個(gè)Token」

“我們發(fā)現(xiàn)，2D視覺語義、3D空間結(jié)構(gòu)以及機(jī)器人自身狀態(tài)都需納入考量——模態(tài)越豐富，精細(xì)操作成功率越高。由此，多模態(tài)建模產(chǎn)生的大量Token引發(fā)業(yè)界擔(dān)憂，因其或許會(huì)降低模型推理效率?！?/p>

但賈鵬指出，實(shí)際上，每個(gè)模態(tài)僅需一個(gè)Token，再增加Token也并不會(huì)顯著提高成功率。

“我們還發(fā)現(xiàn)，持續(xù)預(yù)測幀數(shù)越多，模型效果越好。不過，實(shí)際部署中，不同難度任務(wù)所需的預(yù)測時(shí)長不同。通過大規(guī)模預(yù)訓(xùn)練，模型能自適應(yīng)調(diào)整預(yù)測時(shí)長，以最佳推理速度完成任務(wù)，這實(shí)現(xiàn)了另一種形式的快慢系統(tǒng)。”

根據(jù)評(píng)估結(jié)果，LaST?在真實(shí)和仿真場景中均達(dá)SOTA水平，遠(yuǎn)超之前基座模型，且比顯式CoT方法加速約14倍。長程任務(wù)中，LaST?容錯(cuò)能力強(qiáng)，即便中間被打斷，也能快速從錯(cuò)誤中恢復(fù)。

如何應(yīng)對(duì)「災(zāi)難性遺忘」？

在上文提到的「VLM具身微調(diào)的災(zāi)難性遺忘」問題中，影響最大的是視覺能力的遺忘。可以發(fā)現(xiàn)，隨著VLM模型層數(shù)的加深，視覺特征會(huì)逐漸減弱甚至消失。

相比之下，MoT是個(gè)非常靈活的架構(gòu)，可以將視覺特征注入到更深層的Transformer層中，大幅提升模型性能。

在評(píng)估實(shí)驗(yàn)中，LaST?模型僅通過數(shù)十條數(shù)據(jù)就能實(shí)現(xiàn)煎雞蛋、盛爆米花，甚至使用筷子這樣復(fù)雜的操作。

其中一個(gè)案例展示是「3D樂高積木搭建」——先由人搭建積木，并故意遮擋攝像頭，不讓模型看到人是拼搭過程。之后模型會(huì)根據(jù)最終狀態(tài)和空白時(shí)的初始狀態(tài)，推理出整個(gè)搭建過程，并驅(qū)動(dòng)機(jī)械臂復(fù)刻出相同的形狀。

“它有自己的思路，搭建過程可能跟人完全不同。我們通過語言的思維鏈描述搭建邏輯和過程，并最終通過動(dòng)作生成實(shí)現(xiàn)積木拼搭。”

數(shù)據(jù)規(guī)?；淖罴逊桨?/strong>

目前行業(yè)獲取數(shù)據(jù)有以下幾種方法：

1、合成數(shù)據(jù)：可以快速實(shí)現(xiàn)數(shù)據(jù)的規(guī)模化，但在柔性物體、可變形物體、透明物體和流體的模擬上存在不足，對(duì)觸覺、力覺的模擬上也有所欠缺，無法滿足落地的需求。

2、真機(jī)數(shù)據(jù)采集：真機(jī)采集和真實(shí)任務(wù)的Domain Gap是最小的，但是效率非常低下。

3、遙操作：這種半真機(jī)采集效率非常高，但其硬件往往需要末端執(zhí)行器和真機(jī)保持一致，大大地限制了使用范圍。

4、Ego-centric數(shù)據(jù)：基于人類第一視角的視頻，數(shù)據(jù)來源非常廣泛。但實(shí)踐下來，此類數(shù)據(jù)質(zhì)量并不高，在需要力、觸覺等精細(xì)操作的場景下，僅僅依靠視頻是不夠的。

至簡動(dòng)力選擇的是便攜式手套進(jìn)行數(shù)據(jù)采集。它既能保證數(shù)據(jù)采集的效率，也能保證數(shù)據(jù)的質(zhì)量，同時(shí)還能很方便地?cái)U(kuò)展到更多的模態(tài)，比如說觸覺、力覺等等。

“我們認(rèn)為這是目前數(shù)據(jù)規(guī)?；淖罴逊桨?。這些數(shù)據(jù)不僅可以適配到不同形態(tài)的靈巧手上，同時(shí)也能適配到二指和三指夾爪上?！?/p>

針對(duì)垂直領(lǐng)域任務(wù)，高質(zhì)量的SFT數(shù)據(jù)至關(guān)重要。在工廠落地場景中，傳統(tǒng)真機(jī)采集往往是不可行的。相比之下，便攜式數(shù)據(jù)手套不僅不影響正常作業(yè)，還能通過額外收益提升工人配合度。實(shí)踐證明，這種高精度的人手采集數(shù)據(jù)完全能滿足SFT對(duì)數(shù)據(jù)質(zhì)量的嚴(yán)苛要求，顯著提升了模型在下游任務(wù)中的抓取精度與成功率。

強(qiáng)化學(xué)習(xí)

從99%到100%的最后一公里

如何讓一個(gè)通用模型在單一任務(wù)上實(shí)現(xiàn)100%的成功率？強(qiáng)化學(xué)習(xí)（RL）已經(jīng)成為行業(yè)共識(shí)，但它也存在兩大問題：

1、效率極其低下：具身的強(qiáng)化學(xué)習(xí)監(jiān)督信號(hào)非常稀疏，往往只有動(dòng)作完成和未完成兩種結(jié)果。為了增加過程監(jiān)督信號(hào)，大家往往通過人工干預(yù)提供稠密的Reward信號(hào)，但隨之而來的負(fù)面問題是效率極其低下。

2、容易過擬合：經(jīng)過強(qiáng)化學(xué)習(xí)之后，模型往往失去了泛化性，過擬合到了單一場景，甚至只是小幅度地挪動(dòng)一下目標(biāo)物體的位置，模型都會(huì)失效。

賈鵬團(tuán)隊(duì)發(fā)現(xiàn)，強(qiáng)化學(xué)習(xí)，尤其是RLVR，并不會(huì)創(chuàng)造新的知識(shí)，它只是重新調(diào)整了模型輸出的概率分布，強(qiáng)化學(xué)習(xí)的能力上限仍然是由基座模型的能力決定的。

為解決RL問題，至簡動(dòng)力采取了虛實(shí)結(jié)合的方法，提出了Twin-RL框架。

“我們通過3D GS（高斯?jié)姙R）把場景重建為虛擬的數(shù)字孿生。在虛擬環(huán)境中，訓(xùn)練的并非具體操作，而是放大模型的探索空間，并且通過并行訓(xùn)練大幅提升探索的效率。另一方面，我們可以鎖定模型更容易出錯(cuò)的位置，來指導(dǎo)真機(jī)的強(qiáng)化學(xué)習(xí)，提升效率?！?/p>

同時(shí)，當(dāng)前的強(qiáng)化學(xué)習(xí)大多數(shù)都是針對(duì)動(dòng)作（Action）的強(qiáng)化，但是Action往往只有成功和失敗兩種狀態(tài)，監(jiān)督十分稀疏。而至簡動(dòng)力的基座模型具備了稠密的時(shí)空特征，可以針對(duì)過程中的特征進(jìn)行更加稠密和更加高效的強(qiáng)化訓(xùn)練。

基于此，至簡也提出了DoubleRL強(qiáng)化學(xué)習(xí)框架，在特征生成和動(dòng)作生成兩個(gè)層面進(jìn)行雙重的強(qiáng)化學(xué)習(xí)，效果和效率進(jìn)一步提升。

“在大多數(shù)下游任務(wù)中，我們都可以在20分鐘內(nèi)實(shí)現(xiàn)100%的成功率，而且這個(gè)成功率是具備泛化性的成功率，在任意位置都能達(dá)到100%?！?/strong>

由此看來，至簡動(dòng)力已經(jīng)形成了一套行之有效的方法論：更高上限的一體化模型、更高效的數(shù)據(jù)采集方式、更高效的強(qiáng)化學(xué)習(xí)框架、端側(cè)的推理引擎和訓(xùn)練框架。通過這套方法論，至簡可以在保證模型泛化性的同時(shí)，在最短的時(shí)間內(nèi)實(shí)現(xiàn)單一任務(wù)的100%成功率。