在人工智能的眾多賽道中，具身智能（Embodied AI）正處于爆發(fā)的前夜。它被視為連接數(shù)字世界與物理世界的“最后一公里”，也是人類文明向前邁進(jìn)的重要里程碑。

從清華大學(xué)的強(qiáng)化學(xué)習(xí)，到香港大學(xué)的機(jī)器人控制，再到如今在上海交通大學(xué)帶領(lǐng)團(tuán)隊(duì)攻堅(jiān)通用具身智能系統(tǒng)，他站在了計(jì)算機(jī)視覺(jué)（CV）、自然語(yǔ)言處理（NLP）和機(jī)器人學(xué)（Robotics）的十字路口。

幾年前，這還是一個(gè)冷門、艱難的領(lǐng)域，沒(méi)有標(biāo)準(zhǔn)數(shù)據(jù)集，沒(méi)有 Benchmark（基準(zhǔn)測(cè)試），甚至被視為一個(gè)費(fèi)力不討好的領(lǐng)域。如今，隨著大模型技術(shù)的溢出，具身智能迎來(lái)了日新月異的變革。穆堯也在這個(gè)時(shí)候成為了上海交通大學(xué)的一名年輕的助理教授。他的主頁(yè)上寫著一句話：“Shape the intelligence and spirit the machine”（為智慧塑形，為機(jī)器注靈）。他相信，真正的創(chuàng)新往往來(lái)自那些不設(shè)限的年輕人，來(lái)自那些敢于在未知中尋找“北極星”的時(shí)刻。

在這次對(duì)話中，我們?cè)噲D還原一位青年學(xué)者眼中的具身智能全景圖。從微觀的技術(shù)路線選擇，到宏觀的中外產(chǎn)業(yè)對(duì)比，再到對(duì)年輕一代科研者的期許。

圖 | 穆堯課題組（來(lái)源：受訪者提供）

這是一個(gè)得天獨(dú)厚的交匯點(diǎn)

問(wèn)芯：回看你的經(jīng)歷，從清華到港大，再到如今的上交大，你似乎很早就鎖定了具身智能這個(gè)方向。當(dāng)初是如何在眾多 AI 領(lǐng)域中選中這條路并長(zhǎng)期投入的？

穆堯：我認(rèn)為具身智能對(duì)我來(lái)說(shuō)是一個(gè)特別合適的領(lǐng)域：它其實(shí)是 CV、NLP 和 Robotics 的一個(gè)完美交匯點(diǎn)，這與我的經(jīng)歷和知識(shí)儲(chǔ)備非常吻合。我的本科背景涵蓋了跟機(jī)器人硬件相關(guān)的知識(shí)，博士期間在香港大學(xué)羅平老師門下，又接觸了比較高端的視覺(jué)算法。而具身智能為了理解人類意圖，還會(huì)融入 NLP（自然語(yǔ)言處理）的部分。盡管在 2021 年、2022 年這還是一個(gè)比較冷門的方向。當(dāng)時(shí)更火的是純 CV 和 NLP，具身智能連標(biāo)準(zhǔn)的數(shù)據(jù)集和 Benchmark 都沒(méi)有。那是一段比較艱難的時(shí)期，我們只能一點(diǎn)點(diǎn)去打地基，自己造數(shù)據(jù)集，自己造 Benchmark，自己去探索方法。

問(wèn)芯：在它還不是風(fēng)口的時(shí)候，你有動(dòng)搖過(guò)嗎？有沒(méi)有想過(guò)換個(gè)更容易出成果的方向？

穆堯：我是比較堅(jiān)定的。當(dāng)然，很多同輩的同學(xué)會(huì)迷茫、會(huì)有困惑，我也經(jīng)常給他們做疏導(dǎo)。具身這條路確實(shí)難。它發(fā)文章的難度比正常做視覺(jué)要大很多，因?yàn)槟阈枰谖锢硎澜缋镒龈鞣N硬件的調(diào)整，真機(jī)實(shí)驗(yàn)可能就得比別人多做半個(gè)月。

但我認(rèn)為它的 ROI（投資回報(bào)率）是非常高的。因?yàn)檫@是一個(gè)藍(lán)海領(lǐng)域，你做的工作其實(shí)更具影響力。這是人工智能真正走進(jìn)物理世界、與物理世界交互、進(jìn)而改變物理世界的最后一個(gè)里程碑式的進(jìn)程。當(dāng)它被攻克時(shí)，整個(gè)人類文明、社會(huì)結(jié)構(gòu)都會(huì)被重構(gòu)。這是一個(gè)非常偉大的事業(yè)，所以我自己義無(wú)反顧。

問(wèn)芯：你在主頁(yè)上寫著一句話：“Shape the intelligence and spirit the machine”。這背后蘊(yùn)含著怎樣的研究理念？

穆堯：這兩句話是對(duì)我對(duì)具身智能核心的解釋。

前半句“為智慧塑形”（Shape the intelligence）指的是我們希望從物理交互的層面給大模型一個(gè)身體�，F(xiàn)在如 ChatGPT 一樣的大語(yǔ)言模型在虛擬世界中非常發(fā)達(dá)，但它們欠缺一個(gè)物理的身體。它可以幫你寫一封郵件，但不可能給你端來(lái)一杯水。我們希望教會(huì)它如何控制身體，如何擰開瓶蓋，如何施力。

后半句“為機(jī)器注靈”（Spirit the machine），則是具身智能與傳統(tǒng)機(jī)器人的區(qū)別。傳統(tǒng)機(jī)器人面向單一場(chǎng)景、單一任務(wù)，追求百分之百的精準(zhǔn)。而具身智能是大模型賦予了機(jī)器人“靈魂”，讓它能理解人類的意圖，甚至觀察人類的狀態(tài)。比如覺(jué)得你疲憊了，主動(dòng)為你做些什么。

簡(jiǎn)單來(lái)說(shuō)，前面是相對(duì)于互聯(lián)網(wǎng) AI，后面是相對(duì)于傳統(tǒng)機(jī)器人。具身智能正好是那個(gè)完美的交叉點(diǎn)，擁有強(qiáng)大的泛化性、與人溝通的能力，以及一個(gè)能走進(jìn)物理世界的身體。

VLA 已進(jìn)決賽圈，核心戰(zhàn)役在數(shù)據(jù)

問(wèn)芯：你在多篇論文中涉及將 Diffusion Model（擴(kuò)散模型）應(yīng)用于機(jī)器人規(guī)劃。為什么選擇這條技術(shù)路線？

穆堯：Diffusion Model是一個(gè)非常強(qiáng)大的生成器。既然它能生成復(fù)雜的視頻，生成機(jī)器人軌跡自然不在話下。

更重要的是，具身數(shù)據(jù)源于人類示教，而人類行為具有極高的多樣性。因此，在同樣觀測(cè)下，動(dòng)作分布會(huì)有多個(gè)峰值，Diffusion Model 在擬合這種多峰分布上表現(xiàn)極佳。此外，它逐步去噪的過(guò)程，允許對(duì)整條軌跡進(jìn)行迭代式優(yōu)化，“這修修，那補(bǔ)補(bǔ)”，這成為了目前學(xué)術(shù)界對(duì) Action 建模的主流方式。

問(wèn)芯：現(xiàn)在大家經(jīng)常討論具身智能的“不可能三角”——通用性、性能和自主性很難兼得。在你的工作中，如何平衡泛化能力和精確性？

穆堯：我覺(jué)得隨著技術(shù)的演進(jìn)，“不可能三角”正在被逐漸淡化和模糊。比如最新的 Pi0 等成果，泛化性很好，效果也很好。之前之所以存在“不可能三角”，本質(zhì)是因?yàn)閿?shù)據(jù)不夠。這就像之前的 NLP 模型，針對(duì)單一對(duì)話做得好，但通用不行。現(xiàn)在 ChatGPT 證明了，只要 Scale up（規(guī)模化）上來(lái)，這些問(wèn)題都能解決。目前像國(guó)外的谷歌 Generalist. AI 等和國(guó)內(nèi)各大數(shù)采場(chǎng)都在快速積累數(shù)據(jù)，大家也逐漸意識(shí)到收集多樣化數(shù)據(jù)的重要性，隨著真機(jī)數(shù)據(jù)、人類數(shù)據(jù)、仿真數(shù)據(jù)的不斷“力大磚飛”，“不可能三角”會(huì)被不斷稀釋

問(wèn)芯：既然提到 Scale up，你認(rèn)為在具身智能中，數(shù)據(jù)、模型、算力的 Scaling 優(yōu)先級(jí)是怎樣的？

穆堯：優(yōu)先級(jí)最高的絕對(duì)是數(shù)據(jù)。

其實(shí)數(shù)據(jù)的 Scaling 一直做得不夠好。數(shù)據(jù)分為四個(gè)維度：場(chǎng)景、物體、任務(wù)、行為。目前場(chǎng)景和物體的多樣性，通過(guò)仿真合成數(shù)據(jù)已經(jīng)做得相對(duì)較好。但任務(wù)多樣性很欠缺，不管是真機(jī)還是仿真，大多是一幫人拍腦袋定的任務(wù)清單，跟人類日常生活的豐富度有巨大鴻溝。

最難的是人類行為的多樣性。即使是真機(jī)遙操作采集數(shù)據(jù)，操作員為了賺快錢，往往傾向于用最快、最單一的方式完成任務(wù)。隨著疲勞，他們的行為會(huì)越來(lái)越單一。而模型訓(xùn)練恰恰需要多樣化的行為數(shù)據(jù)。相對(duì)而言，模型結(jié)構(gòu)的 Scaling 已經(jīng)很成熟了，改改結(jié)構(gòu)漲一兩個(gè)點(diǎn)意義不大，核心還是數(shù)據(jù)的 Scaling。

問(wèn)芯：面對(duì)數(shù)據(jù)難題，你們團(tuán)隊(duì)目前具體在推行什么樣的技術(shù)方案？

穆堯：我們正在推進(jìn)一套“人-數(shù)字人-機(jī)器人”三元融合驅(qū)動(dòng)的數(shù)據(jù)和模型Scaling up 方案。核心還是以人為本。我們不能只靠死板的仿真，而是要先學(xué)一個(gè)人類的 Foundation Model，把它作為先驗(yàn)嵌入到我們仿真合成數(shù)據(jù)的管線中，把人的行為多樣性遷移過(guò)去。

具體而言，整個(gè)流程是：第一步，直接從海量的人類視頻數(shù)據(jù)中進(jìn)行大規(guī)模預(yù)訓(xùn)練，解決數(shù)據(jù)量的問(wèn)題；第二步，利用我們構(gòu)建的管線生成高質(zhì)量的機(jī)器人仿真數(shù)據(jù)，將人類的行為域遷移到機(jī)器人上，進(jìn)行第二階段的預(yù)訓(xùn)練；第三步，再加入機(jī)器人的真機(jī)數(shù)據(jù)進(jìn)行微調(diào)。這可能是目前解決數(shù)據(jù)瓶頸最有效的路徑。

問(wèn)芯：除了數(shù)據(jù)，Benchmark（基準(zhǔn)測(cè)試）也是行業(yè)痛點(diǎn)。你認(rèn)為目前的測(cè)評(píng)體系存在什么問(wèn)題？

穆堯：目前缺乏統(tǒng)一的 Benchmark，大家各做各的，沒(méi)有一個(gè)能讓所有人信服。

比如常用的 LIEBRO，大部分算法都能刷到 90 多分的成功率，再漲一兩個(gè)點(diǎn)沒(méi)什么意義，而且它用的機(jī)器人型號(hào)在中國(guó)都不賣。再比如 RoboTwin，它主打泛化性，對(duì)不同場(chǎng)景，不同桌面的雜亂度，目標(biāo)物體的形狀、初始位姿等的泛化性能要求較高，但沒(méi)有和真實(shí)的物理場(chǎng)景做完美的對(duì)齊。還有一個(gè)最大的問(wèn)題是真機(jī)評(píng)測(cè)的不可復(fù)現(xiàn)性。所有人的真機(jī)實(shí)驗(yàn)都是自己設(shè)計(jì)任務(wù)、自己搭場(chǎng)景、用自己的機(jī)器人，資產(chǎn)也不一樣。

問(wèn)芯：這有解法嗎？

穆堯：我覺(jué)得未來(lái)的評(píng)價(jià)體系應(yīng)該分三部分：第一，建立一套與真機(jī)完全孿生的仿真測(cè)試，保證極高的可信度；第二，像 RoboTwin 一樣測(cè)策略在廣泛場(chǎng)景下的泛化性；第三，也是目前最糟糕的，真機(jī)評(píng)測(cè)。

我們團(tuán)隊(duì)正在做這件事，推動(dòng)真機(jī)評(píng)測(cè)的標(biāo)準(zhǔn)化。我們提供標(biāo)準(zhǔn)的硬件清單、場(chǎng)景布置參數(shù)，甚至每一個(gè)資產(chǎn)的淘寶鏈接，讓大家能購(gòu)買相應(yīng)的資產(chǎn)，搭建出一模一樣的平臺(tái)。

國(guó)內(nèi)有得天獨(dú)厚的優(yōu)勢(shì)，也有不敢冒險(xiǎn)的差距

問(wèn)芯：畢業(yè)后你選擇了進(jìn)入高校，而不是去業(yè)界一線的研發(fā)團(tuán)隊(duì)。這個(gè)選擇的緣由是什么？

穆堯：進(jìn)入產(chǎn)業(yè)界，總是容易“受制于人”。企業(yè)的安全閾值比較低，它一定要做短期內(nèi)有收益的事情。但具身智能目前還不是一個(gè)特別成熟的產(chǎn)業(yè)，它需要我們有更冒險(xiǎn)的想法、更年輕的思路。而學(xué)術(shù)界則相對(duì)自由，而且上交大提供了非常好的平臺(tái)。在高校，我們是連接各個(gè)企業(yè)的橋梁，而如果加入某一家企業(yè)，可能就很難與其他企業(yè)深度合作了。

問(wèn)芯：對(duì)比 Stanford 或 MIT等頂尖實(shí)驗(yàn)室，你認(rèn)為國(guó)內(nèi)在具身智能賽道上有哪些優(yōu)勢(shì)和差距？

穆堯：國(guó)內(nèi)最核心的優(yōu)勢(shì)是硬件本體。我們的機(jī)器人產(chǎn)業(yè)太發(fā)達(dá)了，實(shí)驗(yàn)室機(jī)器人壞了，廠家第二天就能來(lái)修好，這在國(guó)外是不可想象的，他們可能得漂洋過(guò)海去返修。

差距方面，總體沒(méi)有質(zhì)的技術(shù)代差。但國(guó)外在冒險(xiǎn)精神上確實(shí)走在前面。比如 UMI 方案收集了 27 萬(wàn)小時(shí)數(shù)據(jù)，我們很震驚這是怎么做到的，這需要非常大的 Infrastructure 和資本投入。國(guó)內(nèi)在這方面往往是“不見(jiàn)兔子不撒鷹”，看到別人路跑通了再去 Follow。這很大程度上是因?yàn)槲覀儾桓颐半U(xiǎn)。

問(wèn)芯：在你的觀察中，具身智能是初創(chuàng)公司更有機(jī)會(huì)，還是會(huì)被大廠主導(dǎo)？

穆堯：目前來(lái)看，除了 Google、Meta 這種巨頭，國(guó)內(nèi)大部分最前沿的技術(shù)發(fā)布、開源貢獻(xiàn)，其實(shí)都是由初創(chuàng)公司完成的。無(wú)論是算法、數(shù)據(jù)集還是硬件，初創(chuàng)公司展現(xiàn)出了更強(qiáng)的活力。

問(wèn)芯：你對(duì)未來(lái) 5 到 10 年的技術(shù)演進(jìn)有什么判斷？

穆堯：商業(yè)閉環(huán)會(huì)先在 B 端實(shí)現(xiàn)。我看到一些公司的方案在工業(yè)端已經(jīng)具備了 80% 的落地能力，比如物流場(chǎng)景、疊衣服場(chǎng)景。

特別是一些具體場(chǎng)景，比如商超零售，或者家庭中“掃地機(jī)器人+機(jī)械臂”的組合，去處理吸塵器處理不了的紙團(tuán)、臟襪子。這些在 1-2 年內(nèi)會(huì)很快落地。但如果你說(shuō)“通用具身智能”，像保姆一樣什么都能干，那可能還需要 5 到 10 年。

不要被單一的投稿周期束縛

問(wèn)芯：你今年的科研產(chǎn)出非常高效。能否分享一下你的科研時(shí)間管理經(jīng)驗(yàn)？

穆堯：我認(rèn)為文章產(chǎn)出是整個(gè)團(tuán)隊(duì)的努力。不過(guò)關(guān)于管理，我覺(jué)得第一點(diǎn)是不要只盯著自己的“一畝三分地”。要時(shí)刻關(guān)注 CV、NLP 領(lǐng)域最前沿的技術(shù)。比如 Meta 發(fā)布的 SAM 3D，直接顛覆了我們之前仿真合成數(shù)據(jù)的管線。如果不看那個(gè)圈子，你還在用傳統(tǒng)方法死磕，效率就很低。

第二，不要以文章投稿周期來(lái)管理時(shí)間，而應(yīng)該采用項(xiàng)目管理的方式。我們不應(yīng)該只盯著投稿，而是要規(guī)劃這個(gè)工作什么時(shí)候開源、什么時(shí)候宣傳、什么時(shí)候修復(fù) Bug。這會(huì)給之前的布局帶來(lái)更大的緊迫感，也能倒逼時(shí)間管理。

問(wèn)芯：作為導(dǎo)師，你在帶學(xué)生和團(tuán)隊(duì)管理上有什么心得？

穆堯：我最看重學(xué)生的主人翁意識(shí)。我告訴學(xué)生，這個(gè)課題分給你，你就是第一負(fù)責(zé)人，甚至不需要跟我匯報(bào)就可以做決策。通過(guò)一兩個(gè)項(xiàng)目的歷練，他們會(huì)形成很強(qiáng)的責(zé)任心。我只需要在最開始的構(gòu)想階段，以及他們遇到真正解決不了的困難時(shí)，幫他們捋順關(guān)鍵節(jié)點(diǎn)。

問(wèn)芯：你的實(shí)驗(yàn)室招生說(shuō)明中提到“人工智能是年輕人的事業(yè)”。為什么這么強(qiáng)調(diào)“年輕”這個(gè)特質(zhì)？

穆堯：這和我在回答中美差距時(shí)提到過(guò)，資深的人往往安全閾值過(guò)高，不愿意去嘗試那些“不一定帶來(lái)巨大增益”的想法——之前有一些學(xué)生提出的我覺(jué)得“不靠譜”的想法，最初本想斃掉，但后來(lái)想想，實(shí)驗(yàn)室剛建，讓他們?cè)囋囧e(cuò)也沒(méi)關(guān)系。結(jié)果反而是一些我沒(méi)太看好的項(xiàng)目，做出了很好的效果。這給了我很大的改觀。

我也參加了深圳的具身智能機(jī)器人大會(huì)，給我的感覺(jué)是“天下英雄，如過(guò)江之鯽”。新一代博士生蓬勃的生命力和最新想法都非常好。所以，雷軍的那句話說(shuō)得特別好：“不要聽(tīng)別人這個(gè)建議、那個(gè)建議，敢想敢干就完了�！� 現(xiàn)在，我也在努力改變自己。

問(wèn)芯：如果給行業(yè)里的年輕研究者一個(gè)建議，你會(huì)說(shuō)什么？

穆堯：首先要找到自己心目中的“北極星”——那個(gè)你愿意投入巨大精力去做的目標(biāo)。

找到北極星之后，就堅(jiān)定的往前走。不要因?yàn)閯e人發(fā)了一篇 Blog 說(shuō)仿真數(shù)據(jù)不如真機(jī)數(shù)據(jù)，你就猶豫仿真的意義；也不要因?yàn)閯e人發(fā)了 Simulation 的大工作，你做真機(jī)數(shù)據(jù)的就動(dòng)搖。只要你的北極星不是特別離譜，在解決問(wèn)題的過(guò)程中，一定能形成一系列成果。

從工具到伙伴

問(wèn)芯：現(xiàn)在資本市場(chǎng)對(duì)具身智能的態(tài)度，你覺(jué)得是過(guò)熱還是合理？

穆堯：有一段時(shí)間確實(shí)過(guò)熱，但現(xiàn)在的資本已經(jīng)很理性了。有些投資人對(duì)行業(yè)的理解甚至比我還深刻（笑）。

大家覺(jué)得過(guò)熱，往往是因?yàn)樾麄魃系倪^(guò)熱。但我們看到，僅僅從 2024 年到 2025 年，技術(shù)就發(fā)生了翻天覆地的變化。24 年初，很多機(jī)器人走路都不利索，我們還無(wú)法想象機(jī)器人能夠疊衣服，能夠端到端 24 小時(shí)連軸轉(zhuǎn)，但現(xiàn)在正在被逐漸攻克。技術(shù)的演進(jìn)非�？欤再Y本多一些投入是合理的，只是行業(yè)里確實(shí)存在借噱頭過(guò)度營(yíng)銷的現(xiàn)象。

問(wèn)芯：最后，請(qǐng)描述一下你心中理想的具身智能系統(tǒng)，它是什么狀態(tài)？

穆堯：最理想的狀態(tài)，是成為人類的“伙伴”。

它不僅是有應(yīng)用價(jià)值的工具，比如在養(yǎng)老場(chǎng)景中發(fā)揮作用；更會(huì)在社會(huì)心理學(xué)層面帶來(lái)改變。隨著具身智能的急速發(fā)展，社會(huì)結(jié)構(gòu)會(huì)發(fā)生快速變化。終極形態(tài)下，機(jī)器人將成為我們非常好的朋友。

結(jié)語(yǔ)

具身智能從“冷門賽道”到“風(fēng)口前夜”，其發(fā)展軌跡印證了技術(shù)演進(jìn)的非線性特征。數(shù)據(jù)瓶頸、評(píng)測(cè)標(biāo)準(zhǔn)的缺失、真機(jī)實(shí)驗(yàn)的高成本，這些問(wèn)題至今懸而未決，但資本與人才的涌入正在加速尋找答案的進(jìn)程。

至于這場(chǎng)“為機(jī)器注靈”的冒險(xiǎn)最終將通向何處，答案仍在時(shí)間的另一端。