這項由清華大學(xué)與香港大學(xué)、香港科技大學(xué)及北京人形機器人創(chuàng)新中心聯(lián)合進行的研究發(fā)表于2026年2月，論文編號為arXiv:2602.08392v1，為機器人雙臂操作能力評估開創(chuàng)了全新的測試標準。

當我們看著一個熟練的廚師同時用雙手處理食材時，會發(fā)現(xiàn)這其實是個極其復(fù)雜的協(xié)調(diào)過程。左手穩(wěn)住砧板上的洋蔥，右手握刀精準切片，兩只手必須完美配合才能避免意外?，F(xiàn)在，當科學(xué)家們試圖讓機器人也能像人類一樣使用雙手時，他們遇到了一個根本問題：如何知道這些機器人的雙手配合得好不好？

清華大學(xué)的研究團隊注意到，雖然現(xiàn)在的多模態(tài)大語言模型在理解和生成內(nèi)容方面已經(jīng)相當出色，但當涉及到控制機器人雙臂協(xié)調(diào)工作時，我們卻缺乏一個標準的測試方法。這就像是我們有了很多聰明的學(xué)生，但沒有合適的考試來檢驗他們的雙手配合能力。

為了解決這個問題，研究團隊開發(fā)了BiManiBench——一個專門用來測試機器人雙臂協(xié)調(diào)能力的基準測試系統(tǒng)。這個系統(tǒng)的巧妙之處在于它將復(fù)雜的雙臂操作能力分解成了三個層次的測試，就像學(xué)習(xí)駕駛時需要先學(xué)會看路、再學(xué)會判斷、最后學(xué)會精確操控方向盤一樣。

研究團隊發(fā)現(xiàn)了一個有趣的現(xiàn)象：目前最先進的AI模型雖然在高層思維方面表現(xiàn)出色，但在具體的雙手協(xié)調(diào)操作上卻經(jīng)常出現(xiàn)問題。這就好比一個很聰明的人能夠完美地規(guī)劃出做菜的步驟，但真正動手時卻總是左右手打架，不是撞到一起就是動作不同步。

在測試過程中，研究人員評估了超過30個目前最先進的AI模型，包括GPT-5、Gemini-2.5-Pro、Claude-4-sonnet等知名模型，以及許多開源模型如InternVL3、Qwen2.5-VL等。結(jié)果顯示，即使是表現(xiàn)最好的模型，在需要精確雙臂配合的任務(wù)中也經(jīng)常失敗。

一、三層測試體系：從簡單到復(fù)雜的能力檢驗

BiManiBench的測試體系就像學(xué)習(xí)樂器時的分級練習(xí)。第一級是最基礎(chǔ)的空間推理能力測試，相當于讓學(xué)習(xí)者先明白哪只手應(yīng)該按哪個琴鍵。在這個測試中，機器人需要觀察桌面上的物體，然后正確判斷應(yīng)該用左手還是右手去抓取每個物體。

這看起來簡單，但實際上暗藏玄機。研究團隊設(shè)計了三種不同復(fù)雜度的場景來測試這種能力。稀疏場景中只放置三個彩色方塊，機器人需要根據(jù)物體位置來選擇合適的手臂。密集場景增加到五個方塊，增加了判斷難度。而雜亂場景則加入了各種干擾物體，就像在嘈雜的環(huán)境中識別聲音一樣困難。

測試結(jié)果顯示，最優(yōu)秀的閉源模型如Gemini-2.5-Pro能達到95%的準確率，而開源模型中表現(xiàn)最好的Qwen3-VL-32B也能達到94%的水準。但有趣的是，并不是參數(shù)越多的模型表現(xiàn)就越好。一些中等規(guī)模的模型反而在特定任務(wù)上表現(xiàn)出色，這說明模型架構(gòu)的優(yōu)化有時比單純增加規(guī)模更重要。

第二級測試更像是讓機器人成為一個合格的任務(wù)管理者。在高層行動規(guī)劃測試中，機器人需要將復(fù)雜任務(wù)分解成一系列具體的動作序列。這就好比讓機器人規(guī)劃如何整理一個雜亂的房間，需要決定先收拾哪里、后收拾哪里，以及兩只手應(yīng)該如何分工。

這個層級的測試包含14個不同的操作任務(wù)，分為兩大類：獨立并行操作和順序協(xié)作操作。獨立并行操作就像兩只手同時做不同的事情，比如左手整理書架的同時右手收拾桌面。而順序協(xié)作操作則需要更精妙的配合，比如一只手遞物品給另一只手，或者一只手固定容器另一只手往里放東西。

在這個層級的測試中，模型之間的差距開始顯現(xiàn)。最好的模型Gemini-2.5-Pro達到了70.21%的成功率，而GPT-5緊隨其后達到67%。但開源模型的表現(xiàn)就相對遜色，最好的Qwen3-VL-235B只達到了54.21%的成功率，這說明在復(fù)雜的邏輯推理和任務(wù)規(guī)劃方面，閉源模型仍然保持著明顯優(yōu)勢。

第三級測試是最具挑戰(zhàn)性的，要求機器人進行精確的末端執(zhí)行器控制。這就像要求機器人不僅要知道如何彈鋼琴，還要能夠精確控制每個手指的力度和位置。在這個測試中，機器人需要直接輸出16維的連續(xù)動作指令，控制兩個7自由度的手臂加上各自的夾爪狀態(tài)。

這個層級只包含5個任務(wù)，但每個都極具挑戰(zhàn)性。比如需要兩只手同時抓取一個滾筒并舉起，或者讓兩只手配合將物品堆疊起來。結(jié)果顯示，即使是最優(yōu)秀的GPT-5也只達到了66.80%的成功率，而大部分開源模型的表現(xiàn)都在30%以下，這表明當前的AI模型在精確的物理控制方面還有很大改進空間。

二、巧妙的評分機制：考慮模糊地帶的智能判斷

在設(shè)計評分系統(tǒng)時，研究團隊面臨了一個有趣的挑戰(zhàn)。對于那些需要精確操作的任務(wù)，成功就是成功，失敗就是失敗，這很容易判斷。但對于空間推理任務(wù)，情況就復(fù)雜多了。

考慮這樣一個場景：一個物體正好位于工作臺的中央位置，理論上左右兩只手都能夠到。這時候選擇左手還是右手其實都是合理的，但傳統(tǒng)的評分方法可能會武斷地認為只有一個答案是正確的。

為了解決這個問題，研究團隊開發(fā)了一個"高斯加權(quán)空間評分"系統(tǒng)。這個系統(tǒng)的巧妙之處在于，它會根據(jù)物體距離中心線的遠近來調(diào)整評分標準。如果物體明顯偏向左邊或右邊，那么選擇錯誤的手臂會被嚴厲扣分。但如果物體接近中心位置，即使選擇了"錯誤"的手臂，也只會輕微扣分，因為這種選擇在實際情況下也是可以理解的。

這種評分機制就像一個通情達理的考官，不會因為學(xué)生在模糊問題上的合理判斷而過分苛刻。通過數(shù)學(xué)公式的精確計算，系統(tǒng)能夠給出更加公正和合理的評分，避免了傳統(tǒng)二元評分系統(tǒng)可能帶來的不公平。

三、多視角觀察：解決機器人視野盲區(qū)的創(chuàng)新方案

在實際操作中，機器人經(jīng)常會遇到視野被遮擋的問題。就像人在做精細工作時，有時候手或工具會擋住視線，這時候換個角度觀察就很有幫助。

研究團隊為機器人配備了兩種視角：第一人稱視角和第三人稱視角。第一人稱視角就像機器人的"眼睛"，能夠看到精確的操作細節(jié)，但容易被手臂或夾爪遮擋。第三人稱視角則像是房間里的監(jiān)控攝像頭，能夠提供全局觀察，但距離較遠，細節(jié)不夠清晰。

有趣的是，研究發(fā)現(xiàn)并不是所有模型都能有效利用多視角信息。對于計算能力強大的模型來說，額外的視角信息確實能幫助它們更好地理解場景，解決遮擋問題。但對于能力較弱的模型，過多的視覺信息反而成了負擔，就像給一個初學(xué)者同時提供太多角度的教學(xué)視頻，結(jié)果讓他們更加混亂。

這個發(fā)現(xiàn)揭示了一個重要原理：信息越多未必越好，關(guān)鍵是要有足夠的處理能力來有效利用這些信息。這就像給不同水平的學(xué)生提供學(xué)習(xí)材料，需要根據(jù)他們的能力水平來調(diào)整信息的復(fù)雜度和數(shù)量。

四、動作分組執(zhí)行：平衡效率與安全的智能策略

在實際操作中，機器人需要在效率和安全之間找到平衡。如果每次都只執(zhí)行一個動作然后停下來重新觀察，雖然安全但效率很低。如果一次性執(zhí)行一長串動作，雖然效率高但可能因為環(huán)境變化導(dǎo)致后續(xù)動作失效甚至危險。

研究團隊開發(fā)了一個"任務(wù)自適應(yīng)執(zhí)行截斷"機制，這就像是給機器人配了一個智能的安全管家。這個系統(tǒng)會根據(jù)不同任務(wù)的特點，為每個任務(wù)設(shè)定一個最大連續(xù)執(zhí)行動作數(shù)。無論AI模型規(guī)劃了多少個連續(xù)動作，系統(tǒng)都會在達到安全閾值時主動停下來，讓機器人重新觀察環(huán)境并調(diào)整后續(xù)計劃。

這種機制特別重要，因為在執(zhí)行一連串動作的過程中，環(huán)境狀態(tài)會不斷變化。比如當機器人抓起一個物體后，桌面上其他物體的可見性和可達性都可能發(fā)生變化。如果繼續(xù)按照原計劃執(zhí)行，可能會導(dǎo)致碰撞或失誤。

五、深度錯誤分析：揭示AI模型的真實弱點

通過對30多個AI模型的全面測試，研究團隊發(fā)現(xiàn)了一些令人意外的結(jié)果。最令人驚訝的發(fā)現(xiàn)是，模型的表現(xiàn)并不總是隨著參數(shù)規(guī)模增大而提升。在某些任務(wù)中，一些中等規(guī)模的模型反而比大型模型表現(xiàn)更好，這說明模型設(shè)計的巧妙性有時比單純的規(guī)模更重要。

研究團隊將錯誤類型分為兩大類：感知推理錯誤和策略規(guī)劃錯誤。感知推理錯誤就像是機器人"看錯了"或"想錯了"，包括對當前狀態(tài)的誤判、對應(yīng)該使用哪只手的錯誤判斷、以及對物體大小和屬性的錯誤認知。

策略規(guī)劃錯誤則是在正確理解環(huán)境的基礎(chǔ)上，制定了錯誤的行動計劃。這包括動作順序的錯誤、雙手之間的沖突碰撞、以及行動參數(shù)的不一致。

通過分析GPT-5和Gemini-2.5-Pro這兩個頂級模型的錯誤模式，研究團隊發(fā)現(xiàn)了一個有趣的對比。GPT-5的主要問題是感知方面，經(jīng)常對任務(wù)狀態(tài)判斷錯誤，但一旦理解正確，它的規(guī)劃能力還是不錯的。而Gemini-2.5-Pro恰恰相反，它的感知能力很強，但在復(fù)雜的雙手協(xié)調(diào)規(guī)劃方面經(jīng)常出現(xiàn)問題，特別是在時序安排和避免沖突方面。

六、實際應(yīng)用場景：從實驗室到現(xiàn)實世界的挑戰(zhàn)

BiManiBench包含的任務(wù)都來源于真實的生活場景。比如雙手協(xié)作搬運重物、一手拿容器另一手往里放東西、將物品按大小排序、把積木搭建成指定形狀等等。這些任務(wù)看似簡單，但對機器人來說卻充滿挑戰(zhàn)。

在搬運任務(wù)中，機器人需要確保兩只手同時抓取物體，用力均勻，移動同步，這需要精確的時間協(xié)調(diào)。在傳遞任務(wù)中，機器人需要一只手穩(wěn)定地握住物體，另一只手準確地接收，這考驗的是空間判斷和動作協(xié)調(diào)能力。

研究發(fā)現(xiàn)，即使是最先進的AI模型，在這些看似簡單的日常任務(wù)中也經(jīng)常失敗。失敗的原因多種多樣：有時是兩只手撞到一起，有時是動作時機不對，有時是對物體位置判斷錯誤。這些發(fā)現(xiàn)提醒我們，要讓機器人真正融入人類的日常生活，還有很長的路要走。

七、技術(shù)突破與創(chuàng)新點：引領(lǐng)雙臂機器人評估新標準

BiManiBench的創(chuàng)新不僅僅在于提供了一個測試平臺，更重要的是它建立了一套科學(xué)的評估體系。這套體系的價值在于它能夠精確識別AI模型在雙臂協(xié)調(diào)方面的具體短板，為后續(xù)的改進提供明確方向。

研究團隊還開發(fā)了一個視覺驅(qū)動的智能體框架，這個框架就像是給AI配了一個專業(yè)的雙手協(xié)調(diào)教練。它不僅能夠理解視覺信息，還能將復(fù)雜的雙臂操作任務(wù)分解成可執(zhí)行的步驟序列，并且在執(zhí)行過程中實時調(diào)整策略。

另一個重要創(chuàng)新是"操作臂分配反饋和截斷機制"。這個機制能夠在AI模型做出錯誤的手臂選擇時及時介入，提供反饋并允許重新規(guī)劃。這就像是給學(xué)習(xí)者配了一個耐心的老師，當他們犯錯時不會直接宣布失敗，而是指出錯誤并給予改正機會。

八、研究局限性與未來展望：通向更完善的雙臂協(xié)調(diào)能力

研究團隊誠實地承認了當前工作的局限性。首先，所有測試都是在仿真環(huán)境中進行的，與真實世界的復(fù)雜性還有差距。真實世界中存在傳感器噪聲、機械磨損、照明變化等仿真環(huán)境難以完全模擬的因素。

其次，當前的測試主要集中在剛性物體的操作上，而現(xiàn)實中許多雙手協(xié)調(diào)任務(wù)涉及柔性或可變形物體，比如折疊衣物、綁鞋帶、處理液體等。這些任務(wù)需要更復(fù)雜的物理理解和實時適應(yīng)能力。

對于AI模型推理速度的限制也是一個挑戰(zhàn)。目前的大型語言模型推理速度相對較慢，難以滿足機器人實時控制的需求。未來需要開發(fā)更高效的架構(gòu)或者混合控制策略來解決這個問題。

研究團隊提出了幾個重要的未來研究方向。首先是開發(fā)更好的多視角信息融合技術(shù)，讓所有模型都能有效利用多角度的視覺信息。其次是研究實時控制和延遲緩解技術(shù)，包括模型蒸餾、動作分組和混合架構(gòu)等方法。

還有一個有趣的方向是人機雙臂協(xié)作。未來的機器人不僅要能夠獨立完成雙臂任務(wù)，還要能夠與人類進行雙臂協(xié)作，這需要更復(fù)雜的意圖理解、安全交互和社會認知能力。

九、對機器人發(fā)展的深遠影響：重新定義智能機器人標準

BiManiBench的發(fā)布標志著機器人能力評估進入了一個新階段。過去的機器人測試大多關(guān)注單一技能，而這項研究強調(diào)了協(xié)調(diào)能力的重要性。這就像是從考察個人技能轉(zhuǎn)向考察團隊合作能力，雖然更復(fù)雜，但也更接近實際需求。

這項研究揭示了當前AI技術(shù)的一個重要盲區(qū)：盡管在語言理解、圖像識別等單一模態(tài)任務(wù)上表現(xiàn)出色，但在需要多模態(tài)協(xié)調(diào)的物理任務(wù)上仍然存在明顯不足。這為AI研究指出了一個重要的發(fā)展方向：不僅要提升單一能力的上限，更要加強不同能力之間的協(xié)調(diào)整合。

從產(chǎn)業(yè)角度來看，BiManiBench為機器人制造商和AI公司提供了一個客觀的評估標準。這有助于推動整個行業(yè)向更實用的方向發(fā)展，避免單純追求某些指標的虛高而忽略了實際應(yīng)用中的協(xié)調(diào)能力需求。

說到底，這項研究的真正價值不在于證明當前的AI模型有多強或多弱，而在于為我們指出了通向真正智能機器人的道路。通過系統(tǒng)性地測試和分析雙臂協(xié)調(diào)能力，我們能夠更清楚地看到差距在哪里，需要在哪些方面繼續(xù)努力。

當我們期待著未來機器人能夠像人類一樣靈巧地使用雙手時，BiManiBench就像是一面鏡子，讓我們看清了現(xiàn)實與理想之間的距離。但正是這種清醒的認識，才能引導(dǎo)我們走向更加智能、更加實用的機器人未來。對于那些有興趣深入了解這項研究細節(jié)的讀者，可以通過論文編號arXiv:2602.08392v1查詢完整的研究報告。

Q&A

Q1：BiManiBench到底測試機器人什么能力？

A：BiManiBench是專門測試機器人雙臂協(xié)調(diào)能力的基準測試系統(tǒng)，它分三個層次評估：基礎(chǔ)空間推理（判斷用哪只手抓物體）、高層動作規(guī)劃（制定復(fù)雜任務(wù)的執(zhí)行步驟）、低層精確控制（直接控制雙臂的具體動作）。就像考駕照一樣，從理論知識到實際操作全面評估。

Q2：為什么現(xiàn)在的AI模型在雙臂協(xié)調(diào)上表現(xiàn)不好？

A：研究發(fā)現(xiàn)AI模型主要有三個問題：首先是"看錯"，經(jīng)常誤判應(yīng)該用哪只手或物體在哪里；其次是"想亂"，雖然理解任務(wù)但制定的行動計劃有問題，比如兩只手會撞到一起；最后是"做不準"，即使計劃正確也無法精確執(zhí)行雙手配合動作。這就像一個人腦子很聰明但手腳不協(xié)調(diào)。

Q3：BiManiBench對機器人發(fā)展有什么意義？

A：BiManiBench首次為雙臂機器人能力評估建立了科學(xué)標準，就像給機器人設(shè)立了"體能測試"。它幫助研究人員精確找到AI模型的弱點，指導(dǎo)未來改進方向。更重要的是，它推動整個行業(yè)關(guān)注機器人的協(xié)調(diào)能力而不只是單一技能，讓機器人更接近實際應(yīng)用需求。