這項(xiàng)由蒙特利爾大學(xué)Mila魁北克人工智能研究所、IIIT海德拉巴德等機(jī)構(gòu)聯(lián)合開展的研究發(fā)表于2026年4月，論文編號(hào)為arXiv:2603.27183v2。有興趣深入了解的讀者可以通過該編號(hào)查詢完整論文。

當(dāng)你在一個(gè)陌生的大型公園里和朋友走散時(shí)，會(huì)發(fā)生什么？一個(gè)人說"我在噴泉旁邊的路燈下"，另一個(gè)人回答"我看到一棵高樹和那個(gè)噴泉"。雖然兩人看到的景象不完全相同，但通過簡單的對(duì)話，他們能夠建立起對(duì)整個(gè)公園布局的共同理解，最終成功會(huì)面。這種通過語言交流來整合不同視角信息的能力，是人類空間智能的一個(gè)重要體現(xiàn)。

然而，當(dāng)前最先進(jìn)的多模態(tài)大語言模型能否做到這一點(diǎn)呢？研究團(tuán)隊(duì)帶著這個(gè)問題，開發(fā)了一個(gè)名為COSMIC的全新測(cè)試平臺(tái)，專門用來檢驗(yàn)AI系統(tǒng)是否具備這種協(xié)作空間理解能力。就像給AI安排了一場(chǎng)"空間對(duì)話考試"，讓兩個(gè)AI助手分別站在房間的不同位置，只能看到各自的視野范圍，然后通過自然語言對(duì)話來共同解決空間相關(guān)的問題。

研究結(jié)果令人意外。即使是最先進(jìn)的AI模型，在這項(xiàng)看似簡單的任務(wù)上也表現(xiàn)得相當(dāng)吃力。最好的模型GPT-5和Gemini-3-Pro只能達(dá)到大約72%的準(zhǔn)確率，而人類在同樣的任務(wù)中輕松達(dá)到了95%的準(zhǔn)確率。這個(gè)差距就像是大學(xué)生和小學(xué)生在解數(shù)學(xué)題時(shí)的表現(xiàn)差別一樣明顯。

更有趣的是，研究人員發(fā)現(xiàn)AI模型存在一個(gè)明顯的能力層次差異。它們?cè)谧R(shí)別兩個(gè)視野中共同存在的物體方面表現(xiàn)還算不錯(cuò)，但當(dāng)需要推理物體之間的空間關(guān)系時(shí)就開始出現(xiàn)困難，而在構(gòu)建整個(gè)房間的全局地圖這樣的高級(jí)任務(wù)中幾乎完全失敗，表現(xiàn)接近隨機(jī)猜測(cè)的水平。

這就好比讓兩個(gè)人通過對(duì)講機(jī)合作組裝一臺(tái)復(fù)雜機(jī)器。AI能夠準(zhǔn)確描述各自看到的零件，但當(dāng)需要理解這些零件如何在空間中相互連接，或者構(gòu)建出整臺(tái)機(jī)器的完整圖像時(shí)，它們就顯得力不從心了。

**一、COSMIC測(cè)試平臺(tái)：為AI設(shè)計(jì)的空間對(duì)話考場(chǎng)**

為了系統(tǒng)性地研究這個(gè)問題，研究團(tuán)隊(duì)創(chuàng)建了COSMIC測(cè)試平臺(tái)，這個(gè)名字代表"協(xié)作空間交流"?？梢园阉胂蟪梢粋€(gè)專門為AI設(shè)計(jì)的考場(chǎng)，里面擺放著各種精心設(shè)計(jì)的3D室內(nèi)場(chǎng)景，包括客廳、臥室、浴室、廚房和餐廳等899個(gè)不同的環(huán)境。

在每個(gè)測(cè)試場(chǎng)景中，有兩個(gè)AI助手扮演不同的角色：一個(gè)是"回答者"，需要回答關(guān)于房間的問題；另一個(gè)是"幫助者"，負(fù)責(zé)提供自己視野范圍內(nèi)的信息來協(xié)助回答者。就像兩個(gè)偵探在案發(fā)現(xiàn)場(chǎng)的不同位置，需要通過無線電交流來拼湊出完整的犯罪現(xiàn)場(chǎng)圖像。

這個(gè)測(cè)試平臺(tái)包含五種不同難度的任務(wù)，就像游戲中的五個(gè)關(guān)卡，從簡單到復(fù)雜逐步提升難度。第一個(gè)關(guān)卡是"錨點(diǎn)識(shí)別"，要求AI識(shí)別出兩個(gè)視野中都能看到的共同物體，這就像確認(rèn)兩人都能看到同一個(gè)地標(biāo)。第二個(gè)關(guān)卡是"全局計(jì)數(shù)"，需要統(tǒng)計(jì)房間內(nèi)某種物體的總數(shù)，避免重復(fù)計(jì)算兩人都能看到的物體，這考驗(yàn)的是去重能力。

第三和第四個(gè)關(guān)卡涉及相對(duì)關(guān)系推理。"相對(duì)距離"任務(wù)要求判斷哪個(gè)物體離目標(biāo)物體最近或最遠(yuǎn)，而"相對(duì)方向"任務(wù)則需要一個(gè)助手告訴另一個(gè)助手某個(gè)物體在他那里的什么方向。這兩個(gè)任務(wù)就像讓兩個(gè)人在沒有地圖的情況下，僅通過語言描述來確定路線和方位。

最高難度的第五個(gè)關(guān)卡是"認(rèn)知地圖構(gòu)建"，要求AI通過對(duì)話整合兩個(gè)不同視角的信息，判斷一張俯視圖是否準(zhǔn)確反映了房間的真實(shí)布局。這個(gè)任務(wù)相當(dāng)于讓兩個(gè)只能看到部分信息的人合作繪制出完整的地圖。

為了確保測(cè)試的公平性和準(zhǔn)確性，研究團(tuán)隊(duì)使用了程序化生成技術(shù)來創(chuàng)建這些3D場(chǎng)景，確保每個(gè)場(chǎng)景都有足夠的復(fù)雜性和多樣性。同時(shí)，他們還設(shè)計(jì)了巧妙的干擾選項(xiàng)，防止AI通過猜測(cè)或使用常識(shí)推理來作弊。比如在錨點(diǎn)識(shí)別任務(wù)中，錯(cuò)誤選項(xiàng)包括只有一個(gè)助手能看到的物體，以及與正確答案同類但顏色或位置不同的物體。

**二、AI表現(xiàn)分析：能力等級(jí)的清晰分層**

通過對(duì)多種主流AI模型的測(cè)試，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：不同類型的AI模型表現(xiàn)出明顯的能力分層，就像學(xué)生在不同科目上的成績差異一樣。

在最基礎(chǔ)的錨點(diǎn)識(shí)別任務(wù)中，最優(yōu)秀的模型能達(dá)到90%以上的準(zhǔn)確率，這意味著它們能夠相當(dāng)準(zhǔn)確地識(shí)別兩個(gè)視野中的共同物體。這就像兩個(gè)人都能準(zhǔn)確地說出他們都看到了同一個(gè)紅色沙發(fā)或白色桌子。然而，當(dāng)任務(wù)復(fù)雜度稍微增加到全局計(jì)數(shù)時(shí)，所有模型的表現(xiàn)都有所下降。這個(gè)任務(wù)需要AI不僅要識(shí)別物體，還要避免重復(fù)計(jì)算，就像清點(diǎn)一間房子里的椅子總數(shù)，需要確保不把兩人都能看到的那把椅子算兩次。

更令人驚訝的是，當(dāng)任務(wù)進(jìn)入需要空間推理的階段時(shí)，AI的表現(xiàn)急劇下降。在相對(duì)距離任務(wù)中，即使是最好的模型也只能達(dá)到70-80%的準(zhǔn)確率，而相對(duì)方向任務(wù)的表現(xiàn)更是糟糕，大多數(shù)模型只能勉強(qiáng)超過50%的隨機(jī)猜測(cè)水平。這就好比讓兩個(gè)人通過對(duì)話確定房間里哪個(gè)物體離窗戶最近，或者告訴對(duì)方某個(gè)看不見的物體在自己的左邊還是右邊，AI在這些看似簡單的任務(wù)上表現(xiàn)得相當(dāng)吃力。

最引人注目的發(fā)現(xiàn)是，在最高難度的認(rèn)知地圖構(gòu)建任務(wù)中，幾乎所有AI模型都徹底失敗了，表現(xiàn)接近隨機(jī)猜測(cè)的50%水平。這個(gè)結(jié)果特別引人深思，因?yàn)闃?gòu)建空間心理地圖是人類空間認(rèn)知的核心能力之一。想象兩個(gè)人站在一棟陌生房子的不同房間里，僅通過描述各自看到的情況就能合作畫出整棟房子的平面圖，這對(duì)人類來說雖然有挑戰(zhàn)但完全可行，但對(duì)當(dāng)前的AI來說卻是一個(gè)幾乎不可能完成的任務(wù)。

研究還發(fā)現(xiàn)，讓AI進(jìn)行"思考"能夠在某些任務(wù)上帶來顯著改善。當(dāng)給模型提供明確的中間推理步驟時(shí)，它們?cè)阱^點(diǎn)識(shí)別和相對(duì)距離任務(wù)上的表現(xiàn)有了明顯提升，準(zhǔn)確率平均提高了10-15個(gè)百分點(diǎn)。這就像讓學(xué)生在考試時(shí)可以在草稿紙上寫下思考過程，有助于他們得出更準(zhǔn)確的答案。

然而，這種"思考"能力的提升是有限的。在更高級(jí)的空間推理任務(wù)中，即使有了明確的推理過程，AI的表現(xiàn)仍然沒有顯著改善。這表明問題的根源不在于推理步驟的缺失，而在于AI對(duì)空間關(guān)系的根本理解能力不足。就像給一個(gè)不會(huì)游泳的人詳細(xì)講解游泳技巧，雖然理論知識(shí)增加了，但在水中的實(shí)際表現(xiàn)不會(huì)有根本性改變。

**三、人類與AI的對(duì)話模式差異：效率與深度的鴻溝**

為了更深入地理解AI在協(xié)作空間理解方面的不足，研究團(tuán)隊(duì)還收集了250段人類之間的對(duì)話作為對(duì)比基準(zhǔn)。這種對(duì)比就像是觀察兩種不同的工作方式：專業(yè)團(tuán)隊(duì)與初學(xué)者團(tuán)隊(duì)在解決同一個(gè)問題時(shí)的表現(xiàn)差異。

人類在進(jìn)行空間協(xié)作對(duì)話時(shí)表現(xiàn)出了令人印象深刻的效率和精確性。他們的對(duì)話具有強(qiáng)烈的目標(biāo)導(dǎo)向性，通常在前幾輪交流中就能迅速確定共同的參照點(diǎn)，然后圍繞這些參照點(diǎn)進(jìn)行高效的信息交換。比如在錨點(diǎn)識(shí)別任務(wù)中，人類會(huì)迅速說出"我看到一個(gè)藍(lán)色沙發(fā)"，對(duì)方確認(rèn)"我也看到了，它旁邊有個(gè)白色茶幾"，這樣幾句話就能建立起可靠的空間錨點(diǎn)。

更重要的是，人類對(duì)話顯示出明顯的收斂特征。隨著對(duì)話的進(jìn)行，他們提及的新物體數(shù)量會(huì)逐漸減少，這表明他們正在圍繞已確認(rèn)的共同元素深化理解，而不是漫無目的地描述所見。這就像兩個(gè)裝修工人在電話中協(xié)調(diào)工作，最初可能會(huì)提到房間里的各種物體，但很快就會(huì)聚焦到關(guān)鍵的測(cè)量點(diǎn)和參照物上。

相比之下，AI模型的對(duì)話模式截然不同。它們的對(duì)話通常更加冗長，但信息密度卻相對(duì)較低。更關(guān)鍵的是，AI在整個(gè)對(duì)話過程中始終保持較高的新物體提及率，這意味著它們沒有表現(xiàn)出人類那種逐步聚焦和深化理解的能力。這就像兩個(gè)沒有經(jīng)驗(yàn)的助手在倉庫里清點(diǎn)貨物，他們會(huì)不斷描述看到的新東西，但始終無法形成對(duì)整個(gè)倉庫布局的清晰認(rèn)識(shí)。

人類還表現(xiàn)出了強(qiáng)大的錯(cuò)誤修正能力。當(dāng)發(fā)現(xiàn)推理出現(xiàn)偏差時(shí)，他們能夠迅速回溯并修正錯(cuò)誤的假設(shè)，成功率達(dá)到79%。這種能力在協(xié)作問題解決中至關(guān)重要，就像兩個(gè)人合作解謎題時(shí)，一旦發(fā)現(xiàn)某條思路走不通，能夠快速回到正確的軌道上。

然而，AI模型在這方面的表現(xiàn)令人擔(dān)憂。最好的AI模型的錯(cuò)誤修正率僅為28%，大多數(shù)模型更是低至8%左右。這意味著一旦AI在對(duì)話早期形成了錯(cuò)誤的空間理解，它們往往會(huì)一直沿著這條錯(cuò)誤的路徑走下去，直到得出錯(cuò)誤的結(jié)論。這就像兩個(gè)人在沒有指南針的森林里迷路，一旦選錯(cuò)了方向，就會(huì)越走越遠(yuǎn)。

這種差異揭示了一個(gè)更深層的問題：AI不僅在空間理解能力上存在不足，在協(xié)作交流的元認(rèn)知能力方面也存在顯著缺陷。它們?nèi)狈θ祟惸欠N能夠監(jiān)控對(duì)話進(jìn)展、評(píng)估理解質(zhì)量、并在必要時(shí)調(diào)整策略的高級(jí)認(rèn)知能力。

**四、失效模式分析：AI犯錯(cuò)的三大類型**

通過對(duì)150個(gè)失敗案例的詳細(xì)分析，研究團(tuán)隊(duì)識(shí)別出了AI在協(xié)作空間理解中失敗的三種主要模式，這些模式就像醫(yī)生診斷疾病時(shí)發(fā)現(xiàn)的不同癥狀類型。

第一類是感知失效。這類錯(cuò)誤占所有失效的約20%，雖然比例相對(duì)較小，但往往成為后續(xù)錯(cuò)誤的導(dǎo)火索。感知失效包括兩種子類型：物體識(shí)別失敗和屬性錯(cuò)誤標(biāo)記。物體識(shí)別失敗是指AI完全遺漏了視野中明顯存在的物體，或者把一個(gè)物體錯(cuò)誤地歸類為另一種物體。這就像一個(gè)人戴著度數(shù)不對(duì)的眼鏡，把桌子看成了椅子。屬性錯(cuò)誤標(biāo)記則是指AI正確識(shí)別了物體類別，但錯(cuò)誤地描述了其顏色、大小或位置等屬性，比如把白色的柜子說成是藍(lán)色的。

這種感知錯(cuò)誤的危險(xiǎn)性在于它的連鎖反應(yīng)。當(dāng)一個(gè)AI助手錯(cuò)誤地描述了某個(gè)物體的顏色時(shí)，另一個(gè)助手就會(huì)在自己的視野中尋找這個(gè)并不存在的物體，從而導(dǎo)致整個(gè)對(duì)話偏離正軌。這就像兩個(gè)人在電話中描述走失的寵物，如果一個(gè)人錯(cuò)誤地說寵物是黑色的而實(shí)際上是白色的，另一個(gè)人就會(huì)一直尋找錯(cuò)誤的目標(biāo)。

第二類是跨視角錨定失效，這是最主要的失效類型，占到所有錯(cuò)誤的46%。這類錯(cuò)誤反映了AI在建立共同參照系方面的根本性困難?？缫暯清^定失效有三種表現(xiàn)形式。

第一種是指稱歧義，即AI使用了不夠精確的描述，導(dǎo)致對(duì)方無法唯一確定所指的物體。比如在一個(gè)有多個(gè)椅子的房間里，AI只是說"椅子旁邊的桌子"，而沒有進(jìn)一步限定是哪把椅子。這就像在擁擠的停車場(chǎng)告訴朋友"我在紅色汽車旁邊"，而停車場(chǎng)里有十幾輛紅色汽車。

第二種是實(shí)例合并錯(cuò)誤，即兩個(gè)AI助手錯(cuò)誤地認(rèn)為它們各自看到的不同物體實(shí)際上是同一個(gè)物體。比如一個(gè)助手看到房間東墻的白色柜子，另一個(gè)助手看到西墻的白色柜子，它們可能會(huì)錯(cuò)誤地認(rèn)為這是同一個(gè)柜子，從而在計(jì)數(shù)任務(wù)中漏掉一個(gè)。

第三種是實(shí)例重復(fù)錯(cuò)誤，這是實(shí)例合并的反面，即兩個(gè)助手把同一個(gè)物體誤認(rèn)為是兩個(gè)不同的物體。這種錯(cuò)誤在全局計(jì)數(shù)任務(wù)中特別致命，會(huì)導(dǎo)致重復(fù)計(jì)算。

第三類是幾何與關(guān)系推理失效，占所有錯(cuò)誤的34%左右。這類錯(cuò)誤暴露了AI在空間幾何理解方面的深層缺陷。最常見的是視角轉(zhuǎn)換失敗，即AI無法正確地將一個(gè)助手的空間描述轉(zhuǎn)換到另一個(gè)助手的參照系中。比如當(dāng)幫助者說"那個(gè)桌子在我的左邊"時(shí)，回答者需要根據(jù)雙方的相對(duì)位置推斷出這個(gè)桌子在自己參照系中的方向，但AI往往會(huì)在這種轉(zhuǎn)換中出錯(cuò)。

另一種常見的幾何失效是布局理解錯(cuò)誤。AI難以從2D的自我中心視角中推斷出3D空間中物體的真實(shí)排列關(guān)系。這就像讓人僅通過門縫觀察房間就要畫出完整的房間布局圖，AI在這種三維空間推理方面顯示出明顯的不足。

這些失效模式往往不是孤立出現(xiàn)的，而是相互關(guān)聯(lián)、層層疊加的。一個(gè)早期的感知錯(cuò)誤可能導(dǎo)致后續(xù)的錨定失效，進(jìn)而引發(fā)幾何推理錯(cuò)誤，最終導(dǎo)致完全錯(cuò)誤的結(jié)論。這種錯(cuò)誤的累積效應(yīng)解釋了為什么AI在復(fù)雜空間推理任務(wù)中的表現(xiàn)如此糟糕。

**五、對(duì)未來發(fā)展的啟示：彌合人機(jī)協(xié)作的空間理解鴻溝**

這項(xiàng)研究的發(fā)現(xiàn)對(duì)AI發(fā)展具有深遠(yuǎn)的意義，特別是在我們?cè)絹碓揭蕾嘇I進(jìn)行復(fù)雜協(xié)作任務(wù)的今天。當(dāng)前AI系統(tǒng)在協(xié)作空間理解方面的局限性，就像是一個(gè)在其他方面都很聰明的助手，卻在涉及空間協(xié)調(diào)的任務(wù)中頻頻出錯(cuò)。

研究結(jié)果表明，僅僅通過增加訓(xùn)練數(shù)據(jù)或調(diào)整模型參數(shù)可能無法解決這些根本性問題。AI需要的是更深層的空間認(rèn)知能力改進(jìn)，包括更好的三維空間表示能力、更精確的視角轉(zhuǎn)換機(jī)制，以及更強(qiáng)的元認(rèn)知監(jiān)控能力。

在實(shí)際應(yīng)用中，這些發(fā)現(xiàn)提醒我們?cè)谠O(shè)計(jì)人機(jī)協(xié)作系統(tǒng)時(shí)需要特別小心。比如在智能家居環(huán)境中，當(dāng)多個(gè)AI助手需要協(xié)作完成空間相關(guān)任務(wù)時(shí)，可能需要引入明確的空間標(biāo)準(zhǔn)化協(xié)議，而不是完全依賴自然語言交流。在機(jī)器人協(xié)作系統(tǒng)中，可能需要結(jié)合其他傳感器信息來補(bǔ)償純視覺交流的不足。

這項(xiàng)研究也為改進(jìn)AI的空間理解能力指明了方向。未來的改進(jìn)可能需要從多個(gè)角度入手：開發(fā)更好的三維空間表示模型，訓(xùn)練專門的視角轉(zhuǎn)換能力，增強(qiáng)錯(cuò)誤檢測(cè)和修正機(jī)制，以及設(shè)計(jì)更有效的空間交流協(xié)議。

同時(shí)，這項(xiàng)工作也突顯了人類空間智能的卓越性。即使在AI快速發(fā)展的今天，人類在空間協(xié)作方面的能力仍然遠(yuǎn)超機(jī)器。這種能力不僅體現(xiàn)在準(zhǔn)確的空間感知上，更體現(xiàn)在高效的協(xié)作交流和強(qiáng)大的錯(cuò)誤修正能力上。

說到底，這項(xiàng)研究揭示了一個(gè)重要事實(shí)：真正的智能協(xié)作不僅需要強(qiáng)大的個(gè)體能力，更需要有效的交流機(jī)制和共同理解的建立。當(dāng)我們朝著更加智能的AI系統(tǒng)邁進(jìn)時(shí)，協(xié)作能力可能是比個(gè)體智能更加關(guān)鍵的發(fā)展方向。

對(duì)于普通人來說，這項(xiàng)研究的意義在于讓我們更好地理解AI的能力邊界。在可預(yù)見的未來，涉及復(fù)雜空間協(xié)調(diào)的任務(wù)仍然需要人類的深度參與。同時(shí)，這也提醒我們?cè)谠O(shè)計(jì)AI輔助系統(tǒng)時(shí)，應(yīng)該充分利用人類在空間理解方面的優(yōu)勢(shì)，而不是簡單地試圖用AI替代人類的所有功能。

這個(gè)研究領(lǐng)域還有很大的探索空間。未來的工作可能會(huì)擴(kuò)展到動(dòng)態(tài)環(huán)境、多感官融合、以及更復(fù)雜的協(xié)作場(chǎng)景。隨著技術(shù)的不斷進(jìn)步，我們有理由相信AI在協(xié)作空間理解方面的能力會(huì)逐步提升，但這需要的不僅僅是計(jì)算能力的提升，更需要對(duì)空間認(rèn)知本質(zhì)的更深入理解。

Q&A

Q1：COSMIC測(cè)試平臺(tái)是什么？

A：COSMIC是一個(gè)專門測(cè)試AI協(xié)作空間理解能力的平臺(tái)，包含899個(gè)3D室內(nèi)場(chǎng)景。在每個(gè)場(chǎng)景中，兩個(gè)AI助手分別從不同角度觀察房間，只能通過對(duì)話來共同解決空間相關(guān)問題，就像兩個(gè)人在不同位置通過無線電協(xié)作一樣。

Q2：AI在空間協(xié)作任務(wù)中表現(xiàn)如何？

A：AI表現(xiàn)遠(yuǎn)不如人類。最好的AI模型只能達(dá)到72%的準(zhǔn)確率，而人類輕松達(dá)到95%。AI在識(shí)別共同物體方面還算不錯(cuò)，但在空間關(guān)系推理上表現(xiàn)糟糕，在構(gòu)建房間整體布局圖的任務(wù)中幾乎完全失敗，接近隨機(jī)猜測(cè)的水平。

Q3：人類和AI在空間對(duì)話上有什么差別？

A：人類對(duì)話高效且有針對(duì)性，會(huì)快速確定共同參照點(diǎn)然后深入討論，平均用詞量少但信息密度高。AI則相反，對(duì)話冗長但效率低，始終在描述新物體而不聚焦關(guān)鍵信息，錯(cuò)誤修正能力也遠(yuǎn)不如人類。