空間理解能力是多模態(tài)大語言模型（MLLMs）走向真實(shí)物理世界，成為 “通用型智能助手” 的關(guān)鍵基礎(chǔ)。但現(xiàn)有的空間智能評(píng)測基準(zhǔn)往往有兩類問題：一類高度依賴模板生成，限制了問題的多樣性；另一類僅聚焦于某一種空間任務(wù)與受限場景，因此很難全面檢驗(yàn)?zāi)Ｐ驮谡鎸?shí)世界中對(duì)空間的理解與推理能力。

要真正走入現(xiàn)實(shí)世界，模型不僅需要看得見，更要看得懂空間： 它需要在復(fù)雜、多變的真實(shí)場景中理解空間布局、感知運(yùn)動(dòng)變化、進(jìn)行時(shí)空推理，并基于這些信息做出合理決策，與環(huán)境產(chǎn)生有效交互。

為此，上海人工智能實(shí)驗(yàn)室 InternRobotics 團(tuán)隊(duì)近日推出了一套全面而硬核的空間智能視頻基準(zhǔn) —— MMSI-Video-Bench，對(duì)當(dāng)前主流多模態(tài)大模型精心打造了一場挑戰(zhàn)系數(shù)極高的 “空間智能大考”。

本工作由上海人工智能實(shí)驗(yàn)室、上海交通大學(xué)、香港中文大學(xué)、浙江大學(xué)、香港大學(xué)、北京航空航天大學(xué)、西安交通大學(xué)、復(fù)旦大學(xué)、加州大學(xué)洛杉機(jī)分校 的研究者們共同完成。

• 項(xiàng)目主頁： https://rbler1234.github.io/MMSI-VIdeo-Bench.github.io/
• ArXiv 論文： https://arxiv.org/abs/2512.10863
• Hugging Face 數(shù)據(jù)集： https://huggingface.co/datasets/rbler/MMSI-Video-Bench
• GitHub 代碼庫： https://github.com/InternRobotics/MMSI-Video-Bench

該基準(zhǔn)具有以下顯著特點(diǎn)：

（1）全面且系統(tǒng)的題型設(shè)計(jì)

MMSI-Video-Bench 首先從視頻本身的時(shí)空信息理解出發(fā)，對(duì)模型的基礎(chǔ)空間感知能力進(jìn)行系統(tǒng)考察，主要包括：

• 空間構(gòu)建（Spatial Construction）：聚焦于對(duì)全局空間布局的理解，涵蓋實(shí)體與場景的空間狀態(tài)屬性，以及 相機(jī)、實(shí)體與場景之間的兩兩空間位置關(guān)系。
• 運(yùn)動(dòng)理解（Motion Understanding）：考察模型對(duì)長時(shí)運(yùn)動(dòng)過程的感知與理解能力，包括實(shí)體運(yùn)動(dòng)、相機(jī)運(yùn)動(dòng)，以及多實(shí)體之間的交互運(yùn)動(dòng)。

在此基礎(chǔ)上，MMSI-Video-Bench 進(jìn)一步評(píng)測模型基于時(shí)空信息進(jìn)行高層決策的能力，具體包括：

• 基于視頻信息進(jìn)行推理與行動(dòng)的規(guī)劃能力（Planning）
• 對(duì)未來狀態(tài)進(jìn)行推斷與想象的預(yù)測想象能力（Prediction）

由于真實(shí)世界的觀測在時(shí)間上不一定是連續(xù)的，在空間上單一視角的信息不一定是完備的，MMSI-Video-Bench 進(jìn)一步擴(kuò)展了任務(wù)范疇，以更真實(shí)地覆蓋現(xiàn)實(shí)場景中的復(fù)雜情形，考察模型跨視頻的推理能力，這包含了跨時(shí)間的記憶更新能力（Memory Update）；多視角信息的整合能力（Multi-View Integration）。

通過上述多層次、多維度的題型設(shè)計(jì)，MMSI-Video-Bench 構(gòu)建了一個(gè)覆蓋感知、推理與決策全過程的空間智能評(píng)測體系

MMSI-Video-Bench 由五大任務(wù)類型，13 個(gè)子類問題構(gòu)成

（2）極具挑戰(zhàn)性的問題設(shè)計(jì)

MMSI-Video-Bench 基準(zhǔn)的所有問題由11 位平均研究年限超過 2.5 年的 3D 視覺研究員親自把關(guān)精細(xì)設(shè)計(jì)，嚴(yán)格驗(yàn)收打磨，確保了基準(zhǔn)每一個(gè)問題清晰準(zhǔn)確，具有挑戰(zhàn)性。所有模型均表現(xiàn)吃力，即便是最表現(xiàn)最好的 Gemini 3 Pro，也只有 38% 的準(zhǔn)確率，相比其它的空間智能基準(zhǔn)，具有目前最高的人類–AI 性能差距 (約 60%)。

(3) 豐富多樣的視頻數(shù)據(jù)來源

基準(zhǔn)的視頻數(shù)據(jù)來源于 25 個(gè)公開數(shù)據(jù)集 以及 1 個(gè)自建數(shù)據(jù)集，包含了機(jī)器人操作、從單房間到多層樓宇的室內(nèi)場景、室外建筑與街景、自然風(fēng)光、體育活動(dòng)以及電影片段等多種拍攝類型，全面反映了真實(shí)世界中復(fù)雜多樣、多尺度的空間場景

(4) 特定領(lǐng)域針對(duì)性的能力測評(píng)

此外，受益于場景類型的豐富以及任務(wù)類型的全面性，MMSI-Video-Bench 可以劃分出室內(nèi)場景感知(Indoor Scene Perception)/機(jī)器人(Robot) /定位(Grounding) 三大子基準(zhǔn)，方便針對(duì)性測評(píng)模型特定能力。

MMSI-Video-Bench 的標(biāo)注流程 和 比例 / 視頻時(shí)長 / 詞云分布

空間智能大考：揭示模型能力邊界與瓶頸

（1）空間智能大考模型成績單

研究團(tuán)隊(duì)對(duì) 25 個(gè)主流多模態(tài)模型 進(jìn)行了評(píng)測，整體得分普遍偏低。即便是表現(xiàn)最優(yōu)的 Gemini 3 Pro（38.0），與人類水平 （96.4） 之間仍存在接近 60%的顯著差距。

與已有空間智能基準(zhǔn)的結(jié)論一致，實(shí)驗(yàn)結(jié)果再次暴露了當(dāng)前模型在空間構(gòu)建能力上的不足。更為關(guān)鍵的是，得益于 MMSI-Video-Bench 在任務(wù)設(shè)計(jì)上的全面性，研究團(tuán)隊(duì)進(jìn)一步發(fā)現(xiàn)：模型在 運(yùn)動(dòng)理解、規(guī)劃、預(yù)測以及跨視頻推理 等能力上同樣存在明顯瓶頸。

在所有任務(wù)類型中，預(yù)測（Prediction） 是最具挑戰(zhàn)性的主任務(wù)， 相機(jī)–實(shí)體之間的空間關(guān)系建模 是難度最高的細(xì)分類別。此外，研究團(tuán)隊(duì)發(fā)現(xiàn)，即便是經(jīng)過專門空間任務(wù)微調(diào)的模型，其能力也未能有效泛化到 MMSI-Video-Bench。

不同模型在 MMSI-Video-Bench 上的表現(xiàn)

（2）錯(cuò)誤分析揭示模型瓶頸

為進(jìn)一步定位模型性能受限的關(guān)鍵原因，研究團(tuán)隊(duì)對(duì)模型的推理結(jié)果進(jìn)行了系統(tǒng)化復(fù)盤，并將錯(cuò)誤歸納為五大類型:

• 細(xì)致定位錯(cuò)誤 (Detailed Grounding Error)：模型在精細(xì)視覺感知層面出現(xiàn)失效，常見表現(xiàn)包括目標(biāo)遺漏混淆，或 “時(shí)間點(diǎn) - 事件” 對(duì)應(yīng)關(guān)系感知錯(cuò)誤。
• ID 匹配錯(cuò)誤 (ID Mapping Error)：模型在跨幀過程中難以保持一致的實(shí)體身份跟蹤。
• 潛在邏輯推斷錯(cuò)誤 (Latent Logical Inference Error)：模型在需要依賴隱含線索或常識(shí)知識(shí)的推理任務(wù)中失敗。
• 提示輸入對(duì)齊錯(cuò)誤 (Prompt Alignment Error)：模型未能將提示信息（如背景假設(shè)、新增條件或輔助圖像）與視頻信息正確結(jié)合進(jìn)行推理。
• 幾何推理錯(cuò)誤 (Geometric Reasoning Error)：模型在空間幾何關(guān)系理解上存在偏差，對(duì)于相對(duì)位置或距離關(guān)系（如前后左右、遠(yuǎn)近）出現(xiàn)錯(cuò)誤推斷。

MMSI-Video-Bench 的五種錯(cuò)誤類型示例

研究團(tuán)隊(duì)選取 Gemini-2.5-Flash、GPT-4o、O3、QwenVL2.5-72B 四個(gè)具有代表性的模型進(jìn)行了系統(tǒng)的錯(cuò)誤分析和統(tǒng)計(jì)，結(jié)果如圖所示。幾何推理錯(cuò)誤是最為普遍、影響最大的錯(cuò)誤類型，而進(jìn)一步的細(xì)分分析表明：

• 空間構(gòu)建任務(wù) 的低表現(xiàn)主要源于幾何推理能力不足；
• 運(yùn)動(dòng)理解任務(wù) 中，模型難以在 快速、細(xì)微或長時(shí)間跨度的運(yùn)動(dòng) 中保持精確定位；
• 在 規(guī)劃與預(yù)測任務(wù) 中，除幾何推理錯(cuò)誤外，模型往往無法有效理解提示輸入，并將其與視頻信息進(jìn)行聯(lián)合推理；
• 跨視頻推理任務(wù) 的失敗主要源于 多目標(biāo)跨視頻定位的復(fù)雜性，以及模型難以利用潛在線索（如持續(xù)鎖定同一目標(biāo)）完成推理。

MMSI-Video-Bench 的五種錯(cuò)誤類型分布

（3）空間線索與推理提示難以彌補(bǔ)核心能力不足

研究團(tuán)隊(duì)進(jìn)一步探索了兩種提升模型性能的策略：

• 引入3D 空間線索以輔助模型理解，如圖所示，通過使用高性能的 3D 重建模型從視頻幀重建 3D 場景，并多視角渲染生成 2D 全局圖像作為額外輸入，給予模型 3D 空間線索輔助模型的理解推理；

3D 空間線索輔助方法

• 采用思維鏈（Chain-of-Thought）技術(shù)，提示引導(dǎo)模型進(jìn)行更規(guī)范的推理過程。上述方法均 未能帶來顯著的性能提升，這些結(jié)果進(jìn)一步揭示了兩個(gè)關(guān)鍵事實(shí)：
• 如何設(shè)計(jì)模型真正 “可理解、可利用” 的空間線索，仍是一個(gè)開放且極具挑戰(zhàn)性的問題；
• 當(dāng)前模型的失敗 并非由于缺乏顯式推理步驟，而是受限于 底層推理能力本身仍然不足。

3D 空間線索輔助與思維鏈提示下的模型性能變化

結(jié)語

MMSI-Video-Bench 是一個(gè)高質(zhì)量、高挑戰(zhàn)性且系統(tǒng)全面的視頻空間智能評(píng)測基準(zhǔn)，系統(tǒng)性地評(píng)估了多模態(tài)大模型在視頻理解中的空間認(rèn)知、推理與決策能力，評(píng)測結(jié)果清晰揭示了當(dāng)前模型在多項(xiàng)核心任務(wù)上與人類表現(xiàn)之間仍存在顯著差距?；谏钊攵?xì)致的實(shí)驗(yàn)分析，研究進(jìn)一步明確了現(xiàn)階段模型的關(guān)鍵能力瓶頸，并為未來空間智能模型的技術(shù)演進(jìn)指明了研究方向。