大家是否有這樣的感覺？給定幾張場(chǎng)景中拍攝的圖片，往往能夠在腦海中想象出這個(gè)場(chǎng)景的三維布局，然而當(dāng)前的多模態(tài)大模型還停留于純文本或者 2D 視覺的推理表示，限制了圖像中隱含幾何結(jié)構(gòu)的表達(dá)能力。

為此，清華大學(xué)聯(lián)合美團(tuán)研究團(tuán)隊(duì)推出 3DThinker—— 首個(gè) 3D 版的「think with image」！

• 論文地址：https://arxiv.org/pdf/2510.18632
• 代碼地址：https://github.com/zhangquanchen/3DThinker

接下來，就來看看 3DThinker 是如何做的。

從「think with image」到「think with 3D」

多模態(tài)大模型的推理能力提升一直以來是研究的重點(diǎn)和熱點(diǎn)。人類往往能夠根據(jù)幾張拍攝的 RGB 圖像中推斷空間關(guān)系，而當(dāng)前多模態(tài)大模型在空間理解任務(wù)上表現(xiàn)較弱。背后的核心原因在于多模態(tài)大模型缺乏對(duì)圖像中幾何信息的提取能力。

為解決此問題，之前的方法可以分為兩類：

1. 依賴純文本或二維視覺線索的強(qiáng)推理（例如進(jìn)行認(rèn)知圖的推理），這類方法往往依賴于繁瑣的數(shù)據(jù)標(biāo)注；
2. 通過輸入增強(qiáng)（例如引入深度圖、點(diǎn)云等先驗(yàn)信息），這類方法往往依賴于外部工具調(diào)用，不是內(nèi)蘊(yùn)的模型能力，且推理存在負(fù)擔(dān)。

而 3DThinker 提出了一種全新的思路，在無需 3D 標(biāo)注（例如點(diǎn)云）、無需外部工具的情況下，讓模型在推理過程中內(nèi)蘊(yùn)地「想象」三維場(chǎng)景。

具體來說，該框架讓模型在生成推理鏈時(shí)，自動(dòng)插入一段緊湊的隱變量，作為其腦內(nèi)構(gòu)建的三維場(chǎng)景表征，這段生成的表征通過蒸餾 3D 基礎(chǔ)模型（VGGT）來獲得。

核心思路：二段式學(xué)習(xí)用 3D 思考

3DThinker 提出了雙階段的訓(xùn)練策略來完成潛空間對(duì)齊，包括：(i) 監(jiān)督訓(xùn)練過程中，將預(yù)訓(xùn)練的 3D 特征蒸餾進(jìn)入模型推理路徑，實(shí)現(xiàn)模型從二維數(shù)據(jù)的幾何信息提取，而不依賴于任何先驗(yàn)；(ii) 強(qiáng)化訓(xùn)練過程中，在保持 3D latent 穩(wěn)定的同時(shí)，僅僅依賴結(jié)果信號(hào)優(yōu)化整個(gè)采樣軌跡，從而實(shí)現(xiàn)模型的能力飛躍。

S1：以 3D 基礎(chǔ)模型為指導(dǎo)，建立模型推理行為

在一階段的監(jiān)督訓(xùn)練中，首先構(gòu)造了攜帶 3D special token 的 cot 數(shù)據(jù)，基于該數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，訓(xùn)練過程中，3DThinker 將對(duì)所有 special token 所對(duì)應(yīng)的 3D latent（last layer hidden state）通過 projetor 映射到 VGGT 的潛空間，并將兩者的對(duì)齊作為第一項(xiàng)損失函數(shù)：

其中，projector 基于堆疊 6 層 MLP 實(shí)現(xiàn)三次特征維度映射，具體框圖如下：

而第二項(xiàng)損失函數(shù)是除去 special token 后的文本交叉熵?fù)p失：

其中，第一項(xiàng)損失函數(shù)在于保證 3D latent 的表征對(duì)齊；第二項(xiàng)在于保證自然語言的連貫性嵌入。

S2：以結(jié)果信號(hào)為基礎(chǔ)，優(yōu)化含 3D 意象的軌跡

在一階段后，已經(jīng)初步實(shí)現(xiàn)了模型 think with 3D 的表征對(duì)齊；接下來，基于強(qiáng)化學(xué)習(xí)，在只有結(jié)果信號(hào)的情況下，優(yōu)化整條采樣軌跡，包括其中的 3D latent。

具體來說，3DThinker 設(shè)計(jì)了一個(gè) 3D latent 對(duì)齊的獎(jiǎng)勵(lì)：

也就是說，3DThinker 會(huì)提取自回歸生成的 3D latent，并于 VGGT 特征保持一致性，從而保證 RL 采樣過程中不丟失幾何表達(dá)。

另一方面，3DThinker 也參照先前方法的 outcome-based RL 保持了結(jié)果的二值化獎(jiǎng)勵(lì)以及格式獎(jiǎng)勵(lì)，最后基于 GRPO 進(jìn)行優(yōu)化。

提升到新高度的結(jié)果

論文在多個(gè)空間理解的 BMK 上驗(yàn)證了 3DThinker 的效果。

方法首先在 MindCube 的 10K 數(shù)據(jù)上構(gòu)造了帶有 3D special token 的推理鏈數(shù)據(jù)，并基于兩個(gè)階段進(jìn)行訓(xùn)練，下表報(bào)告了訓(xùn)練后的模型效果，在 MindCube-Tiny 上，針對(duì)不同尺寸的模型，相比 base 整體提升了 51.8% 到 108.8%；在 Ego3D-Bench 上，則提升了 18.1% 到 36.9%。

以 Qwen2.5-VL-3B 基礎(chǔ)模型為例，在監(jiān)督訓(xùn)練上，模型相比需要 CGMap 標(biāo)注的訓(xùn)練超過了+ 1.9 pp(62.7 vs. 60.8)；加入強(qiáng)化學(xué)習(xí)后，3DThinker 也獲得了+ 4.5 pp(75.2 vs. 70.7) 的提升，彰顯了 3DThinker 訓(xùn)練方法的有效性。

另一方面，以自制的大規(guī)模訓(xùn)練數(shù)據(jù)為基礎(chǔ)，模型進(jìn)一步在更多全面的測(cè)試基準(zhǔn)上進(jìn)行了評(píng)估。

以 Qwen2.5-VL-3B 為例，該方法相比之前的 SOTA+10.8 pp（49.6->60.4）；以 Qwen2.5-VL-7B 為例，該方法相比之前的 SOTA+16.3pp（48.4->64.7）。結(jié)果顯示，3DThinker 提升到一個(gè)新的水位，在各類基準(zhǔn)上均出現(xiàn)了顯著提升的跡象。

可解釋性

3DThinker 的另一個(gè)顯著特征在于某種程度上具備可解釋性。

這意味著，3D latent 通過設(shè)計(jì)的 projector 可以直接恢復(fù)出 3D 表示，從而使模型推理不再完全「開黑盒」。有趣的是，3DThinker 觀察到，和 prompt 高度相關(guān)的區(qū)域點(diǎn)云密度往往更高。

從「看圖說話」到「看圖想空間」，3DThinker 打開了 VLM 推理一種新的思路。

3DThinker 巧妙之處，在于它找到了一條「無監(jiān)督蒸餾」的路徑：不需要昂貴的 3D 標(biāo)注數(shù)據(jù)，也不依賴外部深度傳感器，而是讓模型在推理過程中自發(fā)「腦補(bǔ)」出三維場(chǎng)景。

這種「思維即幾何」的設(shè)計(jì)哲學(xué)，某種程度上復(fù)刻了人類的空間認(rèn)知本能。當(dāng) 3D 想象與具身智能結(jié)合，當(dāng)空間推理可以實(shí)時(shí)反饋修正，或許正在接近一個(gè)能真正「看懂」物理世界的 AI。

作者簡(jiǎn)介

本文第一作者為陳樟權(quán)，清華大學(xué)數(shù)據(jù)科學(xué)和信息技術(shù)博士在讀。研究方向?yàn)槎嗄B(tài)大語言模型推理、強(qiáng)化學(xué)習(xí)、三維視覺。在 CVPR、ICCV、ICLR 等人工智能頂級(jí)會(huì)議或期刊上發(fā)表論文近 10 篇。