本文提出了統(tǒng)一多模態(tài)大模型 Puffin，可在任意視角下同步完成以相機(jī)為中心的理解與生成。傳統(tǒng)方法將二者割裂，本文指出其本質(zhì)為空間智能互補(bǔ)雙基：解碼幾何與重編碼可控、空間一致的視覺內(nèi)容。區(qū)別于僅前視視角的前置工作，Puffin“將相機(jī)理解為語言”，引入“與相機(jī)共思”，彌合視覺-語言-相機(jī)模態(tài)鴻溝。通過把感知與合成錨定至共享相機(jī)幾何表征，模型實現(xiàn)更全面、可交互的空間推理，為穩(wěn)健空間智能奠基，并推動靈活、創(chuàng)造性的 3D 應(yīng)用。后續(xù)計劃提升跨視角能力，擴(kuò)展至以相機(jī)為核心的視頻生成與理解，服務(wù)動態(tài)沉浸式場景。

論文標(biāo)題： Thinking with Camera: A Unified Multimodal Model for Camera-Centric Understanding and Generation 論文鏈接： https://arxiv.org/abs/2510.08673 項目主頁： https://kangliao929.github.io/projects/puffin/

代碼鏈接： https://github.com/KangLiao929/Puffin 百萬級圖片-文本-相機(jī)三元組數(shù)據(jù)集： https://huggingface.co/datasets/KangLiao/Puffin-4M

圖一：展示我們模型多樣化能力的示意圖。模型統(tǒng)一了以相機(jī)為中心的多模態(tài)理解與生成，支持空間想象，并實現(xiàn)靈活的跨視角應(yīng)用如世界探索等 一、研究動機(jī)

人類如何觀察并理解世界？我們會根據(jù)環(huán)境線索在空間中動態(tài)調(diào)整視覺系統(tǒng)，通過改變?nèi)S朝向和焦距，保持對周圍環(huán)境的靈活感知。這樣的能力使我們能夠從任意視角中理解場景、猜想視野外的環(huán)境，并在腦海中重現(xiàn)一個具備自由視點的真實世界。

對機(jī)器而言，相機(jī)是與物理世界交互和實現(xiàn)空間智能的重要接口。一方面，通過圖像理解相機(jī)幾何，機(jī)器能夠從二維投影中恢復(fù)復(fù)雜的三維結(jié)構(gòu)，進(jìn)而指導(dǎo)下游的自主定位和導(dǎo)航任務(wù)；另一方面，通過調(diào)節(jié)內(nèi)外參數(shù)，相機(jī)還能提供靈活的物理控制，幫助空間內(nèi)容的生成，從任意視角模擬世界的樣貌。

然而，目前上述兩類任務(wù)大部分都是被獨立研究，兩者之間潛在的有效關(guān)聯(lián)尚未被充分探索。此外，現(xiàn)有的統(tǒng)一多模態(tài)大模型往往受限于固定視角的約束，只能在簡單的前視視角(front-view)條件下生成和理解場景，難以在視角多變的真實世界中應(yīng)用。

二、解決方案

為此，我們首次嘗試在統(tǒng)一框架下融合以相機(jī)為中心（camera-centric）的理解與生成任務(wù)，將統(tǒng)一多模態(tài)大模型這一范式拓展至專注相機(jī)幾何的空間智能領(lǐng)域。如下圖，我們提出的Puffin模型結(jié)合了語言回歸與基于擴(kuò)散模型的生成能力，能夠從任意視角和方向理解并創(chuàng)造場景。通過我們設(shè)計的指令微調(diào)階段，Puffin還能靈活拓展至復(fù)雜的跨視角理解與生成任務(wù)。

圖二：我們提出一個以相機(jī)為中心的統(tǒng)一多模態(tài)大模型，能夠在相機(jī)維度上擴(kuò)展空間感知能力。虛線框內(nèi)的部分表示在指令微調(diào)階段進(jìn)行的跨視角理解與生成過程，例如空間想象與世界探索等能力

在理解任務(wù)的網(wǎng)絡(luò)設(shè)計方面，一種直接的方法是對包含視覺編碼器與語言模型的現(xiàn)有多模態(tài)大模型進(jìn)行微調(diào)，但這種樸素策略存在兩點局限性： （1）現(xiàn)有多模態(tài)大模型中的視覺編碼器主要為識別任務(wù)設(shè)計，其提取的語義特征較為抽象、壓縮程度大，缺乏與結(jié)構(gòu)細(xì)節(jié)相關(guān)的幾何保真度； （2）現(xiàn)有多模態(tài)大模型中的語言模型部分幾乎不具備空間感知的先驗知識，難以適應(yīng)到以相機(jī)為中心的下游任務(wù)。因此，這類多模態(tài)模型微調(diào)會導(dǎo)致性能瓶頸，甚至表現(xiàn)不如純視覺方法。

為解決上述問題，我們引入了一個幾何對齊的視覺編碼器，通過語義教師網(wǎng)絡(luò)（如 CLIP、SigLIP）與視覺教師網(wǎng)絡(luò)（如 DINO、SAM）的雙重蒸餾獲得。該編碼器能夠在保持幾何保真度的同時，兼具強(qiáng)語義理解能力。隨后，我們采用漸進(jìn)式解凍與聯(lián)合微調(diào)的方式，將該編碼器與語言模型逐步對齊。這種分階段優(yōu)化策略使得模型在底/中層結(jié)構(gòu)線索與高層語言推理之間建立緊密聯(lián)系。

在生成任務(wù)的網(wǎng)絡(luò)設(shè)計方面，我們沿用MetaQueries架構(gòu)并設(shè)計了一個連接模塊，通過一組可學(xué)習(xí)的queries，將文本描述和相機(jī)參數(shù)對應(yīng)的LLM 隱式狀態(tài)映射為可被擴(kuò)散模型理解的條件信號。為更好地利用相機(jī)幾何信息，除了由數(shù)值參數(shù)離散化得到的相機(jī)離散token外，我們還引入了像素級的相機(jī)透視場作為連續(xù)的相機(jī)潛在變量，從而在圖像生成中實現(xiàn)更精細(xì)的空間控制。

三、與相機(jī)共思

與語言或圖像不同，相機(jī)模型及其物理參數(shù)抽象且不直觀——它們以數(shù)值形式描述視場、方向或投影關(guān)系，而非語義內(nèi)容。這種差異導(dǎo)致在多模態(tài)模型中融入相機(jī)信息時會出現(xiàn)模態(tài)鴻溝（modality gap）。如下圖（左）所示，以往的視覺方法主要通過提取或?qū)W習(xí)幾何結(jié)構(gòu)或語義信息等表征來從圖像中估計相機(jī)幾何。然而，上述表征往往側(cè)重于局部的低層或中層視覺特征，難以捕捉到整體且連貫的空間概念。

本研究并非追求更優(yōu)的表征設(shè)計或?qū)W習(xí)，而是從另一角度出發(fā)——將相機(jī)理解為語言。如下圖（右）所示，我們提出了通過多模態(tài)大模型“與相機(jī)共思”（thinking with camera）的概念。該方法在幾何語境下對不同相機(jī)參數(shù)進(jìn)行解耦，并在空間約束的視覺線索與專業(yè)攝影術(shù)語之間建立關(guān)聯(lián)。隨后，模型在空間推理過程 中進(jìn)行分析和思考，并將相機(jī)理解結(jié)果輸出在 標(biāo)簽中。

圖三：提出通過多模態(tài)大模型實現(xiàn)的“與相機(jī)共思（thinking with camera）”概念。該方法在幾何語境下對不同相機(jī)參數(shù)進(jìn)行解耦，在空間約束的視覺線索（如mask區(qū)域）與專業(yè)攝影術(shù)語之間建立關(guān)聯(lián)，進(jìn)而形成空間推理思維鏈

“與相機(jī)共思”（thinking with camera）空間推理過程中的三大核心要素：

• 空間約束的視覺線索：三維世界受物理規(guī)律支配，重力與人工設(shè)計共同塑造了穩(wěn)定的結(jié)構(gòu)分布，為空間感知提供了強(qiáng)有力的先驗。例如，天空、天花板、地面、沙灘等少紋理區(qū)域雖缺乏視覺特征，卻蘊(yùn)含著垂直方向的規(guī)律性，對俯仰角（pitch）估計至關(guān)重要。同樣，視場角（FoV）的估計依賴于對空間構(gòu)圖的感知，包括前后景比例、物體尺度與深度分布等。雖然這些屬性難以從純視覺表征中直接推斷，但多模態(tài)大模型已將其隱式地編碼為知識先驗。因此，我們將這些具備空間約束的視覺線索嵌入訓(xùn)練過程使用的“思維標(biāo)簽”（thinking captions）中，使模型能夠?qū)ο鄼C(jī)幾何進(jìn)行顯式的空間推理。

• 專業(yè)級攝影術(shù)語：現(xiàn)有的多模態(tài)大模型具有過度抽象的語義表示，而相機(jī)參數(shù)的數(shù)值又過于細(xì)粒度，難以被精確理解。作為一種更具實踐性的替代方式，專業(yè)攝影術(shù)語（如 close-up、tilt-up、Dutch angle 等）被廣泛用于標(biāo)注，并與多模態(tài)大模型的知識體系高度契合。因此，我們將這些術(shù)語作為中間監(jiān)督信號，用以自然地橋接底/中層的相機(jī)幾何與高層的多模態(tài)推理。這些術(shù)語可視為相機(jī)參數(shù)的量化抽象形式，與場景文本描述相結(jié)合，使整體空間布局能夠以語言形式被感知與表達(dá)。

• 幾何語境：我們在幾何語境下對不同相機(jī)參數(shù)（roll, pitch, FoV）進(jìn)行解耦，并將其與特定的空間視覺線索對齊，如天空、前景構(gòu)圖以及物體層級的深度排序等，從而對應(yīng)到各類專業(yè)攝影術(shù)語。通過將數(shù)值屬性錨定到具備語義意義的描述詞，我們的框架在抽象視覺特征與可解釋的幾何之間建立了橋梁。最終的相機(jī)信息即通過這種結(jié)構(gòu)化的空間推理過程進(jìn)行預(yù)測。

與理解任務(wù)不同，可控圖像生成需要更復(fù)雜的跨模態(tài)對齊與精細(xì)的視覺細(xì)節(jié)合成。如上所述，相機(jī)參數(shù)數(shù)值對于當(dāng)前多模態(tài)大模型而言過于細(xì)粒度，難以有效解析，從而無法準(zhǔn)確捕捉相機(jī)可控生成所需的真實空間分布。

為此，我們設(shè)計了一種結(jié)合視覺細(xì)節(jié)分析與推理的分步生成流程：模型首先根據(jù)給定的相機(jī)空間信息從原始文本描述中推斷潛在的視覺線索，然后將這一文本推理階段作為語義規(guī)劃，用于引導(dǎo)圖像生成。此外，數(shù)值化相機(jī)參數(shù)被轉(zhuǎn)化為更適合模型理解的專業(yè)攝影術(shù)語。我們發(fā)現(xiàn)，上面的步驟與相機(jī)理解中的推理過程自然對齊。因此，我們在可控生成與理解之間引入了共享的思維鏈機(jī)制，統(tǒng)一了多模態(tài)任務(wù)之間的思考方式。如下圖所示，當(dāng)給定較小的俯仰角和“室內(nèi)”描述時，我們的模型會將參數(shù)角度值轉(zhuǎn)化為攝影術(shù)語（如small tilt-down），并推測出窗臺等潛在的視覺線索，從而輔助生成更精確的空間結(jié)構(gòu)。

圖四：在可控圖像生成任務(wù)中引入與理解任務(wù)共享的思維鏈機(jī)制，同樣可以進(jìn)行 “與相機(jī)共思“（thinking with camera） 五、Puffin-4M數(shù)據(jù)集

在多模態(tài)空間智能領(lǐng)域，能夠同時覆蓋視覺、語言與相機(jī)模態(tài)的數(shù)據(jù)集與基準(zhǔn)仍極為稀缺。為彌補(bǔ)這一空缺，我們提出 Puffin-4M ——一個包含約400 萬圖片-語言-相機(jī)三元組的大規(guī)模高質(zhì)量數(shù)據(jù)集。數(shù)據(jù)集的示例圖如下所示，其中相機(jī)配置部分我們考慮了常用小孔相機(jī)模型下的標(biāo)準(zhǔn)內(nèi)外參數(shù)（roll, pitch, yaw, FoV）。

圖五：Puffin-4M示例圖

下圖展示了Puffin-4M數(shù)據(jù)集的構(gòu)建流程，其中包括四個階段：360°全景數(shù)據(jù)的收集與預(yù)處理、2D透視圖像的渲染生成、場景描述與空間推理打標(biāo)，以及跨視角場景的擴(kuò)展。

圖六：Puffin-4M數(shù)據(jù)集構(gòu)建流程

除了上述訓(xùn)練集以外，我們還構(gòu)建了兩個評測基準(zhǔn)數(shù)據(jù)集：Puffin-Gen和Puffin-Und，分別為相機(jī)可控生成和相機(jī)理解提供更加具備挑戰(zhàn)性和綜合性的驗證標(biāo)準(zhǔn)。

上述數(shù)據(jù)集均已開源：

https://huggingface.co/datasets/KangLiao/Puffin-4M

如下所示，我們以相機(jī)為中心的統(tǒng)一多模態(tài)大模型Puffin與現(xiàn)有的專業(yè)級理解或生成模型相比，在多個數(shù)據(jù)集上表現(xiàn)出極具競爭力的性能，并在大部分?jǐn)?shù)據(jù)集上超越現(xiàn)有模型。

表一：與現(xiàn)有方法的定量對比結(jié)果

我們的相機(jī)理解結(jié)果及其相機(jī)透視場可視化如下：左側(cè)為AIGC 圖像（GTP-4o），右側(cè)為真實世界的攝影圖像。其中，相機(jī)透視場（latitude和up vector）由預(yù)測的相機(jī)參數(shù)轉(zhuǎn)換得到?？梢钥闯觯覀兊姆椒ㄔ诟黝悎鼍爸斜憩F(xiàn)出不錯的魯棒性。

圖七：相機(jī)理解可視化結(jié)果

我們的相機(jī)可控生成結(jié)果如下?？梢钥闯觯覀兊姆椒ㄔ诟黝愊鄼C(jī)配置和場景描述中均表現(xiàn)出合理的空間生成能力。

圖八：相機(jī)可控生成可視化結(jié)果 七、拓展應(yīng)用

我們在圖九中展示了Puffin多樣化的拓展能力。首先，Puffin 能夠通過精確預(yù)測相機(jī)參數(shù)，在自然場景圖像中輔助虛擬三維物體的插入。此外，通過指令微調(diào)（Instruction Tuning），我們的模型可以靈活擴(kuò)展至多種跨視角任務(wù)，如空間想象、世界探索和攝影指導(dǎo)等。其中在世界探索任務(wù)中，我們對初始視角與生成視角進(jìn)行了三維重建并可視化（利用VGGT），結(jié)果顯示生成結(jié)果在空間結(jié)構(gòu)上保持了良好的一致性。更多拓展應(yīng)用結(jié)果請參考論文的附錄部分。

圖九：拓展應(yīng)用。我們的模型能夠通過指令微調(diào)*（Instruction Tuning），靈活拓展至多個跨視角的生成和理解任務(wù) 八、總結(jié)與未來工作

我們提出了一個能夠在任意視角下同時進(jìn)行以相機(jī)為中心的理解與生成的統(tǒng)一多模態(tài)大模型——Puffin。以往研究通常將這兩項任務(wù)視為獨立問題分別探索，然而它們本質(zhì)上是空間智能的兩個互補(bǔ)基石：前者負(fù)責(zé)解碼世界的幾何結(jié)構(gòu)，后者則將其重新編碼為可控且空間一致的視覺內(nèi)容。不同于以往局限于簡單前視視角的統(tǒng)一多模態(tài)模型，Puffin 通過“將相機(jī)理解為語言”并引入“與相機(jī)共思（thinking with camera）”的理念，消除了視覺-語言-相機(jī)模態(tài)間的鴻溝。

我們認(rèn)為，統(tǒng)一以相機(jī)為中心的理解和生成可以將感知和合成錨定到相機(jī)幾何的共享表征上，從而使機(jī)器能夠更全面、更交互地進(jìn)行空間推理。這種統(tǒng)一的模型為穩(wěn)健的空間智能奠定了基礎(chǔ)，并促進(jìn)了更具靈活性和創(chuàng)造性的3D應(yīng)用發(fā)展。在未來，我們計劃進(jìn)一步提升 Puffin 的跨視角能力，并將其擴(kuò)展至以相機(jī)為中心的視頻生成與理解，以促進(jìn)在動態(tài)與沉浸式場景中的更廣泛應(yīng)用。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈