research

? 一家相機(jī)公司的 AI 研究院，比很多大模型公司人還多

?「天空有多遠(yuǎn)」和「杯子有多遠(yuǎn)」，對(duì)算法來(lái)說(shuō)完全是兩個(gè)問(wèn)題

? 全景賽道太小了，不開(kāi)源只有自己在玩

以上內(nèi)容，來(lái)自我和影石 AI 研究院 Gavin 的對(duì)話(huà)

做全景相機(jī)的影石Insta360，最近把 4 篇頂會(huì)論文的核心算法 全部開(kāi)源 了

DAP｜CVPR 2026

全景深度預(yù)測(cè)，純視覺(jué)，一張圖量距離

AirSim360｜CVPR 2026

全景仿真平臺(tái)，單日百萬(wàn)幀，成本 20 塊

DiT360｜CVPR 2026

全景文生圖，輸入文字生成 360 度全景圖

DDGS｜ICLR 2026

稀疏視角 3D 高斯?jié)姙R重建

影石，年?duì)I收近百億，在全景相機(jī)領(lǐng)域市占率66%，連續(xù)八年全球第一

不為人知的是，他們還有個(gè)數(shù)百人的 AI 研究院，比許多頭部大模型公司還大

Insta360 全景相機(jī)

一家相機(jī)公司，攢下了稀缺的空間數(shù)據(jù)

以下內(nèi)容，來(lái)自我和 Gavin 的對(duì)話(huà)，在影石，他是研究院總監(jiān)、董事會(huì)成員，這些工作都由他負(fù)責(zé)統(tǒng)籌和指導(dǎo)

同時(shí)，Gavin 是 TPAMI 編委，之前在字節(jié)跳動(dòng)帶視頻生成大模型的數(shù)據(jù)基建。聊完之后我才明白，論文只是切面，真正有意思的是影石手里的數(shù)據(jù)

全景數(shù)據(jù)的空間密碼

我問(wèn) Gavin，全景數(shù)據(jù)和普通照片到底有什么本質(zhì)區(qū)別

他跟我說(shuō)：很不一樣

用手機(jī)拍一張照片，它是一個(gè)固定視角的平面投影。畫(huà)面邊緣之外的世界對(duì)模型來(lái)說(shuō)完全未知。它輸出一個(gè)深度值，對(duì)不對(duì)，誰(shuí)也不知道，沒(méi)有任何物理約束能去校驗(yàn)它

全景圖完全不同，記錄的是完整的 360 度空間信息。全景圖的最左邊和最右邊在物理上一定是無(wú)縫拼接的，每一幀全景數(shù)據(jù)都自帶一個(gè)閉環(huán)的數(shù)學(xué)校驗(yàn)：模型產(chǎn)出的空間信息如果不滿(mǎn)足這個(gè)幾何閉合條件，數(shù)據(jù)系統(tǒng)本身就會(huì)報(bào)錯(cuò)

自校驗(yàn)?zāi)芰?，普通照片不具?/p>

Gavin 把這個(gè)特性總結(jié)為：「全景數(shù)據(jù)，自帶物理閉環(huán)的幾何約束」

訓(xùn)練空間 AI 的時(shí)候，不需要額外的人工標(biāo)注，數(shù)據(jù)本身就在約束模型的行為。對(duì)于任何在做具身智能、自動(dòng)駕駛、空間計(jì)算的團(tuán)隊(duì)來(lái)說(shuō)，這種數(shù)據(jù)天然帶著一層「防幻覺(jué)」機(jī)制

這就是影石十年全景數(shù)據(jù)的真正價(jià)值。不只是量大，而是每一幀數(shù)據(jù)都自帶結(jié)構(gòu)化的空間信息和內(nèi)建的校驗(yàn)機(jī)制

十年的全景數(shù)據(jù)

影石做了十年全景相機(jī)，積累了海量的全景空間數(shù)據(jù)。光是為 DAP 這個(gè)深度預(yù)測(cè)任務(wù)，經(jīng)過(guò)數(shù)據(jù)清洗和場(chǎng)景平衡后篩出來(lái)的有效訓(xùn)練集，就有 200 萬(wàn)張。

此前，學(xué)術(shù)界最大的全景深度數(shù)據(jù)集就幾萬(wàn)張

影石從十年前就在持續(xù)積累全景空間數(shù)據(jù)，早在 2020 年就用 3D 全景相機(jī)和貝殼找房合作采集室內(nèi)空間數(shù)據(jù)

對(duì)此，Gavin 表示：在全景空間數(shù)據(jù)的積累上，影石在全球范圍內(nèi)應(yīng)該是最大的

DAP 的訓(xùn)練數(shù)據(jù)來(lái)源三塊：公開(kāi)數(shù)據(jù)集、用自研仿真平臺(tái) AirSim360 生成的 9 萬(wàn)幀合成戶(hù)外數(shù)據(jù)（覆蓋紐約、舊金山、羅馬等 5 個(gè)城市場(chǎng)景）、以及從互聯(lián)網(wǎng)采集的 170 萬(wàn)張真實(shí)全景圖。注意，這 170 萬(wàn)張圖沒(méi)有深度標(biāo)注，靠一套三階段的偽標(biāo)簽流水線自動(dòng)生成 ground truth

一張全景圖，算出每個(gè)像素的距離。零樣本，全球第一

一張圖量距離，不需要激光雷達(dá)。對(duì)做空間感知的人來(lái)說(shuō)，硬件成本從幾千塊的 LiDAR 模組降到一顆全景鏡頭。這個(gè)成本差異是量級(jí)的

不用激光雷達(dá)

我去讀了 DAP 的論文，發(fā)現(xiàn)了一件有意思的事：影石做深度預(yù)測(cè)用的是純視覺(jué)方案，不用激光雷達(dá)。只需要一張全景圖，就能算出每個(gè)像素的距離

DAP (Depth Any Panoramas)CVPR 2026

通過(guò)這個(gè)全景深度預(yù)測(cè)基礎(chǔ)模型，只需要一張全景圖，就能算出畫(huà)面中每個(gè)物體的距離，精確到像素。純視覺(jué)方案，不用激光雷達(dá)。用 200 萬(wàn)級(jí)數(shù)據(jù)訓(xùn)練，零樣本深度預(yù)測(cè)全球第一

為什么走這條路？Gavin 說(shuō)參考的是特斯拉 FSD 的思路。特斯拉用 Data Scaling Law 證明了：數(shù)據(jù)夠多的時(shí)候，純視覺(jué)可以解決絕大部分問(wèn)題。影石手里有全世界最大的全景數(shù)據(jù)集，走純視覺(jué)在數(shù)據(jù)量上有天然優(yōu)勢(shì)

局限也有，大面積透明玻璃、純白色墻面，純視覺(jué)確實(shí)抓瞎。影石的做法是在無(wú)人機(jī)上配 ToF 傳感器做輔助，動(dòng)態(tài)權(quán)重算法在不同場(chǎng)景下調(diào)整依賴(lài)程度。絕大部分場(chǎng)景純視覺(jué)覆蓋，極端情況傳感器兜底

影石最終想做的產(chǎn)品是一臺(tái)「完全自主的跟拍攝影師」，或者說(shuō)：Cameraman

在這個(gè)過(guò)程中，設(shè)備不需要人操控，自己看懂空間、自己避障、自己構(gòu)圖、自己用電影感的運(yùn)鏡方式拍攝。這條路線的終局和自動(dòng)駕駛是同一個(gè)邏輯：傳感器只是補(bǔ)充，數(shù)據(jù)規(guī)模才是壁壘

這個(gè)判斷對(duì)所有在純視覺(jué)和多傳感器融合之間做選擇的團(tuán)隊(duì)都有參考價(jià)值。核心問(wèn)題永遠(yuǎn)是：有沒(méi)有足夠規(guī)模的數(shù)據(jù)，來(lái)喂純視覺(jué)方案

那 10% 的 Gap

影石做了一個(gè)仿真平臺(tái) AirSim360，能在虛幻引擎 5 里原生渲染全景數(shù)據(jù)，單日產(chǎn)出 100 萬(wàn)幀，成本 20 塊錢(qián)。官方說(shuō)減少約 90% 的戶(hù)外實(shí)飛。我問(wèn) Gavin，那剩下的 10% 呢？

AirSim360CVPR 2026

這是一個(gè)全景無(wú)人機(jī)仿真平臺(tái)，借由虛幻5引擎，在其中搭建城市、山林等虛擬環(huán)境，接入真實(shí)飛控板做飛行訓(xùn)練。自動(dòng)生成深度、語(yǔ)義、實(shí)體等多層標(biāo)注，不需要人工標(biāo)注

那剩下的 10% 卡在哪？Gavin 說(shuō)是真實(shí)世界里不可預(yù)測(cè)的物理噪聲。高速運(yùn)動(dòng)時(shí)的湍流、圖傳信號(hào)丟包、鏡頭震動(dòng)導(dǎo)致的動(dòng)態(tài)虛焦，這些在虛幻引擎里沒(méi)法完美建模。只能在真實(shí)世界里飛，炸一次機(jī)收集一次數(shù)據(jù)

然后我們聊到了室內(nèi)和室外的區(qū)別，當(dāng)然，這個(gè)話(huà)題跟我自己有關(guān)。我在同時(shí)裝修兩個(gè)幾百平的酒吧，正在把它們做成數(shù)字孿生，計(jì)劃讓具身智能的機(jī)器人在虛擬環(huán)境里訓(xùn)練完直接來(lái)店里上班。做的過(guò)程中發(fā)現(xiàn)，室內(nèi)的全景數(shù)據(jù)和戶(hù)外的完全是兩套處理邏輯

「因?yàn)樘炜盏木嚯x是不一樣的」

室外天空是無(wú)限遠(yuǎn)的，算法設(shè)定一個(gè)無(wú)窮遠(yuǎn)就行。但在室內(nèi)，最遠(yuǎn)距離就是天花板和墻壁

「天空有多遠(yuǎn)」和「杯子有多遠(yuǎn)」在深度幾何約束上完全是兩個(gè)概念。這也是很多深度預(yù)測(cè)模型只能做室內(nèi)或者只能做室外的原因

對(duì)所有做室內(nèi)具身智能的團(tuán)隊(duì)來(lái)說(shuō)，這是一個(gè)繞不開(kāi)的基礎(chǔ)問(wèn)題。DAP 在論文里做到了室內(nèi)外統(tǒng)一的深度預(yù)測(cè)，但 AirSim360 仿真平臺(tái)目前只覆蓋了城市和戶(hù)外。Gavin 說(shuō)內(nèi)部已經(jīng)在做室內(nèi)空間的探索，包括無(wú)人機(jī)和機(jī)器人在多層建筑里自主穿梭的課題

影石現(xiàn)在也在和一些具身智能團(tuán)隊(duì)合作，用定制化的全景設(shè)備給機(jī)器人當(dāng)「眼睛」。360 度無(wú)死角，不用來(lái)回轉(zhuǎn)頭

做數(shù)字孿生還有一個(gè)繞不開(kāi)的問(wèn)題：怎么從幾張照片，還原出完整的三維空間？

拍的角度越少，重建就越快、成本越低，但質(zhì)量也越難保證。影石的另一篇論文 DDGS 就在解決這個(gè)問(wèn)題，而全景數(shù)據(jù)天然的全視角覆蓋，讓「少拍幾張」變得可行

DDGSICLR 2026

通過(guò)這項(xiàng)算法，只需要少量不同角度拍攝的照片，就能還原出可以自由旋轉(zhuǎn)查看的 3D 場(chǎng)景。全景相機(jī)一張圖覆蓋 360 度，天然減少了所需的拍攝次數(shù)

暖手寶問(wèn)題

論文做出來(lái)了，但要塞進(jìn)一顆運(yùn)動(dòng)相機(jī)的芯片，是另一回事。影石做的是消費(fèi)級(jí)硬件，芯片算力和功耗被極度限制

Gavin 舉了個(gè)例子，目標(biāo)追蹤領(lǐng)域效果最好的是 Meta 的 SAM 系列，追蹤什么物體都很準(zhǔn)。但想放到影石的相機(jī)芯片上，底層硬件根本不支持 SAM 的某些網(wǎng)絡(luò)結(jié)構(gòu)和算子

更致命的是散熱。相機(jī)體積太小，大模型跑起來(lái)發(fā)熱控制不住

「總不能把運(yùn)動(dòng)相機(jī)做成暖手寶」

所以影石的算法團(tuán)隊(duì)做的事情，本質(zhì)上是把學(xué)術(shù)界的大模型用裁剪、蒸餾和量化硬塞進(jìn)消費(fèi)級(jí)芯片。但問(wèn)題還不止于此：由于全景數(shù)據(jù)的幾何畸變特性，通用學(xué)術(shù)模型的適配程度本身就不高，即使能跑進(jìn)硬件，算法模型也要重新開(kāi)發(fā)。這是為什么必須從底層自研，團(tuán)隊(duì)需要數(shù)百人

這個(gè)問(wèn)題不只是影石的。任何想把 AI 做進(jìn)終端硬件的公司都面對(duì)同樣的約束：云端可以堆卡，終端沒(méi)這個(gè)條件。算力不夠的時(shí)候，算法設(shè)計(jì)本身就要為硬件讓路。影石在這件事上積累的經(jīng)驗(yàn)，對(duì)所有做端側(cè) AI 的團(tuán)隊(duì)都有參考價(jià)值

為什么開(kāi)源

全景在 AI 領(lǐng)域還是一個(gè)很小的分支。影石占了全球 66% 份額，但整個(gè)賽道的體量有限。不開(kāi)源，這個(gè)賽道就只有影石一家在玩

Gavin 說(shuō)把底層技術(shù)開(kāi)源，是希望學(xué)術(shù)界和工業(yè)界先用起來(lái)。用起來(lái)之后能反哺很多影石自己看不到的應(yīng)用場(chǎng)景。一個(gè)人把蛋糕做不大，但基建鋪好了，別人進(jìn)來(lái)，蛋糕才能變大

創(chuàng)始人劉靖康最近在上海一場(chǎng)黑客松上做了一件有意思的事。影石每年 1024 程序員節(jié)有個(gè)內(nèi)部傳統(tǒng)：給最優(yōu)秀的工程師發(fā)純金打造的鍵帽，回車(chē)鍵或者空格鍵，大約 30 克純金。這次劉靖康第一次把黃金鍵帽發(fā)給了外部的獲勝開(kāi)發(fā)者，希望拿到鍵帽的人把它們拼在一起，拼出一個(gè)詞：NO BUG

NO BUG，用純金拼出來(lái)的

以及，對(duì)在做空間 AI 的開(kāi)發(fā)者來(lái)說(shuō)，影石這次開(kāi)源的東西中還有一個(gè)值得一看：DiT 360，代碼和權(quán)重都放在了 GitHub 上

DiT360CVPR 2026

輸入一段文字描述，就能生成一張完整的 360 度全景圖。生成的圖在邊緣能無(wú)縫拼接，保持幾何結(jié)構(gòu)的一致性，同時(shí)支持對(duì)已有全景圖做局部修改和擴(kuò)展

聊到最后，Gavin 說(shuō)了他對(duì)未來(lái)三年的押注：把感知和生成統(tǒng)一到一個(gè)全景基座模型里。三年后，設(shè)備放飛，完全自主地看懂空間、避障、構(gòu)圖、拍攝。他管這個(gè)叫「完全自主的超級(jí)跟拍師」

然后他提到：最近在研究怎么讓無(wú)人機(jī)在室內(nèi)自主爬樓梯

我說(shuō)：我的新酒吧正好有樓梯，到時(shí)候留一段給你測(cè)試

關(guān)于 Gavin

Gavin（亓魯），90 后，2024 年加入影石。長(zhǎng)期擔(dān)任 NeurIPS、ICML、ICLR、ICCV、CVPR 領(lǐng)域主席，AI 2000 全球人工智能學(xué)者，Google Scholar 引用 16000+

最后，感謝 Gavin 和影石研究院團(tuán)隊(duì)的坦誠(chéng)分享

影石 AI 研究院開(kāi)源項(xiàng)目

https://github.com/Insta360-Research-Team

DAP 在線 Demo

https://huggingface.co/spaces/Insta360-Research/DAP

DiT360 在線 Demo

https://huggingface.co/spaces/Insta360-Research/DiT360

AirSim360 論文

https://arxiv.org/abs/2512.02009

DAP 論文

https://arxiv.org/abs/2512.16913

DiT360 論文

https://arxiv.org/abs/2510.11712