導(dǎo)語(yǔ)：在多模態(tài)大模型飛速發(fā)展的今天，視覺(jué) - 語(yǔ)言基礎(chǔ)模型在分類、檢索、分割和深度預(yù)測(cè)等任務(wù)上取得了巨大進(jìn)步。然而，如何精準(zhǔn)地將密集的 “圖像塊（Patch）” 表示與對(duì)應(yīng)概念的 “文本嵌入” 對(duì)齊，依然是阻礙模型邁向更細(xì)粒度理解的 “Achilles' heel”。今天，谷歌 DeepMind 正式推出了 TIPSv2（Text-Image Pretraining with Spatial awareness v2），成功解決了這一核心痛點(diǎn)，并在 9 項(xiàng)任務(wù)和 20 個(gè)數(shù)據(jù)集上展現(xiàn)出統(tǒng)治級(jí)的性能。

• 論文標(biāo)題：TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
  
• 項(xiàng)目主頁(yè)：https://gdm-tipsv2.github.io/
• HuggingFace 在線體驗(yàn)：https://huggingface.co/spaces/google/TIPSv2
• 作者 X (Twitter) 官宣：https://x.com/andrefaraujo/status/2044362911242502498
• LinkedIn 討論：https://www.linkedin.com/posts/andrefaraujo_cvpr2026-cvpr2026-computervision-ugcPost-7449910891069890560-1Yhe?utm_source=share&utm_medium=member_desktop&rcm=ACoAAACIVW4BSMdtaSsUj-OT2zKU6jfeOCRJ-ul

該研究成果《TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment》已成功被計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議 CVPR 2026 接收。目前，模型權(quán)重（涵蓋從 86M 到 1.1B 參數(shù)），代碼以及在線體驗(yàn) Demo 已全面開(kāi)源。

? 核心作者團(tuán)隊(duì)簡(jiǎn)介

本文由來(lái)自 Google DeepMind 的頂尖研究人員合作完成。通訊作者包括 Bingyi Cao、Koert Chen 以及 André Araujo。

核心團(tuán)隊(duì)在計(jì)算機(jī)視覺(jué)及多模態(tài) AI 領(lǐng)域成果斐然，在視覺(jué) - 語(yǔ)言基礎(chǔ)模型的架構(gòu)設(shè)計(jì)與表征學(xué)習(xí)方面擁有深厚學(xué)術(shù)背景與實(shí)戰(zhàn)經(jīng)驗(yàn)。該團(tuán)隊(duì)長(zhǎng)期致力于推動(dòng)具有 “空間感知能力（Spatial Awareness）” 的多模態(tài)大模型前沿研究，此次 TIPSv2 的發(fā)布標(biāo)志著他們?cè)诩?xì)粒度視覺(jué)理解領(lǐng)域樹(shù)立了全新的里程碑。

1. 發(fā)現(xiàn)反直覺(jué)現(xiàn)象：

為何 “學(xué)生” 超越了 “老師”？

TIPSv2 的誕生，源自于 DeepMind 研究團(tuán)隊(duì)對(duì) “預(yù)訓(xùn)練（Pre-training）” 與 “知識(shí)蒸餾（Distillation）” 之間差異的深度深度剖析。

在視覺(jué)大模型（如 CLIP、SigLIP）的常規(guī)訓(xùn)練中，模型通常擅長(zhǎng)全局圖像 - 文本對(duì)齊（例如識(shí)別整張圖中是否有一只貓），但在 “密集任務(wù)（Dense Tasks）” 如零樣本語(yǔ)義分割中卻往往表現(xiàn)乏力。研究團(tuán)隊(duì)在早期的消融實(shí)驗(yàn)中發(fā)現(xiàn)了一個(gè)極其反直覺(jué)的現(xiàn)象：

通過(guò) “塊級(jí)別（Patch-level）” 蒸餾出的小參數(shù)學(xué)生模型（Student Model），在零樣本分割等密集型圖文對(duì)齊任務(wù)上，其表現(xiàn)竟然大幅度反超了規(guī)模巨大的教師模型（Teacher Model）！

在其他幾乎所有評(píng)估任務(wù)中，大參數(shù)模型通常都碾壓小模型，唯獨(dú)在 “Patch-Text 密集對(duì)齊” 上出現(xiàn)了驚人的逆轉(zhuǎn)。團(tuán)隊(duì)進(jìn)一步深挖內(nèi)部機(jī)制后發(fā)現(xiàn)：核心差異在于對(duì) “可見(jiàn)圖像塊（Visible Patches）” 的監(jiān)督方式。在標(biāo)準(zhǔn)的掩碼圖像建模（Masked Image Modeling, 如 iBOT 機(jī)制）中，模型只對(duì)被遮擋的 Patch 計(jì)算損失；而在蒸餾過(guò)程中，學(xué)生模型接收了來(lái)自教師模型所有 Patch（無(wú)論是否被遮擋）的豐富特征指導(dǎo)。正是這種對(duì) “可見(jiàn) Patch” 的顯式學(xué)習(xí)與約束，解鎖了底層網(wǎng)絡(luò)驚人的密集圖文對(duì)齊能力。

2. TIPSv2 的三大核心技術(shù)創(chuàng)新

基于上述的反直覺(jué)洞察，DeepMind 團(tuán)隊(duì)直接對(duì)底層的多模態(tài)預(yù)訓(xùn)練配方進(jìn)行了大刀闊斧的改革，提出了構(gòu)成 TIPSv2 的三個(gè)核心技術(shù)組件：

創(chuàng)新一：iBOT++ —— 全局視角的自監(jiān)督對(duì)齊引擎

在經(jīng)典的 iBOT（被 DINO 等強(qiáng)大視覺(jué)模型廣泛使用）目標(biāo)函數(shù)中，損失僅針對(duì) Masked Tokens（被掩碼的標(biāo)記）進(jìn)行計(jì)算。TIPSv2 打破了這一范式，引入了全新的 iBOT++ 目標(biāo)機(jī)制。該機(jī)制將自監(jiān)督的 Patch 級(jí)別損失強(qiáng)行擴(kuò)展到了所有的 Tokens（包括未被遮擋的可見(jiàn) Tokens）。

驚人效果：在不增加任何額外網(wǎng)絡(luò)參數(shù)的條件下，iBOT++ 強(qiáng)制模型在所有局部區(qū)域保持細(xì)粒度的表征一致性。僅憑這一項(xiàng)底層邏輯的改動(dòng)，就讓模型在 ADE150 數(shù)據(jù)集上的零樣本分割 mIoU 指標(biāo)實(shí)現(xiàn)了+14.1的巨大飛躍（從 3.5 直接飆升至 17.6），一舉成為了驅(qū)動(dòng)密集圖文對(duì)齊的最強(qiáng)引擎。

創(chuàng)新二：Head-only EMA —— 突破顯存瓶頸的高效策略

傳統(tǒng)的自監(jiān)督學(xué)習(xí)（SSL）通常高度依賴對(duì)整個(gè)模型進(jìn)行指數(shù)移動(dòng)平均（EMA）參數(shù)更新。然而，當(dāng)訓(xùn)練達(dá)到十億參數(shù)級(jí)（Billion-scale）的多模態(tài)大模型時(shí)，全模型的 EMA 會(huì)吞噬極其龐大的顯存和計(jì)算資源。

TIPSv2 團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)，由于模型同時(shí)接收了強(qiáng)有力的 “文本監(jiān)督信號(hào)”，底層視覺(jué)骨干網(wǎng)絡(luò)在訓(xùn)練初期就已經(jīng)具備了很好的穩(wěn)定性。因此，他們提出了創(chuàng)新的Head-only EMA策略 ——僅對(duì)頂層的投影頭（Projection Layers）執(zhí)行 EMA 更新，同時(shí)凍結(jié)視覺(jué)主干網(wǎng)絡(luò)的 EMA。這一策略在完美保持模型卓越性能的同時(shí)，大幅度降低了訓(xùn)練時(shí)的顯存需求，極大提升了模型訓(xùn)練和擴(kuò)展的性價(jià)比。

創(chuàng)新三：多粒度文本描述（Multi-Granularity Captions）

為了避免模型在訓(xùn)練時(shí)對(duì)粗粒度的視覺(jué)關(guān)鍵詞 “走捷徑（Shortcutting）”，從而忽略空間布局細(xì)節(jié)，TIPSv2 構(gòu)建了極度豐富的數(shù)據(jù)標(biāo)注配方。團(tuán)隊(duì)摒棄了單一的圖文對(duì)形式，不僅使用了傳統(tǒng)的 Alt-text（網(wǎng)頁(yè)替代文本），還創(chuàng)造性地引入了：

1) 利用 PaliGemma 生成的密集局部字幕；

2) 利用 Gemini Flash 大模型生成的更豐富、更具全局上下文邏輯的深度描述。

在訓(xùn)練過(guò)程中，模型會(huì)在這些不同粒度的描述之間進(jìn)行隨機(jī)交替和博弈。這種多粒度的文本增強(qiáng)約束，極大地提升了模型在應(yīng)對(duì)復(fù)雜密集對(duì)齊以及全局圖像 - 文本檢索任務(wù)時(shí)的魯棒性。

3. 恐怖的統(tǒng)治力：

9 大任務(wù)與 20 個(gè)數(shù)據(jù)集的全面超越

為了嚴(yán)格驗(yàn)證 TIPSv2 的通用視覺(jué)能力，團(tuán)隊(duì)在涵蓋三大維度的 9 個(gè)不同核心任務(wù)、20 個(gè)權(quán)威數(shù)據(jù)集上進(jìn)行了極其詳盡的評(píng)估。實(shí)驗(yàn)覆蓋了從 86M（Base）一直到 1.1B（Giant）的四種模型尺寸梯隊(duì)（B/14, L/14, SO400m/14, g/14）。

?? 維度一：密集圖像 - 文本評(píng)估（Dense Image-Text）—— 零樣本分割霸主

在最能衡量細(xì)粒度空間理解的 “零樣本分割（Zero-shot Segmentation）” 四大基準(zhǔn)測(cè)試中，TIPSv2 實(shí)現(xiàn)了無(wú)可爭(zhēng)議的全面霸榜。

相比于上一代前沿的視覺(jué)語(yǔ)言大模型（如 SigLIP2），TIPSv2 不僅性能呈現(xiàn)斷崖式領(lǐng)先，更是正面擊敗了專門(mén)針對(duì)此類任務(wù)優(yōu)化的 SILC 和 DINOv2 架構(gòu)。值得一提的是，后兩者使用了更為繁重的 TCL 評(píng)估協(xié)議，而 TIPSv2 以更通用、簡(jiǎn)潔的架構(gòu)實(shí)現(xiàn)了越級(jí)超越。

?? 維度二：全局圖像 - 文本評(píng)估（Global Image-Text）+ 純圖像評(píng)估（Image-Only）—— 極致的參數(shù)利用率

在分類、圖文跨模態(tài)檢索等 7 項(xiàng)全局維度的評(píng)估中，TIPSv2 在 5 項(xiàng)中強(qiáng)勢(shì)斬獲第一或第二的佳績(jī)。在語(yǔ)義分割、深度估計(jì)、表面法線預(yù)測(cè)、圖像自檢索等 9 個(gè)純視覺(jué)骨干任務(wù)中，TIPSv2 在 7 項(xiàng)中穩(wěn)居榜首或次席。

高光時(shí)刻：TIPSv2-g（1.1B 參數(shù)版本）在 3/5 的共享評(píng)估體系中，硬核擊敗了目前業(yè)界頂尖的PE-core G/14。要知道，PE 模型比 TIPSv2 多出了足足 56% 的參數(shù)量，并且喂給了高達(dá)47 倍的訓(xùn)練圖文對(duì)數(shù)據(jù)！TIPSv2 展現(xiàn)出的恐怖訓(xùn)練效率和參數(shù)榨取能力令人驚嘆。

?? 維度三：與 DINOv3 的巔峰對(duì)決

更引人注目的是它與近期開(kāi)源的 “最強(qiáng)純視覺(jué)基礎(chǔ)大模型” DINOv3 的正面交鋒：

DeepMind 團(tuán)隊(duì)在雙方共有的最大基準(zhǔn)尺寸（ViT-L）下進(jìn)行了絕對(duì)公平的對(duì)比。DINOv3 的教師模型參數(shù)量是 TIPSv2 的 6 倍之多，其使用的圖像數(shù)據(jù)總量更是 TIPSv2 的 15 倍。

最終戰(zhàn)績(jī)：在 6 項(xiàng)高度重合的共享評(píng)估任務(wù)中，TIPSv2 贏下了其中的 4 項(xiàng)（包括極具挑戰(zhàn)性的零樣本分割核心任務(wù)），證明了圖文雙模態(tài)聯(lián)合約束優(yōu)于單一純視覺(jué)預(yù)訓(xùn)練。

4. 深度特征可視化：比清晰更清晰

除了硬核的量化指標(biāo)外，團(tuán)隊(duì)還通過(guò)主成分分析（PCA）對(duì)模型的特征圖（Feature Maps）進(jìn)行了直觀的視覺(jué)分析。相比于上一代 TIPS 和業(yè)界流行的 SigLIP2，TIPSv2 的特征圖展現(xiàn)出兩個(gè)極其顯著的碾壓級(jí)優(yōu)勢(shì)：

1) 極致的表征平滑性：背景噪音被大幅度抑制，屬于同一物體的不同區(qū)域，其特征呈現(xiàn)高度且平滑的一致性。

2) 極強(qiáng)的語(yǔ)義聚焦能力：即便與同樣以特征平滑著稱的 DINOv3 相比，TIPSv2 對(duì)物體邊界輪廓的勾勒也要更加精準(zhǔn)和銳利；并且在區(qū)域內(nèi)部，TIPSv2 展現(xiàn)出了更豐富的 “顆粒度語(yǔ)義細(xì)節(jié)（Granular semantic details）”。這意味著 TIPSv2 不僅僅是 “看清” 了物體的輪廓邊緣，它已經(jīng)能夠在沒(méi)有人工標(biāo)注的情況下，深度 “理解” 物體的空間語(yǔ)義構(gòu)成。

5. 繁榮的開(kāi)源生態(tài)與工具鏈支持

秉承 Google DeepMind 推動(dòng)全球開(kāi)源 AI 社區(qū)發(fā)展的優(yōu)良傳統(tǒng)，TIPSv2 本次的發(fā)布不僅技術(shù)硬核、誠(chéng)意滿滿，其配套生態(tài)也極其完善。

現(xiàn)已向社區(qū)全面開(kāi)源的資源包括：

• 全矩陣模型權(quán)重：全面覆蓋 B/14 (86M), L/14 (303M), SO400m/14 (412M), g/14 (1.1B) 等不同尺寸。同時(shí)提供 PyTorch 與 Jax (Scenic) 兩種原生深度學(xué)習(xí)框架的適配版本。
• DPT 預(yù)測(cè)頭（DPT Heads）：為了讓工業(yè)界即插即用，團(tuán)隊(duì)額外開(kāi)源了基于 SO400m/14 骨干網(wǎng)的 DPT 網(wǎng)絡(luò)預(yù)測(cè)頭，直接支持高精度的深度估計(jì)（NYU Depth V2）、表面法線預(yù)測(cè)和語(yǔ)義分割（ADE20K）。
• 保姆級(jí)代碼與 Demo：GitHub 倉(cāng)庫(kù)內(nèi)提供了詳盡的特征可視化、監(jiān)督 / 零樣本分割的 Colab Notebooks 實(shí)操代碼。

所有相關(guān)代碼、模型權(quán)重均遵循商業(yè)友好的Apache 2.0 開(kāi)源協(xié)議，無(wú)論是學(xué)術(shù)機(jī)構(gòu)探索前沿，還是工業(yè)界進(jìn)行商業(yè)落地，都極其便利。強(qiáng)烈建議感興趣的開(kāi)發(fā)者立即前往 HuggingFace 官方空間 上傳您自己的圖片，在線零門(mén)檻體驗(yàn) TIPSv2 在零樣本分割、深度與法線預(yù)測(cè)等任務(wù)上的震撼表現(xiàn)。

結(jié)語(yǔ)

TIPSv2 的橫空出世，絕不僅僅是多模態(tài)領(lǐng)域又一個(gè)簡(jiǎn)單的 “刷榜模型”。它深刻揭示了 “對(duì)比學(xué)習(xí)” 與 “自監(jiān)督學(xué)習(xí)” 在微觀 Patch 層面的底層化學(xué)反應(yīng)。通過(guò) iBOT++、Head-only EMA 與多粒度文本大模型的巧妙融合，DeepMind 為下一代具有 “極強(qiáng)空間感知能力” 的通用人工智能（AGI）指明了一條極具潛力的預(yù)訓(xùn)練破局之路。期待 TIPSv2 在海內(nèi)外開(kāi)發(fā)者的手中開(kāi)花結(jié)果，為計(jì)算機(jī)視覺(jué)的繁榮帶來(lái)更多可能！