現(xiàn)有的視覺定位和指代分割工作受到視覺和語言獨(dú)立編碼的限制，嚴(yán)重依賴于笨重的基于 Transformer 的融合編碼器/解碼器和各種早期階段交互技術(shù)。同時，當(dāng)前的掩碼視覺語言建模(mask visual language modeling，MVLM)在指代任務(wù)中無法捕捉圖像-文本之間微妙的指代關(guān)系。

在本文中，團(tuán)隊(duì)提出OneRef，一個極簡的、建立在模態(tài)共享Transformer上的指代框架，其統(tǒng)一了視覺和語言特征空間。為了對指代關(guān)系進(jìn)行建模，本文引入了一種新的MVLM范式，稱為掩碼指代建模(MRefM)，它包括指代感知的掩碼圖像建模和指代感知的掩碼語言建模。這兩個模塊不僅可以重構(gòu)與模態(tài)相關(guān)的內(nèi)容，還可以重建跨模態(tài)的指代內(nèi)容。在MRefM中，提出一種指代感知的動態(tài)圖像掩碼策略，該策略可以感知指代區(qū)域，而不是依賴于固定掩碼比率或通用的隨機(jī)掩碼方案。通過利用統(tǒng)一的視覺語言特征空間，并結(jié)合MRefM的建模指代關(guān)系的能力，本工作的方法可以直接回歸指代結(jié)果，而無需依賴于各種復(fù)雜的技術(shù)。本工作的方法連續(xù)地超越現(xiàn)有的方法，在定位和分割任務(wù)上都達(dá)到了SoTA的性能，為未來的研究提供了新的有價值的思路。

論文題目： Towards Unified One-tower Expression Grounding and Segmentation with Mask Referring Modeling 論文鏈接： https://arxiv.org/abs/2410.08021 代碼和模型：（代碼和模型已全部開源） https://github.com/linhuixiao/OneRef

視覺定位(Visual Grounding，VG)的目的是在特定圖像中定位表達(dá)查詢文本所指代的區(qū)域。廣義的視覺定位 / 指代任務(wù)包括指代表達(dá)理解(Referring Expression Comprehension，REC)、短語定位(Phrase Grounding，PG)和指代表達(dá)文本/圖像分割(Referring Expression/Image Segmentation，RES/RIS)。在REC/PG中，所定位的區(qū)域用矩形邊界框表示，而在RES/RIS中，定位區(qū)域用指代目標(biāo)的不規(guī)則的細(xì)粒度分割掩碼表示。目標(biāo)檢測或?qū)嵗指钔ǔＲ蕾囉谝唤M封閉的類別集合來檢測或分割滿足目標(biāo)標(biāo)簽的多個區(qū)域，與之不同的是，視覺定位并不局限于固定的類別。它需要理解查詢文本的語義，然后再定位或分割特定一個區(qū)域。因此，視覺定位是一項(xiàng)強(qiáng)烈依賴于視覺和語言特征的多模態(tài)交互和對齊的任務(wù)。

自從BERT[16]和ViT[17,7]提出以來，最先進(jìn)的(state-of-the-art，SoTA)定位工作廣泛采用了預(yù)訓(xùn)練和微調(diào)范式。如圖1所示，現(xiàn)有的使用預(yù)訓(xùn)練模型的研究，無論是使用了單模態(tài)預(yù)訓(xùn)練模型分別遷移視覺和語言知識，還是使用多模態(tài)預(yù)訓(xùn)練模型，主要可以分為三種典型的架構(gòu)： (i)兩個模態(tài)編碼器結(jié)合一個跨模態(tài)融合編碼器，如TransVG等; (ii)額外再加一個解碼器，以MDETR等為例; (iii)基于語言引導(dǎo)的視覺特征的直接回歸，如LAVT、TransVG++等。

然而，在這些研究中，都集成了模態(tài)相關(guān)的編碼器，使得這些工作很難將兩種模態(tài)無縫集成到統(tǒng)一特征空間中。因此，這些工作不僅需要額外的基于Transformer 的跨模態(tài)[78]編碼器/解碼器(也即上述(i)和(ii))進(jìn)行視覺和語言的模態(tài)融合，而且還在需要在模態(tài)相關(guān)的編碼器之間提出各種各樣的精心設(shè)計的交互結(jié)構(gòu)和技術(shù)，用以促進(jìn)早期的細(xì)粒度跨模態(tài)的對齊，例如Adapter適配器，權(quán)重生成，圖像-文本交叉注意力等等技術(shù)。因此，已有的這些方法不僅包含大量的參數(shù)，而且涉及復(fù)雜的過程。

考慮到這些嚴(yán)重的限制，本工作的目標(biāo)是探索更簡單的模態(tài)共享的定位框架，它可以在統(tǒng)一的特征空間內(nèi)統(tǒng)一視覺和語言，從而避免了使用復(fù)雜的交互模塊、笨重的融合Transformer/解碼器以及特殊的定位token。

圖1. 本工作提出的方法和主流的REC/RES架構(gòu)。

隨著預(yù)訓(xùn)練的進(jìn)步，許多研究都在探索統(tǒng)一模態(tài)共享的多模態(tài)框架。YORO基于ViLT實(shí)現(xiàn)了一種共享編碼器。然而，其建模方法會掩蓋單模態(tài)知識，同時還需要編碼器納入額外的查詢錨點(diǎn)，使得它很難使用常見的預(yù)訓(xùn)練模型，從而限制了其方法的遷移通用性。ONE-PEACE基于混合專家(Mix-of-Expert，MoE)設(shè)計了7個專家分支，構(gòu)建了三模態(tài)基礎(chǔ)模型，從而實(shí)現(xiàn)了圖像、文本和音頻模態(tài)的融合。然而，他們的研究采用了大量的三模態(tài)數(shù)據(jù)，同時也沒有探索MVLM對指代任務(wù)建模的潛在應(yīng)用。

BEiT-3建立在多通路Transformer（Multi-way Transformer）的基礎(chǔ)上，同時采用三個MoE頭(即視覺、語言、視覺語言)和模態(tài)共享結(jié)構(gòu)，在共享的特征空間內(nèi)有效地統(tǒng)一了視覺和語言。它在各種分類式的跨模態(tài)領(lǐng)域(如檢索、VQA等)中表現(xiàn)出顯著的優(yōu)勢。然而，目前尚無研究探討在指代任務(wù)中如何利用BEiT-3實(shí)現(xiàn)遷移。

因此，本工作的目標(biāo)是在BEiT-3的單塔模型上，在統(tǒng)一的特征空間內(nèi)探索更加簡潔高效的指代定位和指代分割的遷移。然而，BEiT-3模型是利用通用的掩碼視覺語言建模(mask visual language modeling，MVLM)方法進(jìn)行預(yù)訓(xùn)練的，這種掩碼范式缺乏細(xì)粒度的跨模態(tài)指代能力，不能有效地建模出圖像和文本之間復(fù)雜的指代關(guān)系。因此，將BEiT-3應(yīng)用于回歸式的指代任務(wù)時存在明顯的鴻溝。因此，探索如何將細(xì)粒度的跨模態(tài)指代能力納入掩碼建模范式將成為一個重要的尚未解決的研究問題。

二、方法思路

如圖2所示，在本文中，本工作提出了一種新的范式，稱為掩碼指代建模(MRefM)，以及一種統(tǒng)一的、極其簡潔的定位和指代分割框架，稱為OneRef，不再需要融合或交互的Transformer結(jié)構(gòu)，也不需要特殊的定位Token。

圖2. 我們的多模態(tài)的掩碼指代建模(MRefM)范式的示意圖。其包括2個部分，分別是指代感知的掩碼圖像建模和指代感知的掩碼語言建模。

首先，本工作提出MRefM范式，以靈活的方式增強(qiáng)BEiT-3的指代能力。MRefM由兩個部分組成：指代感知的掩碼圖像建模(Referring-aware Mask Image Modeling，簡稱Referring MIM，指代MIM)和指代感知的掩碼語言建模(Referring-aware Mask Language Modeling，簡稱Referring MLM，指代MLM)。傳統(tǒng)的MVLM通�；趩文B(tài)MIM和MLM交替或隨機(jī)訓(xùn)練來實(shí)現(xiàn)。相比之下，指代MIM和指代MLM需要重構(gòu)兩種不同類型的內(nèi)容：與自身模態(tài)相關(guān)的內(nèi)容和跨模態(tài)的指代信息。

具體而言，首先，對于指代感知的掩碼圖像建模來說，其使用與聚合文本token進(jìn)行點(diǎn)積運(yùn)算之后的視覺token進(jìn)行重建。其不僅需要重建本身掩碼的視覺特征，還需要重建視覺目標(biāo)關(guān)聯(lián)分?jǐn)?shù)，這一分?jǐn)?shù)用以表示當(dāng)前token與定位區(qū)域之間的距離。同時，得分包括四個維度：到定位中心的水平和垂直距離，以及定位區(qū)域的寬度和高度。

圖3. 隨機(jī)掩碼（MAE）[25]、分塊掩碼（BEiT）[4]和我們的基于指代的動態(tài)圖像掩碼的示意圖。α表示整個掩碼比例，而β和γ表示超出和位于引用區(qū)域內(nèi)的掩碼比例。

此外，在現(xiàn)有的掩碼策略中，MAE采用的是高比率隨機(jī)掩碼，而BEiT-3采用的是低比率塊狀隨機(jī)掩碼，兩者都不能有效地將注意力有效地引導(dǎo)到指代區(qū)域。為了通過周圍的視覺上下文和文本語義增強(qiáng)模型對指代區(qū)域的理解，我們提出一種指代感知動態(tài)掩碼策略，具體的例子如圖3所示。其具體思路是取代傳統(tǒng)的固定比例的隨機(jī)掩碼策略，以較高的掩碼比例重建指代區(qū)域。

其次，對于指代感知的掩碼語言建模來說，其使用與聚合的視覺token進(jìn)行點(diǎn)積運(yùn)算后的文本token進(jìn)行重建。其不僅需要重建掩碼文本本身，還需要重建表示當(dāng)前文本token與指代圖像區(qū)域之間相關(guān)性的語義目標(biāo)關(guān)聯(lián)分?jǐn)?shù)。

圖4. 基于指代的定位和分割遷移的示意圖。

另一方面，在視覺定位和指代分割遷移過程中，現(xiàn)有的定位和分割模型通常使用[Region] token和多個查詢錨（Query anchor）等特殊的定位 token 來回歸結(jié)果。然而，在主干網(wǎng)絡(luò)中嵌入[Region] token會破壞預(yù)訓(xùn)練的模型，并且查詢錨（Query anchor）也依賴于額外的解碼器。由于模態(tài)共享編碼器建立了統(tǒng)一的特征空間，本工作不再需要額外的跨模態(tài)的編碼器/解碼器來融合單模態(tài)特征，可以使我們能夠更有效地利用預(yù)訓(xùn)練主干網(wǎng)絡(luò)獲得的知識。受益于MRefM范式，視覺token內(nèi)在地包含了指代信息。

因此，如圖4所示，本工作可以拋棄特殊的定位token或者查詢anchor，直接在基于點(diǎn)積運(yùn)算的指代MIM的基礎(chǔ)上構(gòu)建起輕量級且高度簡潔的定位和分割任務(wù)頭，從而實(shí)現(xiàn)了統(tǒng)一的指代框架。

三、實(shí)驗(yàn)分析

如表1、2所示，我們在兩種設(shè)定下對REC（指代定位）任務(wù)進(jìn)行實(shí)驗(yàn)。

(1)在單數(shù)據(jù)集微調(diào)設(shè)定中，Base基礎(chǔ)模型在表1五個數(shù)據(jù)集上分別超越當(dāng)前的 SoTA 方法 HiVG為 2.07%(testB)、 6.15%(testB)、 4.73%(test)、 1.95%(test) 與1.50%(test)，同時顯著優(yōu)于傳統(tǒng)單模態(tài)檢測器方法 TransVG++，性能分別提升達(dá)到 4.37%(testB)、 7.98%(testB)、 7.22%(test)、 2.47%(test) 與 2.12%(test)。

(2)在數(shù)據(jù)集混合預(yù)訓(xùn)練設(shè)定中，Base基礎(chǔ)模型在 RefCOCO/+/g 的 testB/testB/test 劃分上分別超越 HiVG 為1.35%、 2.79% 與 2.63%，超過 Grounding-DINO 達(dá)2.59%、 4.76% 與 2.38%，優(yōu)于 OFA 達(dá)到 5.28%、 5.18% 與 5.01%，甚至超越了參數(shù)量是我們20-60 倍的 GMLLM 模型 LION，提升達(dá)到3.76%、2.13% 與 1.69%。需指出，UniTAB、OFA、LION等工作中同樣采用 MVLM 進(jìn)行預(yù)訓(xùn)練。

表1 在五個指代定位數(shù)據(jù)集上采用單數(shù)據(jù)集微調(diào)設(shè)置的對比實(shí)驗(yàn)

表2 在 REC 任務(wù)上采用數(shù)據(jù)集混合的中間預(yù)訓(xùn)練設(shè)置的對比實(shí)驗(yàn)

如表3所示，我們在兩種設(shè)定下進(jìn)行RES（指代分割）任務(wù)實(shí)驗(yàn)。

(1)在單數(shù)據(jù)集微調(diào)設(shè)定中，Base基礎(chǔ)版模型在 RefCOCO/+/g 的 testB/testB/test 劃分上分別超越 SoTA 自監(jiān)督方法RISCLIP達(dá)到 2.65%、 4.77% 與 1.73%，同時顯著優(yōu)于傳統(tǒng)單模態(tài)檢測器方法 VG-LAW 達(dá)到 3.42%、 7.31% 與 4.57%。

(2)在數(shù)據(jù)集混合預(yù)訓(xùn)練設(shè)定中，Base基礎(chǔ)版模型相較 SoTA 方法 RISCLIP 實(shí)現(xiàn) 4.53%、 8.21% 與 5.39%的性能提升。

表3 在 RES 任務(wù)上采用兩種不同設(shè)置下的比較 (mIoU 結(jié)果)

如圖5所示，我們展示了 OneRef-B 模型在 RefCOCOg 數(shù)據(jù)集上一些相對具有挑戰(zhàn)性的應(yīng)用示例，并給出了模型的指代定位（REC）和指代分割（RES）的定性結(jié)果。這些結(jié)果表明，我們的 OneRef 模型在復(fù)雜文本理解和跨模態(tài)指代定位任務(wù)中展現(xiàn)了強(qiáng)大的語義理解的能力。

圖5 OneRef 框架在RefCOCOg (val)數(shù)據(jù)集上的定性結(jié)果

四、總結(jié)

在本文中，我們提出了一種新穎的、高度簡潔的、特征空間統(tǒng)一的單塔指代框架。此外，我們通過引入MRefM范式，在指代任務(wù)中首次探索了掩碼建模，以捕捉視覺和文本之間細(xì)粒度的指代關(guān)系。我們展示了MRefM在REC、PG和RES任務(wù)在三種設(shè)置下的有效性和通用性，連續(xù)實(shí)現(xiàn)了突破性的成果。此外，利用無監(jiān)督方法可以使MRefM在未來實(shí)現(xiàn)大規(guī)模預(yù)訓(xùn)練，為指代任務(wù)開辟了新的方向。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈