視覺追蹤技術(shù)的背后，隱藏著一場模板設(shè)計(jì)的靜默革命。在復(fù)雜多變的現(xiàn)實(shí)場景中，目標(biāo)物體會(huì)經(jīng)歷形變、遮擋甚至與相似物體共存的挑戰(zhàn)，這使得準(zhǔn)確追蹤成為計(jì)算機(jī)視覺中的一項(xiàng)艱巨任務(wù)。傳統(tǒng)追蹤方法往往要么保持模板純凈度而缺乏適應(yīng)性，要么過度融合而引入干擾信息。ROMTrack框架打破了這一兩難困境，通過巧妙結(jié)合內(nèi)在模板與混合模板的優(yōu)勢，同時(shí)引入變化令牌來應(yīng)對目標(biāo)外觀變化，實(shí)現(xiàn)了對象建模的質(zhì)的飛躍。這種創(chuàng)新設(shè)計(jì)不僅在多個(gè)基準(zhǔn)測試中創(chuàng)造了新的性能記錄，更為視覺追蹤技術(shù)開辟了全新的研究思路。

追蹤對決

視覺對象追蹤是計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)任務(wù)，目標(biāo)是在給定初始狀態(tài)的情況下，在視頻序列中定位任意目標(biāo)。拍攝場景中的遮擋、尺度變化、物體變形以及干擾物體的出現(xiàn)，都給實(shí)際應(yīng)用中的追蹤器帶來了巨大挑戰(zhàn)。近年來，基于Transformer架構(gòu)的追蹤器在應(yīng)對這些難題時(shí)展現(xiàn)出顯著優(yōu)勢。

當(dāng)前主流的追蹤器通常采用三種對象建模方法。第一種是兩流混合建模法，如TransT和SBT，通過兩個(gè)交叉注意力操作實(shí)現(xiàn)模板與搜索區(qū)域的交互學(xué)習(xí)。第二種是單流混合建模法，如OSTrack和SimTrack，采用單一自注意力操作聯(lián)合學(xué)習(xí)混合模板特征和搜索區(qū)域特征。第三種是兩流分離建模法，如MixFormer和AiATrack，保持單獨(dú)的模板流以確保模板特征的純凈性。

這些方法各有優(yōu)缺點(diǎn)。分離模板學(xué)習(xí)可以保持目標(biāo)模板的固有特征，防止搜索區(qū)域的干擾，但缺乏模板與搜索區(qū)域之間的交流，難以提取具有區(qū)分性的目標(biāo)導(dǎo)向特征?；旌夏０鍖W(xué)習(xí)雖然可以進(jìn)行廣泛的特征匹配，但可能通過雜亂的搜索區(qū)域?qū)撛诘母蓴_引入模板，導(dǎo)致追蹤精度下降。

物體追蹤還面臨目標(biāo)外觀變化的挑戰(zhàn)。在短時(shí)間內(nèi)，目標(biāo)運(yùn)動(dòng)通常是平滑的，但可能伴隨著外觀的巨大變化。追蹤器可以輕松處理平滑運(yùn)動(dòng)，但外觀變化則難以區(qū)分。例如，當(dāng)一個(gè)人從正面轉(zhuǎn)向側(cè)面時(shí)，面部特征會(huì)發(fā)生顯著變化；或者當(dāng)一只狗從站立變?yōu)榕P下時(shí)，身體輪廓會(huì)完全不同。這些快速變化的外觀特征給準(zhǔn)確追蹤帶來了極大挑戰(zhàn)。

此外，現(xiàn)實(shí)場景中常有相似外觀的干擾物體出現(xiàn)。比如，在追蹤一個(gè)人時(shí)，畫面中可能有多個(gè)穿著相似的人；在追蹤一輛車時(shí)，可能有多輛類似顏色和形狀的車輛。這些干擾物體可能導(dǎo)致追蹤器混淆目標(biāo)，尤其是當(dāng)目標(biāo)被短暫遮擋后重新出現(xiàn)時(shí)。

從技術(shù)角度看，傳統(tǒng)的基于相關(guān)性的網(wǎng)絡(luò)在追蹤中起著關(guān)鍵作用，但它們沒有充分利用全局上下文。因此，近期主導(dǎo)的追蹤器引入了堆疊的Transformer層來進(jìn)行更好的關(guān)系建模。這些追蹤器在特征提取和關(guān)系建模方面表現(xiàn)出色，但仍然面臨著如何平衡模板純凈度和特征匹配能力的挑戰(zhàn)。

雙劍合璧

針對現(xiàn)有追蹤方法的局限，ROMTrack提出了一種全新的穩(wěn)健對象建?？蚣?。該框架的核心思想是同時(shí)建模固有模板和混合模板特征，以結(jié)合兩種方法的優(yōu)勢，同時(shí)規(guī)避它們的缺點(diǎn)。

ROMTrack的整體架構(gòu)采用了vanilla ViT（視覺Transformer）作為骨干網(wǎng)絡(luò)，但用提出的對象編碼器替換了傳統(tǒng)的ViT編碼器，并在最后一個(gè)編碼器的輸出令牌上添加了預(yù)測頭。ROMTrack的輸入是一個(gè)包含一對模板圖像和一個(gè)搜索區(qū)域圖像的三元組。固有模板負(fù)責(zé)學(xué)習(xí)固有模板特征，混合模板負(fù)責(zé)學(xué)習(xí)混合模板特征。

在ROMTrack中，對象編碼器包含兩個(gè)關(guān)鍵組件：變化令牌和穩(wěn)健對象建模。變化令牌是目標(biāo)對象上下文外觀變化的嵌入，有助于解決物體變形和外觀變化問題。它們在每個(gè)對象編碼器后生成，從搜索區(qū)域中編碼外觀上下文的變化。這種設(shè)計(jì)基于一個(gè)觀察：目標(biāo)在短時(shí)間內(nèi)的運(yùn)動(dòng)通常是平滑的，但可能伴隨著外觀的巨大變化。

穩(wěn)健對象建模方法的核心在于其兩種類型的模板：固有模板和混合模板。固有模板通過自注意力操作單獨(dú)增強(qiáng)學(xué)習(xí)的特征，消除來自搜索區(qū)域的干擾。同時(shí)，它接受來自混合模板和搜索區(qū)域特征的查詢，為具有區(qū)分性的目標(biāo)導(dǎo)向特征學(xué)習(xí)提供固有信息?；旌夏０搴退阉鲄^(qū)域特征通過標(biāo)準(zhǔn)交叉注意力操作學(xué)習(xí)，實(shí)現(xiàn)相互指導(dǎo)。這種設(shè)計(jì)允許固有特征與混合特征之間的協(xié)同作用，創(chuàng)造出一個(gè)更加穩(wěn)健的追蹤系統(tǒng)。

從技術(shù)層面看，每個(gè)對象編碼器層包含一個(gè)自注意力操作和一個(gè)交叉注意力操作。自注意力操作用于增強(qiáng)固有模板特征，而交叉注意力操作則用于增強(qiáng)混合模板和搜索區(qū)域特征。在交叉注意力操作中，查詢來自混合模板和搜索區(qū)域，而鍵和值則來自所有四個(gè)組成部分：變化令牌、固有模板、混合模板和搜索區(qū)域。

為了更直觀地理解這一過程，可以將注意力輸出分解為多個(gè)部分。例如，混合模板的注意力輸出包含來自變化令牌、固有模板、混合模板自身和搜索區(qū)域的信息。這種綜合信息使得混合模板能夠捕獲目標(biāo)對象在第一幀和當(dāng)前幀中的外觀信息，使其對上下文外觀變化敏感。

變化令牌的設(shè)計(jì)巧妙地利用了混合模板的這一特性。具體來說，當(dāng)追蹤第t幀時(shí)，將第t-1幀的混合模板保留為變化令牌，以提供上下文外觀變化信息。這些變化令牌與當(dāng)前幀的特征一起輸入下一個(gè)編碼器，幫助網(wǎng)絡(luò)適應(yīng)目標(biāo)外觀的變化。

ROMTrack的訓(xùn)練過程包含兩個(gè)階段。在第一階段，按照主流追蹤器的標(biāo)準(zhǔn)訓(xùn)練方法，不使用變化令牌訓(xùn)練ROMTrack。在第二階段，通過在同一序列的連續(xù)幀中采樣兩個(gè)搜索區(qū)域來模擬它們之間的外觀變化，將變化令牌加入訓(xùn)練。這種雙階段訓(xùn)練策略確保了網(wǎng)絡(luò)能夠有效地學(xué)習(xí)和利用變化令牌。

相比現(xiàn)有方法，ROMTrack在多項(xiàng)基準(zhǔn)測試中展現(xiàn)出了卓越性能。例如，在GOT-10k測試中，ROMTrack的AO指標(biāo)達(dá)到72.9%，比SwinTrack-T-224高1.6%；在LaSOT測試中，AUC指標(biāo)達(dá)到69.3%，超過了OSTrack和MixFormer。這些結(jié)果證明了ROMTrack在區(qū)分和定位物體方面的卓越能力。更高分辨率的模型ROMTrack-384在所有測試基準(zhǔn)上都創(chuàng)造了新的最先進(jìn)性能，顯示了該方法在追蹤未見類別對象方面的潛力。

值得注意的是，ROMTrack在實(shí)時(shí)性能方面也表現(xiàn)出色。它可以以每秒60幀以上的速度運(yùn)行，與OSTrack-256相當(dāng)，同時(shí)比MixFormer快2.5倍。這一特點(diǎn)使得ROMTrack不僅在準(zhǔn)確性上領(lǐng)先，在實(shí)際應(yīng)用中也具有顯著優(yōu)勢。

實(shí)力證明

ROMTrack在多個(gè)權(quán)威基準(zhǔn)測試上的表現(xiàn)，為其設(shè)計(jì)理念提供了有力支撐。在GOT-10k測試集上，ROMTrack將AO（平均重疊）指標(biāo)提升至72.9%，比同類追蹤器SwinTrack-T-224高出1.6個(gè)百分點(diǎn)；在SR0.75（成功率0.75）指標(biāo)上達(dá)到70.2%，超過OSTrack-256整整2個(gè)百分點(diǎn)。這些數(shù)據(jù)表明，ROMTrack在精確區(qū)分和定位物體方面具有明顯優(yōu)勢。

更值得注意的是，ROMTrack-384（高分辨率版本）在GOT-10k測試集上創(chuàng)造了74.2%的AO成績，打破了之前的記錄。這種在未見類別對象追蹤中的卓越表現(xiàn)，證明了該框架具有極強(qiáng)的泛化能力。

在長期追蹤基準(zhǔn)LaSOT上，ROMTrack同樣表現(xiàn)不俗。它在AUC（曲線下面積）指標(biāo)上達(dá)到69.3%，超過了當(dāng)前主流的OSTrack和MixFormer追蹤器。而高分辨率版本ROMTrack-384更是將AUC提升至71.4%，創(chuàng)造了新的記錄。這意味著在長視頻序列中，ROMTrack能夠維持更穩(wěn)定的追蹤性能，不易受到遮擋、變形等因素的干擾。

在短期追蹤基準(zhǔn)TrackingNet上，ROMTrack的表現(xiàn)同樣令人印象深刻。它在AUC指標(biāo)上獲得83.6%的成績，在PNorm（歸一化精度）指標(biāo)上達(dá)到88.4%，顯著超越了之前的最佳成績。這證明ROMTrack不僅適用于長期追蹤場景，在短期追蹤任務(wù)中同樣表現(xiàn)優(yōu)異。

對抗相似干擾物體是追蹤器面臨的一大挑戰(zhàn)，LaSOText基準(zhǔn)正是為測試這一能力而設(shè)計(jì)的。在這一基準(zhǔn)上，ROMTrack的AUC達(dá)到48.9%，PNorm達(dá)到59.3%，比之前的最佳成績ToMP提高了1.2個(gè)百分點(diǎn)。這一結(jié)果表明，ROMTrack不僅能夠應(yīng)對未見類別的追蹤任務(wù)，還能有效區(qū)分相似的干擾物體。

在小規(guī)模基準(zhǔn)測試OTB100和NFS30上，ROMTrack同樣取得了優(yōu)異成績。在OTB100上，AUC達(dá)到71.4%；在NFS30上，AUC達(dá)到68.0%。這些結(jié)果進(jìn)一步證明了ROMTrack方法的通用性和有效性。

除了追蹤準(zhǔn)確性外，計(jì)算效率也是評估追蹤器的重要指標(biāo)。實(shí)驗(yàn)表明，ROMTrack能夠以每秒60幀以上的速度運(yùn)行，與OSTrack-256相當(dāng)，而且比MixFormer快2.5倍。高分辨率版本ROMTrack-384也能達(dá)到每秒28幀的速度，與OSTrack-384相當(dāng)，遠(yuǎn)快于MixFormer-L。值得一提的是，ROMTrack-384在性能上超越MixFormer-L，但只使用了后者61%的MAC（乘加計(jì)算量）和50%的參數(shù)量。這表明ROMTrack不僅追蹤精度高，計(jì)算效率也更優(yōu)。

深入分析發(fā)現(xiàn)，ROMTrack的成功關(guān)鍵在于其穩(wěn)健的對象建模方法。通過結(jié)合固有模板和混合模板的優(yōu)勢，ROMTrack能夠同時(shí)保持模板的純凈性和特征匹配能力。實(shí)驗(yàn)結(jié)果顯示，即使沒有變化令牌，僅有固有模板和混合模板的ROMTrack（稱為ROMTrack （w/o vt））也能在所有基準(zhǔn)測試中取得最佳成績，證明了穩(wěn)健對象建模方法的優(yōu)越性。

變化令牌的引入進(jìn)一步提升了ROMTrack的性能。實(shí)驗(yàn)表明，相比直接使用上一幀預(yù)測結(jié)果提取的模板特征（稱為ROMTrack-lpr），變化令牌能夠更好地模擬目標(biāo)外觀變化，從而提高追蹤精度。在LaSOT基準(zhǔn)上，ROMTrack比ROMTrack （w/o vt）的AUC高0.5個(gè)百分點(diǎn)；在LaSOText基準(zhǔn)上，提高了0.7個(gè)百分點(diǎn)。這表明變化令牌設(shè)計(jì)確實(shí)能夠通過提示網(wǎng)絡(luò)調(diào)整目標(biāo)物體的外觀建模來提高追蹤性能。

實(shí)驗(yàn)還探索了樣本采樣策略對訓(xùn)練效果的影響。結(jié)果顯示，連續(xù)采樣策略（即從同一視頻序列中采樣兩個(gè)連續(xù)幀作為搜索區(qū)域）比隨機(jī)采樣策略（從同一視頻序列中隨機(jī)采樣兩幀）效果更好。這是因?yàn)檫B續(xù)采樣能夠幫助模型更好地學(xué)習(xí)物體外觀的時(shí)間變化特性。

可視化分析進(jìn)一步揭示了ROMTrack的工作原理。通過觀察不同塊之后的注意力圖和特征，可以發(fā)現(xiàn)搜索區(qū)域中的目標(biāo)物體通過與兩個(gè)模板流和變化令牌的交互，逐層增強(qiáng)其特征。背景中可能的干擾物體被有效抑制，表明ROMTrack方法的魯棒性。相比之下，普通的混合模板建模（HTM）和分離模板建模（STM）方法在區(qū)分干擾物體和目標(biāo)物體時(shí)存在困難，而ROMTrack能夠更準(zhǔn)確地定位目標(biāo)。

未來可期

ROMTrack的優(yōu)異表現(xiàn)和創(chuàng)新設(shè)計(jì)不僅在當(dāng)前視覺追蹤領(lǐng)域取得了突破，也為未來的技術(shù)發(fā)展指明了方向。在實(shí)際應(yīng)用方面，ROMTrack框架表現(xiàn)出的高精度和實(shí)時(shí)性能，使其有望在多個(gè)領(lǐng)域發(fā)揮重要作用。

在視頻監(jiān)控系統(tǒng)中，ROMTrack可以實(shí)現(xiàn)更精確的人員和車輛追蹤。傳統(tǒng)的監(jiān)控系統(tǒng)在處理遮擋、人群密集或光照變化等情況時(shí)常常失效，而ROMTrack的穩(wěn)健對象建模能力能夠有效應(yīng)對這些挑戰(zhàn)。例如，在商場、機(jī)場等人流密集場所，ROMTrack可以持續(xù)追蹤特定人員，即使他們暫時(shí)被其他人遮擋或改變外觀（如脫下外套）。

自動(dòng)駕駛領(lǐng)域也是ROMTrack的潛在應(yīng)用方向。準(zhǔn)確追蹤周圍的車輛、行人和其他道路使用者對自動(dòng)駕駛系統(tǒng)至關(guān)重要。ROMTrack的高精度和實(shí)時(shí)性能使其能夠滿足自動(dòng)駕駛的嚴(yán)格要求，特別是在復(fù)雜交通環(huán)境中區(qū)分相似外觀的車輛或行人。

在體育分析領(lǐng)域，ROMTrack可以用于球員和球的追蹤，幫助教練和分析師獲取更精確的運(yùn)動(dòng)數(shù)據(jù)。例如，在足球比賽中，即使球員在場上頻繁交叉移動(dòng)，ROMTrack也能保持對特定球員的穩(wěn)定追蹤。

影視制作中的動(dòng)作捕捉和特效合成也可能受益于ROMTrack的高精度追蹤能力。傳統(tǒng)的動(dòng)作捕捉系統(tǒng)往往需要演員穿戴特殊標(biāo)記，而基于ROMTrack的系統(tǒng)可能實(shí)現(xiàn)無標(biāo)記追蹤，大幅提高拍攝效率和演員舒適度。

除了直接應(yīng)用，ROMTrack中的變化令牌設(shè)計(jì)也為其他計(jì)算機(jī)視覺任務(wù)提供了啟示。變化令牌成功地將時(shí)序信息嵌入到空間特征學(xué)習(xí)中，這一思路可以擴(kuò)展到視頻分類、動(dòng)作識別等需要理解時(shí)序變化的任務(wù)。

ROMTrack的穩(wěn)健對象建模方法也可以進(jìn)一步拓展。一個(gè)可能的方向是將模板更新策略與變化令牌設(shè)計(jì)結(jié)合。研究表明，結(jié)合兩者可以進(jìn)一步提升性能，如在LaSOT基準(zhǔn)上將AUC提高到69.6%。這表明，變化令牌與模板更新策略是互補(bǔ)的，未來的研究可以探索更優(yōu)的結(jié)合方式。

多目標(biāo)追蹤是另一個(gè)值得探索的方向。當(dāng)前的ROMTrack主要針對單目標(biāo)追蹤任務(wù)，但其穩(wěn)健的對象建?？蚣苡袧摿U(kuò)展到多目標(biāo)場景。在多目標(biāo)追蹤中，不同目標(biāo)之間的區(qū)分和身份保持是主要挑戰(zhàn)，ROMTrack的固有模板和變化令牌設(shè)計(jì)可能有助于解決這些問題。

盡管ROMTrack在多個(gè)基準(zhǔn)測試上取得了優(yōu)異成績，但視覺追蹤技術(shù)仍面臨諸多挑戰(zhàn)。極端光照變化、長時(shí)間遮擋、突發(fā)運(yùn)動(dòng)等情況依然是追蹤難題。未來的研究可以探索將ROMTrack與其他技術(shù)（如物理運(yùn)動(dòng)模型、深度信息）結(jié)合，以應(yīng)對這些挑戰(zhàn)。

變化令牌的設(shè)計(jì)也有進(jìn)一步優(yōu)化空間。當(dāng)前的實(shí)現(xiàn)使用前一幀的混合模板作為變化令牌，未來可以探索利用多幀信息或自適應(yīng)選擇關(guān)鍵幀作為變化令牌的來源，以更好地捕捉目標(biāo)外觀的動(dòng)態(tài)變化。

隨著計(jì)算資源的提升和數(shù)據(jù)集規(guī)模的擴(kuò)大，未來的視覺追蹤技術(shù)可能會(huì)朝著更大規(guī)模、更復(fù)雜的模型方向發(fā)展。ROMTrack已經(jīng)證明，通過精心設(shè)計(jì)的架構(gòu)，可以在不大幅增加計(jì)算量的情況下顯著提升性能。這一設(shè)計(jì)思路將繼續(xù)指導(dǎo)未來追蹤技術(shù)的發(fā)展。

總的來說，ROMTrack不僅是當(dāng)前視覺追蹤技術(shù)的一次重要進(jìn)步，也為未來的研究和應(yīng)用指明了方向。它的成功表明，通過深入理解任務(wù)本質(zhì)和創(chuàng)新設(shè)計(jì)，可以有效解決計(jì)算機(jī)視覺中的復(fù)雜問題。

參考資料

1. Cai， Y.， Liu， J.， Tang， J.， &； Wu， G. （2023）. Robust Object Modeling for Visual Tracking. ICCV 2023.

2. Chen， Z.， Zhong， B.， Li， G.， Zhang， S.， &； Ji， R. （2022）. Visual Tracking via Hierarchical Deep Reinforcement Learning. CVPR 2022.

3. Wang， N.， Zhou， W.， Wang， J.， &； Li， H. （2021）. Transformer Meets Tracker: Exploiting Temporal Context for Robust Visual Tracking. CVPR 2021.

4. Yan， B.， Peng， H.， Fu， J.， Wang， D.， &； Lu， H. （2021）. Learning Spatio-Temporal Transformer for Visual Tracking. ICCV 2021.