在人工智能視覺理解的世界里，就像考試一樣，有些題目看起來很難，但實(shí)際上有很多"投機(jī)取巧"的方法可以拿到高分。東北大學(xué)的研究團(tuán)隊(duì)最近發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：當(dāng)前最先進(jìn)的多模態(tài)大語言模型在經(jīng)典的視覺理解任務(wù)上表現(xiàn)優(yōu)異，但實(shí)際上可能并沒有我們想象的那么"聰明"。

這項(xiàng)由東北大學(xué)領(lǐng)導(dǎo)的研究發(fā)表于2026年的ICLR會(huì)議（國際學(xué)習(xí)表征會(huì)議），論文編號(hào)為arXiv:2602.23898v1。研究團(tuán)隊(duì)針對(duì)指代表達(dá)理解任務(wù)（Referring Expression Comprehension，簡稱REC）提出了全新的評(píng)測基準(zhǔn)Ref-Adv，揭示了當(dāng)前AI模型在視覺推理方面的真實(shí)水平。

想象一下這樣的情景：老師給學(xué)生出了一道數(shù)學(xué)題"找出圖中穿紅衣服的人"，學(xué)生看了一眼發(fā)現(xiàn)圖里只有一個(gè)人穿紅衣服，于是輕松答對(duì)了。但如果圖里有三個(gè)穿紅衣服的人，題目變成"找出穿紅衣服、戴帽子、站在左邊的那個(gè)人"，學(xué)生就需要真正理解每個(gè)描述詞的含義，并在圖中仔細(xì)尋找符合所有條件的目標(biāo)。這就是研究團(tuán)隊(duì)想要解決的核心問題。

傳統(tǒng)的REC評(píng)測基準(zhǔn)，比如RefCOCO系列，就像是前面提到的簡單數(shù)學(xué)題。這些數(shù)據(jù)集中的描述通常很短，平均只有3個(gè)詞，而且圖片中往往只有很少的"干擾項(xiàng)"（也就是同類但不同的對(duì)象）。結(jié)果就是，AI模型可以不需要真正理解整個(gè)描述的含義，只要抓住一兩個(gè)關(guān)鍵詞就能找到正確答案。這就好比學(xué)生做選擇題時(shí)，不需要完全理解題目，只要找到關(guān)鍵信息就能蒙對(duì)答案。

研究團(tuán)隊(duì)通過深入分析發(fā)現(xiàn)了三個(gè)主要問題。首先是描述過于簡短，缺乏足夠的推理挑戰(zhàn)。其次是圖像中缺少足夠的干擾對(duì)象，讓任務(wù)變得過于簡單。最重要的是存在"捷徑解決方案"的問題：當(dāng)一個(gè)長描述包含很多修飾詞時(shí)，如果圖中只有少數(shù)幾個(gè)候選對(duì)象，模型往往只需要匹配部分描述就能找到正確答案，而不需要理解整個(gè)表達(dá)的完整含義。

為了解決這些問題，研究團(tuán)隊(duì)開發(fā)了Ref-Adv數(shù)據(jù)集。這個(gè)數(shù)據(jù)集的設(shè)計(jì)理念就像是為AI模型量身定制的"高考試卷"，確保每道題都需要真正的理解和推理能力才能解答。他們采用了一套精心設(shè)計(jì)的數(shù)據(jù)收集策略，使用大語言模型輔助生成，再通過人工驗(yàn)證確保質(zhì)量。

整個(gè)數(shù)據(jù)收集過程就像是一個(gè)精密的工廠流水線。首先，研究團(tuán)隊(duì)篩選出包含至少3個(gè)同類候選對(duì)象的圖像，確保有足夠的"干擾項(xiàng)"。然后，他們使用GPT-4o來識(shí)別圖像中最相似的對(duì)象對(duì)，并生成用于區(qū)分這些對(duì)象的描述詞。這個(gè)過程分為兩個(gè)步驟：先識(shí)別哪些對(duì)象最相似（容易混淆），然后生成既能區(qū)分相似對(duì)象，又能將它們與其他對(duì)象區(qū)別開來的精確描述。

比如，在一張包含多個(gè)人的照片中，如果有兩個(gè)人都穿著深色衣服站得很近（這就是"相似對(duì)象對(duì)"），系統(tǒng)會(huì)先識(shí)別出這種相似性，然后生成類似"穿深色衣服但戴著太陽鏡的人"這樣的描述，既要和另一個(gè)穿深色衣服的人區(qū)分開，也要和其他人區(qū)分開。

研究團(tuán)隊(duì)還采用了一個(gè)巧妙的兩階段生成策略。他們發(fā)現(xiàn)，如果直接讓AI生成完整的描述，往往會(huì)產(chǎn)生冗余的修飾詞，這又會(huì)回到"捷徑解決"的老問題。因此，他們先讓AI識(shí)別關(guān)鍵的區(qū)分屬性，再基于這些屬性組合生成最簡潔但充分的描述。這就像是先列出做菜的必需食材，再按照食譜步驟來烹飪，而不是一開始就把所有能想到的調(diào)料都加進(jìn)去。

為了確保數(shù)據(jù)質(zhì)量，每個(gè)生成的描述都要經(jīng)過三位人工標(biāo)注者的驗(yàn)證。他們需要確認(rèn)兩個(gè)關(guān)鍵問題：描述是否準(zhǔn)確無歧義，以及圖像中是否真的存在"困難干擾項(xiàng)"（即那些部分符合描述但不完全匹配的對(duì)象）。只有三位標(biāo)注者都同意的情況下，這個(gè)樣本才會(huì)被保留。最終的保留率只有18.7%，這說明生成高質(zhì)量的推理樣本確實(shí)很有挑戰(zhàn)性。

最終的Ref-Adv數(shù)據(jù)集展現(xiàn)出了明顯優(yōu)于傳統(tǒng)數(shù)據(jù)集的特征。描述的平均長度達(dá)到11.5個(gè)詞，相比RefCOCO的3.6個(gè)詞有了大幅提升。更重要的是，數(shù)據(jù)集中21.25%的描述使用了否定表達(dá)（比如"不是那個(gè)戴帽子的人"），這在傳統(tǒng)數(shù)據(jù)集中只有不到4%。這種否定表達(dá)特別考驗(yàn)?zāi)Ｐ偷睦斫饽芰?，因?yàn)樗枰Ｐ筒粌H要識(shí)別某個(gè)屬性，還要理解"不具備"這個(gè)屬性的邏輯含義。

為了驗(yàn)證Ref-Adv數(shù)據(jù)集的有效性，研究團(tuán)隊(duì)設(shè)計(jì)了幾個(gè)巧妙的測試。第一個(gè)測試叫做"詞序打亂測試"，就像把一個(gè)句子的詞語順序完全打亂，看模型還能不能理解。結(jié)果顯示，在傳統(tǒng)數(shù)據(jù)集上，即使詞序被打亂，模型的表現(xiàn)下降也不大，說明它們主要依賴關(guān)鍵詞匹配而非真正的語言理解。但在Ref-Adv上，詞序打亂后模型表現(xiàn)大幅下降，證明這個(gè)數(shù)據(jù)集確實(shí)需要真正的語言理解能力。

第二個(gè)測試叫做"描述詞刪除測試"，研究團(tuán)隊(duì)隨機(jī)刪除描述中的一個(gè)修飾詞，看模型表現(xiàn)是否會(huì)下降。如果刪除一個(gè)詞后表現(xiàn)不變，說明這個(gè)詞是"冗余"的，模型可以走"捷徑"。結(jié)果顯示，傳統(tǒng)數(shù)據(jù)集中確實(shí)存在很多這樣的冗余描述，而Ref-Adv中的每個(gè)描述詞都是必需的，刪除任何一個(gè)都會(huì)影響模型表現(xiàn)。

研究團(tuán)隊(duì)還進(jìn)行了一個(gè)"偏見測試"，用固定的提示"the one"替換所有的具體描述，測試模型是否能僅憑圖像就找到目標(biāo)。這個(gè)測試旨在檢測數(shù)據(jù)集中是否存在統(tǒng)計(jì)偏見。結(jié)果顯示，傳統(tǒng)數(shù)據(jù)集在這個(gè)測試中的表現(xiàn)明顯好于Ref-Adv，說明Ref-Adv更少受到這類偏見的影響。

當(dāng)研究團(tuán)隊(duì)用Ref-Adv來評(píng)測當(dāng)前最先進(jìn)的13個(gè)多模態(tài)大語言模型時(shí)，結(jié)果令人驚訝。這些在RefCOCO系列上能達(dá)到90%以上準(zhǔn)確率的"學(xué)霸"模型，在Ref-Adv上的表現(xiàn)普遍下降了30-40個(gè)百分點(diǎn)。就連表現(xiàn)最好的GPT-4o，在使用了思維鏈推理的情況下，準(zhǔn)確率也只有63.7%，遠(yuǎn)低于它在傳統(tǒng)數(shù)據(jù)集上的表現(xiàn)。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)思維鏈推理（Chain-of-Thought，CoT）這種讓模型"說出推理過程"的方法，在Ref-Adv上比傳統(tǒng)數(shù)據(jù)集更有效。這進(jìn)一步證明了Ref-Adv確實(shí)需要更多的推理步驟。在傳統(tǒng)的簡單任務(wù)中，額外的推理步驟可能反而是累贅，但在復(fù)雜的推理任務(wù)中，這種step-by-step的思考方式就顯得尤為重要。

通過對(duì)不同干擾項(xiàng)數(shù)量的分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：隨著同類干擾對(duì)象數(shù)量的增加，所有模型的表現(xiàn)都會(huì)下降，但下降程度各不相同。當(dāng)干擾項(xiàng)數(shù)量達(dá)到7個(gè)或更多時(shí)，即使是最先進(jìn)的模型也顯得力不從心。這就像在人群中找人一樣，目標(biāo)人群越大，找到特定個(gè)體就越困難。

從不同模型的表現(xiàn)分析中，研究團(tuán)隊(duì)發(fā)現(xiàn)了幾個(gè)有趣的規(guī)律。首先，模型規(guī)模的增大確實(shí)能帶來性能提升，但這種提升在Ref-Adv上比在傳統(tǒng)數(shù)據(jù)集上更明顯，說明復(fù)雜推理任務(wù)對(duì)模型能力的要求更高。其次，一些專門針對(duì)視覺推理優(yōu)化的模型（如使用thinking模式的模型）在Ref-Adv上表現(xiàn)更好，這驗(yàn)證了專門的推理訓(xùn)練對(duì)處理復(fù)雜視覺語言任務(wù)的重要性。

研究團(tuán)隊(duì)還觀察到一個(gè)有趣的現(xiàn)象：很多模型在失敗時(shí)，往往會(huì)選擇"困難干擾項(xiàng)"作為答案，而不是完全無關(guān)的對(duì)象。這說明模型確實(shí)在進(jìn)行某種程度的理解和匹配，但在精確區(qū)分相似對(duì)象方面還有欠缺。這就像學(xué)生在考試時(shí)，即使答錯(cuò)了也通常是選擇了看起來相關(guān)的錯(cuò)誤選項(xiàng)，而不是完全無關(guān)的選項(xiàng)。

為了促進(jìn)研究社區(qū)的發(fā)展，研究團(tuán)隊(duì)公開發(fā)布了Ref-Adv-s，這是一個(gè)包含1,142個(gè)樣本的精選子集，配備了完整的評(píng)測代碼。他們還詳細(xì)記錄了數(shù)據(jù)收集過程中使用的所有提示模板和驗(yàn)證協(xié)議，確保其他研究者能夠復(fù)現(xiàn)和擴(kuò)展這項(xiàng)工作。

這項(xiàng)研究的意義遠(yuǎn)不止于提出一個(gè)新的評(píng)測數(shù)據(jù)集。它揭示了當(dāng)前AI視覺理解能力評(píng)估中存在的系統(tǒng)性問題，并為未來的研究指出了方向。正如研究團(tuán)隊(duì)在論文中所說，隨著多模態(tài)大語言模型能力的快速發(fā)展，我們需要更具挑戰(zhàn)性的評(píng)測基準(zhǔn)來真正衡量它們的推理能力，而不是讓它們?cè)?取巧"中獲得虛高的分?jǐn)?shù)。

研究結(jié)果還暗示了AI模型訓(xùn)練中的一個(gè)重要問題：如何平衡數(shù)據(jù)的多樣性和質(zhì)量。傳統(tǒng)的大規(guī)模訓(xùn)練數(shù)據(jù)雖然量大，但可能包含太多可以通過簡單模式匹配解決的樣本，這可能限制了模型真正推理能力的發(fā)展。Ref-Adv的設(shè)計(jì)理念提醒我們，在追求更好的AI系統(tǒng)時(shí)，質(zhì)量比數(shù)量更重要。

通過定性分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了模型失敗的幾種典型模式。有些模型在理解復(fù)合描述時(shí)會(huì)"顧此失彼"，能正確識(shí)別某個(gè)屬性但忽略另一個(gè)同樣重要的屬性。有些模型則在處理否定表達(dá)時(shí)出現(xiàn)困難，比如對(duì)"不戴帽子的人"這樣的描述理解不準(zhǔn)確。還有一些模型在空間關(guān)系理解上存在問題，對(duì)"左邊的"、"背景中的"這樣的空間描述詞處理不當(dāng)。

這些發(fā)現(xiàn)為改進(jìn)AI模型提供了具體的方向。研究團(tuán)隊(duì)建議，未來的模型訓(xùn)練應(yīng)該更多地關(guān)注復(fù)合屬性理解、否定邏輯推理和精確的空間關(guān)系建模。他們還建議在模型評(píng)測中更多地采用需要多步推理的任務(wù)，而不是僅僅依賴單步的模式匹配。

值得注意的是，研究團(tuán)隊(duì)在數(shù)據(jù)收集過程中還探索了人工標(biāo)注和AI輔助生成的結(jié)合方式。他們發(fā)現(xiàn)，純粹的AI生成往往會(huì)產(chǎn)生過于冗長或不自然的描述，而純粹的人工標(biāo)注則成本過高且難以大規(guī)模進(jìn)行。通過AI輔助生成加上嚴(yán)格的人工驗(yàn)證，他們找到了一個(gè)在質(zhì)量、成本和規(guī)模之間的良好平衡點(diǎn)。

這項(xiàng)研究也展現(xiàn)了跨學(xué)科合作的價(jià)值。數(shù)據(jù)集的構(gòu)建不僅需要計(jì)算機(jī)視覺和自然語言處理的專業(yè)知識(shí)，還需要認(rèn)知科學(xué)和心理學(xué)的見解來理解人類是如何進(jìn)行視覺推理的。研究團(tuán)隊(duì)在設(shè)計(jì)"困難干擾項(xiàng)"時(shí)，就借鑒了人類視覺注意和對(duì)象識(shí)別的認(rèn)知機(jī)制。

從更廣闊的視角來看，Ref-Adv的提出反映了AI研究中一個(gè)重要的發(fā)展趨勢：從追求單一指標(biāo)的優(yōu)化轉(zhuǎn)向更全面、更深入的能力評(píng)估。這種轉(zhuǎn)變對(duì)于構(gòu)建真正智能的AI系統(tǒng)至關(guān)重要。畢竟，在現(xiàn)實(shí)世界中，AI系統(tǒng)需要處理的往往是復(fù)雜、模糊、需要多步推理的任務(wù)，而不是可以通過簡單模式匹配解決的問題。

研究團(tuán)隊(duì)在論文中坦誠地討論了Ref-Adv的局限性。比如，當(dāng)前的數(shù)據(jù)集主要關(guān)注靜態(tài)圖像中的對(duì)象識(shí)別，未來可能需要擴(kuò)展到動(dòng)態(tài)場景或更復(fù)雜的視覺推理任務(wù)。他們也承認(rèn)，即使是Ref-Adv也可能隨著AI技術(shù)的發(fā)展而變得"過時(shí)"，需要持續(xù)的更新和改進(jìn)。

這種對(duì)局限性的坦誠認(rèn)識(shí)，恰恰體現(xiàn)了優(yōu)秀科研工作的特質(zhì)。研究的價(jià)值不僅在于解決當(dāng)前的問題，更在于為未來的研究奠定基礎(chǔ)，指出新的方向。Ref-Adv的提出，就像是在AI視覺理解的發(fā)展道路上設(shè)立了一個(gè)新的里程碑，既標(biāo)記了當(dāng)前的位置，也指向了前進(jìn)的方向。

說到底，這項(xiàng)研究提醒我們，在AI技術(shù)快速發(fā)展的今天，我們需要更加審慎地評(píng)估AI系統(tǒng)的真實(shí)能力。表面上的高分?jǐn)?shù)可能掩蓋了深層的能力缺陷，而只有通過更嚴(yán)格、更全面的評(píng)測，我們才能真正了解AI系統(tǒng)的優(yōu)勢和不足，從而指導(dǎo)未來的技術(shù)發(fā)展。

歸根結(jié)底，Ref-Adv不僅僅是一個(gè)新的數(shù)據(jù)集，更是一面鏡子，讓我們更清楚地看到當(dāng)前AI視覺理解技術(shù)的真實(shí)面貌。它告訴我們，在通向真正智能AI的路上，我們還有很長的路要走，但這正是科研的魅力所在——不斷發(fā)現(xiàn)問題，不斷尋求突破，不斷向著更高的目標(biāo)前進(jìn)。對(duì)于有興趣深入了解這項(xiàng)研究的讀者，可以通過論文編號(hào)arXiv:2602.23898v1查詢完整論文內(nèi)容。

Q&A

Q1：Ref-Adv數(shù)據(jù)集與傳統(tǒng)RefCOCO數(shù)據(jù)集有什么本質(zhì)區(qū)別？

A：傳統(tǒng)RefCOCO數(shù)據(jù)集就像簡單的找茬游戲，描述很短（平均3個(gè)詞），圖像中干擾對(duì)象很少，AI模型可以通過簡單的關(guān)鍵詞匹配就找到答案。而Ref-Adv數(shù)據(jù)集更像復(fù)雜的推理題，描述更長（平均11.5個(gè)詞），包含更多同類干擾對(duì)象，需要模型真正理解整個(gè)描述的含義并進(jìn)行多步推理才能找到正確答案。

Q2：為什么當(dāng)前最先進(jìn)的AI模型在Ref-Adv上表現(xiàn)會(huì)大幅下降？

A：這些模型在傳統(tǒng)數(shù)據(jù)集上能達(dá)到90%以上準(zhǔn)確率，但在Ref-Adv上普遍下降30-40個(gè)百分點(diǎn)，主要是因?yàn)樗鼈冎耙蕾嚨?捷徑解決方案"不再有效。面對(duì)復(fù)雜的推理任務(wù)，模型需要真正理解語言描述的完整含義，識(shí)別多個(gè)屬性，并在眾多相似對(duì)象中進(jìn)行精確區(qū)分，這暴露了當(dāng)前AI在真正推理能力方面的不足。

Q3：Ref-Adv數(shù)據(jù)集對(duì)AI技術(shù)發(fā)展有什么實(shí)際意義？

A：Ref-Adv就像是給AI模型設(shè)計(jì)的"高考試卷"，能夠更準(zhǔn)確地評(píng)估AI的真實(shí)推理能力，避免虛高的評(píng)分。它為AI研究指出了幾個(gè)關(guān)鍵改進(jìn)方向：加強(qiáng)復(fù)合屬性理解、改進(jìn)否定邏輯推理、提升空間關(guān)系建模能力。這將推動(dòng)開發(fā)更智能的AI系統(tǒng)，讓它們能夠處理現(xiàn)實(shí)世界中更復(fù)雜的視覺理解任務(wù)。