在人工智能快速發(fā)展的今天，一個(gè)有趣的現(xiàn)象正在引起研究者的注意：當(dāng)我們給AI配備了各種"工具"來幫助它處理圖像和視頻時(shí)，它卻像一個(gè)過度勤奮的學(xué)生，即使面對(duì)簡單問題也要使用復(fù)雜工具，反而降低了效率。這種現(xiàn)象就像讓一個(gè)人用顯微鏡去看報(bào)紙上的大字標(biāo)題一樣，工具雖然強(qiáng)大，但用錯(cuò)了場合就會(huì)適得其反。

針對(duì)這個(gè)問題，香港中文大學(xué)MMlab實(shí)驗(yàn)室的王超陽、馮凱拓等研究團(tuán)隊(duì)最近發(fā)表了一項(xiàng)突破性研究，題為《AdaTooler-V: Adaptive Tool-Use for Images and Videos》。這項(xiàng)研究發(fā)表于2025年，有興趣深入了解的讀者可以通過arXiv:2512.16918查詢完整論文。研究團(tuán)隊(duì)還包括來自清華大學(xué)、上海交通大學(xué)、中佛羅里達(dá)大學(xué)等多所知名院校的研究者，可以說是一次真正的國際合作成果。

王超陽團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)關(guān)鍵問題：現(xiàn)有的多模態(tài)大語言模型雖然能夠使用視覺工具來分析圖像和視頻，但它們就像一個(gè)剛學(xué)會(huì)使用工具箱的新手，不管修什么都要把所有工具都用一遍。這種"盲目工具使用"不僅浪費(fèi)計(jì)算資源，還經(jīng)常把原本簡單的問題復(fù)雜化，導(dǎo)致最終答案反而不如直接思考得出的結(jié)果準(zhǔn)確。

研究團(tuán)隊(duì)提出的AdaTooler-V模型就像一個(gè)經(jīng)驗(yàn)豐富的工匠，它能夠先觀察問題，判斷是否真的需要使用工具，然后做出明智的選擇。這種"適應(yīng)性工具使用"能力讓AI既能在需要時(shí)充分利用工具的優(yōu)勢(shì)，又能在不需要時(shí)保持簡潔高效。

一、問題的核心：當(dāng)AI遇上工具成癮癥

在日常生活中，我們都見過這樣的情況：有些人一旦學(xué)會(huì)使用某個(gè)工具，就會(huì)在任何場合都想用上它。比如一個(gè)剛買了電鉆的人，可能會(huì)試圖用電鉆來開罐頭、切菜甚至寫字。這種現(xiàn)象在AI領(lǐng)域同樣存在，而且更加普遍。

當(dāng)前的多模態(tài)AI模型在處理視覺問題時(shí)，普遍采用一種叫做"多模態(tài)交錯(cuò)思維鏈"的方法。這種方法本來是個(gè)好主意，就像讓AI在思考過程中可以隨時(shí)調(diào)用放大鏡、望遠(yuǎn)鏡等工具來獲得更清晰的視覺信息。但問題在于，現(xiàn)在的AI模型就像一個(gè)過度興奮的偵探，即使面對(duì)最簡單的案件也要?jiǎng)佑盟懈呖萍荚O(shè)備。

研究團(tuán)隊(duì)通過大量實(shí)驗(yàn)發(fā)現(xiàn)，許多視覺推理任務(wù)其實(shí)可以通過純文本推理就能很好地解決。比如看到兩個(gè)時(shí)鐘求時(shí)間差，或者回答圖片中物體的顏色這類問題，AI完全可以通過直接觀察和思考得出答案，不需要使用裁剪、放大等視覺工具。但現(xiàn)有模型往往會(huì)"畫蛇添足"，先裁剪圖像，再放大細(xì)節(jié)，然后還要提取關(guān)鍵區(qū)域，最后才給出答案。這種做法不僅浪費(fèi)時(shí)間和計(jì)算資源，還容易因?yàn)檫^度處理而偏離正確答案。

更嚴(yán)重的是，這種盲目的工具使用會(huì)導(dǎo)致AI產(chǎn)生"過度思考"的毛病。就像一個(gè)學(xué)生做簡單的加法題時(shí)，卻要用上微積分公式一樣，不僅沒必要，還容易出錯(cuò)。研究表明，頻繁而無必要的工具調(diào)用會(huì)削弱模型對(duì)原始視覺輸入的注意力，讓它反而忽略了最重要的視覺線索。

二、AdaTooler-V的智慧選擇策略

面對(duì)這個(gè)普遍存在的問題，研究團(tuán)隊(duì)開發(fā)的AdaTooler-V就像一位經(jīng)驗(yàn)豐富的醫(yī)生，它會(huì)先進(jìn)行初步診斷，判斷病情的復(fù)雜程度，然后決定是用聽診器就夠了，還是需要?jiǎng)佑肅T掃描等更復(fù)雜的檢查手段。

AdaTooler-V的核心創(chuàng)新在于一個(gè)叫做"自適應(yīng)工具使用強(qiáng)化學(xué)習(xí)算法"（AT-GRPO）的機(jī)制。這個(gè)算法的巧妙之處在于，它為每個(gè)問題計(jì)算了一個(gè)"工具受益分?jǐn)?shù)"，就像給每道菜評(píng)估是否需要特殊廚具一樣。如果一道簡單的炒蛋用平底鍋就能做好，那就不需要?jiǎng)佑脧?fù)雜的多功能料理機(jī)。

具體來說，這個(gè)工具受益分?jǐn)?shù)是通過比較"使用工具"和"不使用工具"兩種情況下的準(zhǔn)確率差異來計(jì)算的。如果使用工具后準(zhǔn)確率明顯提升，分?jǐn)?shù)就是正數(shù)，表示工具確實(shí)有幫助；如果準(zhǔn)確率沒有提升甚至下降，分?jǐn)?shù)就是負(fù)數(shù)，表示工具使用是多余的。

基于這個(gè)分?jǐn)?shù)，AT-GRPO算法會(huì)動(dòng)態(tài)調(diào)整獎(jiǎng)勵(lì)機(jī)制。當(dāng)面對(duì)確實(shí)需要工具幫助的復(fù)雜問題時(shí)，算法會(huì)獎(jiǎng)勵(lì)模型使用工具；當(dāng)面對(duì)簡單問題時(shí)，算法會(huì)懲罰不必要的工具使用，鼓勵(lì)模型直接給出答案。這就像訓(xùn)練一個(gè)助手，讓它知道什么時(shí)候該拿放大鏡，什么時(shí)候用肉眼就夠了。

更巧妙的是，算法還考慮了工具使用頻率的影響。即使在需要工具的情況下，如果使用過于頻繁，獎(jiǎng)勵(lì)也會(huì)逐漸減少。這種設(shè)計(jì)防止了模型陷入"工具依賴癥"，確保它始終保持適度和高效。

三、兩階段訓(xùn)練：從學(xué)徒到大師的成長之路

要培養(yǎng)出一個(gè)既會(huì)使用工具又不濫用工具的AI，需要一個(gè)精心設(shè)計(jì)的訓(xùn)練過程。研究團(tuán)隊(duì)采用了兩階段訓(xùn)練策略，就像培養(yǎng)一個(gè)工匠學(xué)徒的傳統(tǒng)方式。

第一階段是"有監(jiān)督精調(diào)"，就像讓學(xué)徒跟著師父學(xué)習(xí)基本技能。研究團(tuán)隊(duì)構(gòu)建了一個(gè)包含10萬個(gè)樣本的數(shù)據(jù)集AdaTooler-V-CoT-100k，這些樣本就像師父親自演示的操作手冊(cè)，展示了在不同情況下應(yīng)該如何使用工具。這個(gè)階段的目標(biāo)是讓模型掌握基本的工具使用方法，建立起多模態(tài)推理的基礎(chǔ)能力。

第二階段是"強(qiáng)化學(xué)習(xí)優(yōu)化"，就像讓學(xué)徒在實(shí)踐中磨練技藝，逐漸形成自己的判斷能力。這個(gè)階段使用了一個(gè)更大的數(shù)據(jù)集AdaTooler-V-300k，包含30萬個(gè)涵蓋單圖像、多圖像和視頻的樣本。通過AT-GRPO算法，模型在這個(gè)階段學(xué)會(huì)了自主判斷何時(shí)需要使用工具，何時(shí)應(yīng)該直接給出答案。

這種兩階段訓(xùn)練就像學(xué)開車：先在駕校練習(xí)基本操作，掌握油門、剎車、方向盤的使用方法；然后在實(shí)際道路上行駛，學(xué)會(huì)根據(jù)路況判斷何時(shí)該減速，何時(shí)該變道。經(jīng)過這樣的訓(xùn)練，AdaTooler-V不僅掌握了工具的使用技巧，更重要的是培養(yǎng)了使用工具的智慧。

數(shù)據(jù)集的構(gòu)建也頗具匠心。研究團(tuán)隊(duì)精心平衡了不同類型任務(wù)的比例，包括數(shù)學(xué)推理、空間理解、邏輯推理、視覺計(jì)數(shù)等多個(gè)方面。這種多樣性確保了模型能夠在各種不同的場景下都表現(xiàn)出適應(yīng)性。同時(shí)，他們還特別注意了單圖像、多圖像和視頻任務(wù)的平衡，讓模型既能處理靜態(tài)視覺內(nèi)容，也能理解動(dòng)態(tài)的時(shí)序信息。

四、工具箱里的四把利器

AdaTooler-V配備的工具箱雖然不大，但每一件都是精心挑選的實(shí)用工具，就像一個(gè)專業(yè)攝影師的相機(jī)包，里面的每個(gè)鏡頭都有其獨(dú)特的用途。

第一個(gè)工具是"圖像裁剪"，就像一把精確的剪刀，能夠從完整圖像中切出感興趣的區(qū)域進(jìn)行放大觀察。當(dāng)模型需要仔細(xì)查看圖像中的某個(gè)小細(xì)節(jié)時(shí)，比如識(shí)別遠(yuǎn)處的文字或觀察物體的紋理特征，這個(gè)工具就發(fā)揮作用了。它相當(dāng)于給AI配備了一個(gè)可調(diào)節(jié)的放大鏡。

第二個(gè)工具是"視頻幀提取"，能夠從連續(xù)的視頻流中抓取特定時(shí)刻的靜態(tài)畫面。這就像按下相機(jī)的快門，在關(guān)鍵時(shí)刻定格畫面進(jìn)行仔細(xì)分析。當(dāng)需要分析視頻中某個(gè)特定動(dòng)作或狀態(tài)時(shí)，這個(gè)工具能夠提供清晰的靜態(tài)視圖。

第三個(gè)工具是"視頻片段截取"，可以從長視頻中提取指定時(shí)間段的內(nèi)容。這相當(dāng)于一個(gè)智能的視頻編輯器，能夠幫助模型專注于最相關(guān)的視頻片段，而不被無關(guān)內(nèi)容干擾。特別是在分析長視頻的時(shí)序關(guān)系時(shí)，這個(gè)工具顯得尤為重要。

第四個(gè)工具是"路徑追蹤"，能夠在圖像上標(biāo)記兩點(diǎn)之間的連接路徑或移動(dòng)軌跡。這就像在地圖上用筆畫出行走路線，幫助模型理解空間關(guān)系和運(yùn)動(dòng)模式。在分析物體移動(dòng)或標(biāo)識(shí)空間連接時(shí)，這個(gè)工具提供了直觀的視覺輔助。

這四個(gè)工具的設(shè)計(jì)遵循了"簡而精"的原則。研究團(tuán)隊(duì)發(fā)現(xiàn)，與其提供大量功能重復(fù)的工具讓模型選擇困難，不如精心挑選幾個(gè)核心工具，讓模型能夠熟練掌握并靈活運(yùn)用。這種設(shè)計(jì)哲學(xué)類似于日式料理中的"一期一會(huì)"思想，追求的是精致而非繁復(fù)。

五、實(shí)戰(zhàn)表現(xiàn)：從考試成績看真本事

要驗(yàn)證AdaTooler-V的實(shí)際能力，最直接的方法就是讓它參加各種"考試"。研究團(tuán)隊(duì)選擇了12個(gè)具有代表性的評(píng)測基準(zhǔn)，覆蓋了從基礎(chǔ)視覺理解到復(fù)雜推理的各個(gè)方面，就像給AI安排了一場綜合性的能力測試。

在圖像理解方面，AdaTooler-V表現(xiàn)出了令人印象深刻的能力。特別是在V*這個(gè)以高分辨率圖像理解著稱的困難測試中，AdaTooler-V達(dá)到了89.8%的準(zhǔn)確率，不僅超過了同類開源模型，甚至超越了GPT-4o和Gemini 1.5 Pro這樣的商業(yè)頂級(jí)模型。這個(gè)成績相當(dāng)于一個(gè)學(xué)生在最難的考試中取得了接近滿分的成績。

更令人驚喜的是，在數(shù)學(xué)推理測試MathVista中，AdaTooler-V達(dá)到了74.5%的準(zhǔn)確率，比基礎(chǔ)模型提升了6個(gè)百分點(diǎn)以上。這個(gè)提升幅度相當(dāng)可觀，說明適應(yīng)性工具使用確實(shí)能夠顯著提高復(fù)雜推理任務(wù)的表現(xiàn)。

在多圖像理解任務(wù)中，AdaTooler-V同樣表現(xiàn)優(yōu)異。在MMSI-Bench測試中獲得36.8%的分?jǐn)?shù)，在SPAR-Bench中達(dá)到40.3%，均顯著超過其他模型。這些測試要求模型在多張圖像之間建立聯(lián)系和對(duì)應(yīng)關(guān)系，類似于讓人同時(shí)分析幾張相關(guān)照片來回答問題。AdaTooler-V的優(yōu)秀表現(xiàn)表明，它能夠智能地決定何時(shí)需要在不同圖像間進(jìn)行比較分析，何時(shí)可以基于單張圖像直接推理。

在視頻理解方面，AdaTooler-V的表現(xiàn)同樣令人矚目。在VSI-Bench、VideoMMMU、MVBench等多個(gè)視頻測試中，都取得了顯著的性能提升。特別值得注意的是，在Video-Holmes這個(gè)需要復(fù)雜時(shí)序推理的測試中，AdaTooler-V獲得了55.6%的分?jǐn)?shù)，比基礎(chǔ)模型的27.8%提升了一倍多。這個(gè)提升幅度說明，適應(yīng)性工具使用對(duì)于處理時(shí)序信息具有特別重要的價(jià)值。

六、深入分析：為什么聰明地使用工具如此重要

為了更深入地理解AdaTooler-V的優(yōu)勢(shì)所在，研究團(tuán)隊(duì)進(jìn)行了一系列細(xì)致的對(duì)比實(shí)驗(yàn)，就像醫(yī)生通過各種檢查來確診病因一樣。

第一個(gè)重要發(fā)現(xiàn)是訓(xùn)練策略的關(guān)鍵作用。研究團(tuán)隊(duì)比較了三種不同的訓(xùn)練方式：直接使用強(qiáng)化學(xué)習(xí)、先有監(jiān)督學(xué)習(xí)再普通強(qiáng)化學(xué)習(xí)、以及先有監(jiān)督學(xué)習(xí)再使用AT-GRPO強(qiáng)化學(xué)習(xí)。結(jié)果顯示，采用完整兩階段訓(xùn)練并使用AT-GRPO的方法效果最好，平均性能比其他方法高出約4個(gè)百分點(diǎn)。這個(gè)差異看似不大，但在AI研究中已經(jīng)是相當(dāng)顯著的提升。

有監(jiān)督學(xué)習(xí)階段的重要性也得到了驗(yàn)證。如果跳過這個(gè)階段直接進(jìn)行強(qiáng)化學(xué)習(xí)，模型的表現(xiàn)會(huì)明顯下降。這就像學(xué)鋼琴時(shí)，如果不先練習(xí)基本指法就直接演奏復(fù)雜樂曲，效果肯定不理想。有監(jiān)督學(xué)習(xí)為模型提供了必要的基礎(chǔ)技能和行為模式，讓后續(xù)的強(qiáng)化學(xué)習(xí)能夠在一個(gè)更好的起點(diǎn)上進(jìn)行優(yōu)化。

AT-GRPO算法中的參數(shù)設(shè)置也經(jīng)過了仔細(xì)調(diào)優(yōu)。研究團(tuán)隊(duì)發(fā)現(xiàn)，工具獎(jiǎng)勵(lì)權(quán)重α在0.6左右時(shí)效果最好，過高或過低都會(huì)影響性能。這個(gè)發(fā)現(xiàn)說明，在鼓勵(lì)合理工具使用和避免過度依賴之間需要找到一個(gè)精確的平衡點(diǎn)，就像調(diào)試音響設(shè)備的各個(gè)頻道一樣，需要精確到位。

最重要的是，研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)證實(shí)了工具使用的必要性。他們訓(xùn)練了一個(gè)完全不使用工具的模型版本，結(jié)果顯示性能明顯下降。這證明了視覺工具確實(shí)能夠提供文本推理無法獲得的互補(bǔ)信息，問題不在于工具本身，而在于如何智能地使用它們。

通過分析訓(xùn)練過程中的性能曲線，研究團(tuán)隊(duì)還發(fā)現(xiàn)了一個(gè)有趣現(xiàn)象：隨著訓(xùn)練的進(jìn)行，模型的回答長度明顯縮短，而準(zhǔn)確率卻在提升。這說明模型確實(shí)學(xué)會(huì)了區(qū)分簡單和復(fù)雜問題，對(duì)于不需要工具的問題能夠直接給出簡潔準(zhǔn)確的答案，而不是不必要地使用復(fù)雜的推理過程。

七、技術(shù)創(chuàng)新的深層意義

AdaTooler-V的成功不僅僅在于性能數(shù)字的提升，更在于它代表了AI發(fā)展思路的一個(gè)重要轉(zhuǎn)變。過去，我們往往認(rèn)為給AI提供更多工具、更復(fù)雜的能力就能讓它變得更智能。但AdaTooler-V告訴我們，真正的智能在于知道何時(shí)使用何種能力，而不是盲目地展示所有技能。

這種"適應(yīng)性"思維在現(xiàn)實(shí)世界中具有重要意義。在實(shí)際應(yīng)用中，計(jì)算資源總是有限的，用戶也希望得到快速而準(zhǔn)確的回答，而不是看AI進(jìn)行一場炫技表演。AdaTooler-V展示了如何在保持高性能的同時(shí)提高效率，這對(duì)于AI技術(shù)的實(shí)用化具有重要價(jià)值。

從更廣泛的角度來看，這項(xiàng)研究提出的"工具受益評(píng)估"概念可能啟發(fā)其他AI能力的設(shè)計(jì)。比如在自然語言處理中，模型是否也應(yīng)該學(xué)會(huì)判斷何時(shí)需要調(diào)用外部知識(shí)庫，何時(shí)依靠內(nèi)部知識(shí)就夠了？在機(jī)器人學(xué)中，是否也需要類似的機(jī)制來決定何時(shí)使用復(fù)雜傳感器，何時(shí)簡單感知即可？

研究團(tuán)隊(duì)構(gòu)建的兩個(gè)大規(guī)模數(shù)據(jù)集AdaTooler-V-CoT-100k和AdaTooler-V-300k也為社區(qū)貢獻(xiàn)了寶貴資源。這些數(shù)據(jù)集不僅包含豐富的多模態(tài)推理樣本，還標(biāo)注了工具使用的必要性，為后續(xù)研究提供了重要基礎(chǔ)。數(shù)據(jù)集涵蓋了從日常場景到專業(yè)領(lǐng)域的廣泛內(nèi)容，確保了研究成果的普適性。

特別值得注意的是，研究團(tuán)隊(duì)采用的獎(jiǎng)勵(lì)設(shè)計(jì)策略具有很強(qiáng)的通用性。通過對(duì)比有工具和無工具情況下的性能差異來評(píng)估工具價(jià)值，這種方法可以擴(kuò)展到其他類型的AI能力評(píng)估中。這種以結(jié)果為導(dǎo)向的評(píng)估方式比基于規(guī)則的方法更加客觀和可靠。

歸根結(jié)底，AdaTooler-V的研究告訴我們，人工智能的發(fā)展不應(yīng)該只追求能力的堆疊，而應(yīng)該注重智慧的培養(yǎng)。就像人類從幼童成長為成人的過程中，不僅要學(xué)會(huì)各種技能，更要學(xué)會(huì)在合適的時(shí)候運(yùn)用合適的技能。AdaTooler-V在這方面邁出了重要一步，為構(gòu)建更加智能、高效的AI系統(tǒng)提供了新的思路和方法。

這項(xiàng)研究的另一個(gè)重要貢獻(xiàn)是驗(yàn)證了"少即是多"的設(shè)計(jì)哲學(xué)在AI領(lǐng)域的價(jià)值。通過精心設(shè)計(jì)的四個(gè)核心工具和智能的使用策略，AdaTooler-V證明了精簡而高效的設(shè)計(jì)往往比復(fù)雜而臃腫的系統(tǒng)更有效。這種設(shè)計(jì)思想不僅適用于工具使用，也可能啟發(fā)AI架構(gòu)設(shè)計(jì)的其他方面。

研究團(tuán)隊(duì)將所有代碼、模型和數(shù)據(jù)都公開發(fā)布，這種開放態(tài)度有助于推動(dòng)整個(gè)研究社區(qū)的進(jìn)步。其他研究者可以基于這些資源開發(fā)更好的模型，或者將AdaTooler-V的核心思想應(yīng)用到其他問題域中。這種知識(shí)共享的精神正是科學(xué)進(jìn)步的重要驅(qū)動(dòng)力。

說到底，AdaTooler-V的成功源于對(duì)問題本質(zhì)的深刻理解：不是所有問題都需要復(fù)雜的解決方案，智能的關(guān)鍵在于能夠準(zhǔn)確判斷問題的復(fù)雜程度并選擇相應(yīng)的處理方式。這種智慧不僅適用于AI系統(tǒng)，也是我們?nèi)祟愒谌粘Ｉ詈凸ぷ髦行枰粩嗯囵B(yǎng)的能力。當(dāng)我們面對(duì)各種挑戰(zhàn)時(shí)，是否也應(yīng)該像AdaTooler-V那樣，先評(píng)估問題的復(fù)雜程度，然后選擇最合適的工具和方法來解決它呢？

Q&A

Q1：AdaTooler-V與現(xiàn)有的多模態(tài)AI模型有什么根本區(qū)別？

A：AdaTooler-V的核心區(qū)別在于它能夠智能判斷何時(shí)需要使用視覺工具。傳統(tǒng)模型就像一個(gè)新手工人，不管修什么都要把工具箱里的工具全用一遍，而AdaTooler-V像經(jīng)驗(yàn)豐富的師傅，會(huì)先觀察問題難度，簡單問題直接解決，復(fù)雜問題才動(dòng)用工具。這種適應(yīng)性讓它既保持高準(zhǔn)確率，又避免了不必要的計(jì)算浪費(fèi)。

Q2：AT-GRPO算法是如何讓AI學(xué)會(huì)合理使用工具的？

A：AT-GRPO算法的核心是為每個(gè)問題計(jì)算"工具受益分?jǐn)?shù)"，就像給每道菜評(píng)估是否需要特殊廚具。它通過比較使用工具前后的準(zhǔn)確率差異，判斷工具是否真的有幫助。如果工具有用就給獎(jiǎng)勵(lì)，如果多余就給懲罰。同時(shí)還考慮使用頻率，防止AI產(chǎn)生工具依賴癥。這樣訓(xùn)練出來的模型就能自主判斷什么時(shí)候該用工具，什么時(shí)候直接思考就夠了。

Q3：AdaTooler-V在實(shí)際應(yīng)用中有什么優(yōu)勢(shì)？

A：AdaTooler-V在實(shí)際應(yīng)用中的最大優(yōu)勢(shì)是效率和準(zhǔn)確性的平衡。它在多個(gè)標(biāo)準(zhǔn)測試中都取得了優(yōu)異成績，特別是在高分辨率圖像理解V*測試中達(dá)到89.8%準(zhǔn)確率，甚至超過了GPT-4o等商業(yè)模型。更重要的是，它能根據(jù)問題復(fù)雜程度自動(dòng)調(diào)整處理策略，簡單問題快速回答，復(fù)雜問題深入分析，既節(jié)省計(jì)算資源又保證回答質(zhì)量。