你見(jiàn)過(guò) 7B 模型在拼圖推理上干翻 GPT-5 嗎？

不是靠堆參數(shù)，不是靠更大的數(shù)據(jù)，而是靠一件事：學(xué)會(huì)「什么時(shí)候該用工具」。

大多數(shù)「工具增強(qiáng)」模型是這樣的：遇到任務(wù) X → 調(diào)用固定工具 Y → 祈禱結(jié)果正確。一旦場(chǎng)景稍微變化，模型就開始抽風(fēng)——不知道什么工具該用、什么工具不該用。

AdaReasoner 解決的是更本質(zhì)的問(wèn)題：把 what / when / how（用什么、何時(shí)用、怎么用）當(dāng)成推理能力來(lái)學(xué)。

• 論文標(biāo)題：AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning
• 論文（arXiv）:https://arxiv.org/abs/2601.18631
• 項(xiàng)目主頁(yè):https://adareasoner.github.io
• 代碼:https://github.com/ssmisya/AdaReasoner
• 模型與數(shù)據(jù):https://huggingface.co/collections/hitsmy/adareasoner
• 視頻（YouTube）:https://www.youtube.com/watch?v=_SOyD-lomOM

先看 10 秒效果：

https://mp.weixin.qq.com/s/WH8kXeIsh97T7WjO0m2xRA?search_cli

AdaReasoner 工作流程示意

Google 近期宣布，為其輕量級(jí)模型 Gemini 3 Flash 引入一項(xiàng)名為「Agentic Vision」（代理視覺(jué)）的新能力。

這項(xiàng)更新標(biāo)志著多模態(tài) AI 處理圖像的方式發(fā)生了根本性轉(zhuǎn)變：從傳統(tǒng)的靜態(tài)識(shí)別，升級(jí)為具備「思考、行動(dòng)、觀察」循環(huán)的主動(dòng)調(diào)查模式。

在此之前，包括 GPT 在內(nèi)的大多數(shù)前沿多模態(tài)模型處理圖像的方式類似于人類的「匆匆一瞥」：模型接收?qǐng)D像，進(jìn)行一次性處理并輸出結(jié)果。這種方式在面對(duì)需要細(xì)致觀察的任務(wù)時(shí)，往往會(huì)因?yàn)榧?xì)節(jié)丟失而產(chǎn)生幻覺(jué)或猜測(cè)。

Agentic Vision 的工作機(jī)制：Gemini 3 Flash 現(xiàn)在能夠像人類調(diào)查員一樣通過(guò)以下循環(huán)進(jìn)行推理：

• 思考（Think）——分析用戶指令和圖像初步內(nèi)容，制定調(diào)查計(jì)劃。
• 行動(dòng)（Act）——自動(dòng)生成并執(zhí)行 Python 代碼來(lái)操作圖像。例如，對(duì)圖像進(jìn)行縮放、裁剪特定區(qū)域、旋轉(zhuǎn)視角或繪制輔助線。
• 觀察（Observe）——檢查代碼執(zhí)行后的新視圖或數(shù)據(jù)，獲取更精確的視覺(jué)證據(jù)。

上述過(guò)程可以多次迭代，直到模型收集到足夠的確鑿證據(jù)來(lái)回答問(wèn)題。

有意思的是：AdaReasoner 與 Agentic Vision 殊途同歸。AdaReasoner 同樣實(shí)現(xiàn)并驗(yàn)證了幾乎相同的范式：

工業(yè)界與學(xué)術(shù)界同時(shí)押注「主動(dòng)工具使用」，說(shuō)明這個(gè)方向正在成為多模態(tài)推理的主流范式。

AdaReasoner 的獨(dú)特價(jià)值在于：我們不只是驗(yàn)證了這套范式有效，更提出了一套讓開源小模型也能習(xí)得這種能力的訓(xùn)練方法——這正是接下來(lái)要詳細(xì)介紹的內(nèi)容。

01 痛點(diǎn)：多模態(tài)推理為什么

總是「看起來(lái)很會(huì)，細(xì)節(jié)就開始猜」？

在多模態(tài)推理里，「看清細(xì)節(jié)」和「多步推理」經(jīng)?；ハ嗫ú弊樱?/p>

感知不夠精確 → 證據(jù)不足 → 推理再漂亮也容易變成「guided guessing」；

反過(guò)來(lái)，如果能把關(guān)鍵證據(jù)用工具查出來(lái)、畫出來(lái)、驗(yàn)證出來(lái)，模型就能把算力用在判斷與規(guī)劃上。

換句話說(shuō)：工具不是外掛，而是把推理從「猜」拉回「查」的關(guān)鍵路徑。

02 一句話介紹 AdaReasoner：

把工具使用當(dāng)成「通用推理技能」

AdaReasoner 是一個(gè)訓(xùn)練范式：讓模型不僅會(huì)「調(diào)用工具」，更會(huì)做三類決策：

• 選擇：該用哪個(gè)工具？要不要組合多個(gè)工具？
• 時(shí)機(jī)：什么時(shí)候該用？什么時(shí)候不該用？
• 魯棒性：工具失敗/無(wú)用怎么辦？是否回退、是否換策略？

AdaReasoner 把「工具使用」當(dāng)成推理技能來(lái)學(xué)習(xí)：會(huì)采納有用工具、丟棄無(wú)關(guān)工具，并按任務(wù)調(diào)節(jié)調(diào)用頻率。

03 三個(gè)關(guān)鍵設(shè)計(jì)：

讓「會(huì)用工具」從口號(hào)變成能力

3.1 Tool Cold Start (TC)：把「犯錯(cuò)-修正」寫進(jìn)數(shù)據(jù)里

我們不是只給模型看「完美路徑」，而是刻意加入兩類真實(shí)世界會(huì)發(fā)生的場(chǎng)景：

• 反思與回溯：試一下 → 檢查 → 不對(duì)就撤回/換方案。
• 工具失敗處理：工具返回錯(cuò)誤/無(wú)效 → 及時(shí)止損 → 回退到模型自身能力。

定性案例：多輪工具規(guī)劃 + 反思糾錯(cuò) + 組合工具完成復(fù)雜視覺(jué)推理

3.2 Tool-GRPO (TG)：優(yōu)化「多輪工具編排」，而不是單次調(diào)用

多模態(tài)工具推理往往不是「一次調(diào)用結(jié)束」，而是多回合：

觀察 → 調(diào)用 → 再觀察 → 再調(diào)用 → 最終回答。

Tool-GRPO 針對(duì) multi-turn 場(chǎng)景做了專門的強(qiáng)化學(xué)習(xí)優(yōu)化，并用自適應(yīng)獎(jiǎng)勵(lì)把工具使用變成「不確定時(shí)的可靠后備」，而不是強(qiáng)制流程。

3.3 Adaptive Learning (ADL)：逼模型學(xué)「語(yǔ)義」，別背「名字」

為了避免模型死記硬背某個(gè)工具名（比如看到 "Point" 就條件反射），我們做了兩件事：

• 工具名/參數(shù)名隨機(jī)化（去掉字面提示）。
• 工具描述改寫（同一語(yǔ)義、多種表達(dá)）。

隨機(jī)化訓(xùn)練的直觀示意

AdaReasoner 框架總覽：Tool Cold Start → Tool-GRPO → Adaptive Learning

04 最硬的證據(jù)：

小模型為什么能「跨級(jí)打怪」？

先給結(jié)論：AdaReasoner-7B 相對(duì) base 模型在多個(gè)基準(zhǔn)上實(shí)現(xiàn)顯著提升（在選取的 8 個(gè) benchmark 上平均 +24.9%），并在結(jié)構(gòu)化推理任務(wù)上接近滿分。

主實(shí)驗(yàn)結(jié)果：在 VSP、Jigsaw、GUIQA 等任務(wù)上顯著提升。

更重要的是：不是「工具越多越好」，而是訓(xùn)練配方?jīng)Q定工具是否真的幫得上忙。

例如在單任務(wù)設(shè)置下：

• VSP: Base 28.09 → TC 64.91 → TG 73.18 → TC+TG 97.64
• Jigsaw: Base 45.70 → TC 84.20 → TC+TG 96.60（超過(guò) GPT-5 的 80.10）

瓶頸遷移示意：當(dāng)工具規(guī)劃足夠好，性能瓶頸從「模型規(guī)模」部分遷移到「工具效用與工具規(guī)劃能力」

05 最有意思的部分：模型真的

學(xué)出了「三種自適應(yīng)工具行為」

這部分是 AdaReasoner 最像「智能體」的地方：我們沒(méi)有寫規(guī)則讓它這么做，但它在 RL 過(guò)程中學(xué)會(huì)了。

行為 1：會(huì)「采納」有用的新工具（Adopt）

把 A* 規(guī)劃工具放進(jìn)強(qiáng)化學(xué)習(xí)階段（Cold Start 沒(méi)見(jiàn)過(guò)），模型會(huì)逐步提高調(diào)用頻率并穩(wěn)定掌握：

VSP Navigation 從 44.83 → 96.33

Navigation 任務(wù)示意

A* 工具調(diào)用頻率隨 RL 訓(xùn)練演化

行為 2：會(huì)「丟棄」無(wú)關(guān)工具（Discard）

更關(guān)鍵的是：A* 對(duì) Verify 任務(wù)沒(méi)用，甚至是干擾項(xiàng)。

在「只在推理時(shí)提供 A*」的設(shè)置里，Verify 會(huì)出現(xiàn) 94.20 → 80.00 的下降。

而在 RL 訓(xùn)練后，模型會(huì)逐步壓制無(wú)關(guān)調(diào)用，讓 Verify 維持在接近滿分（99.20）。

一句話：它不僅會(huì)用工具，還會(huì)學(xué)會(huì)「別亂用」。

行為 3：會(huì)「調(diào)節(jié)」調(diào)用頻率（Modulate）

工具也不是開/關(guān)二選一。模型會(huì)根據(jù)子任務(wù)「調(diào)頻」：

Point 工具在導(dǎo)航更關(guān)鍵（~3.2 calls/sample），在驗(yàn)證更克制（~1.0 call/sample）

Point 工具調(diào)用頻率「調(diào)頻」：Navigation 中更關(guān)鍵，Verification 中更克制

06 換工具說(shuō)明書

也能用：泛化與穩(wěn)健性

現(xiàn)實(shí)里最常見(jiàn)的崩潰方式是：工具定義、參數(shù)名、描述文案一變，模型就「不會(huì)用了」。

AdaReasoner 用 ADL（隨機(jī)化 + 改寫）把「工具規(guī)劃」從文本表面形式里解耦出來(lái)。

一個(gè)很直觀的證據(jù)來(lái)自工具使用統(tǒng)計(jì)：

• 在 Jigsaw 上達(dá)到 3.54 CPS 且工具執(zhí)行成功率 98.50%，最終準(zhǔn)確率 88.60。
• 在 VStar 這種更開放的 VQA 上仍能主動(dòng)調(diào)用工具（1.47 CPS）并取得 70.68。

工具使用統(tǒng)計(jì)（CPS、成功率）與性能

此外，使用 ADL，模型能夠更容易在新的任務(wù)上取得更好的表現(xiàn)。我們僅使用 Jigsaw 這一個(gè)任務(wù)的 SFT 數(shù)據(jù)，在三個(gè)任務(wù)上 RL，可以看到，使用 ADL 的版本能夠在另外兩個(gè)任務(wù)上給模型帶來(lái)效果上的提升。

ADL 能將單個(gè)任務(wù)上學(xué)來(lái)的 agent planning 能力遷移到 SFT 沒(méi)見(jiàn)過(guò)的任務(wù)上。

07 我們想強(qiáng)調(diào)的

學(xué)術(shù)結(jié)論（Takeaways）

多模態(tài)推理不只是 「think harder」。更關(guān)鍵的是：

actively seeing, verifying, and planning with tools.

當(dāng)工具編排學(xué)得足夠好，瓶頸會(huì)發(fā)生遷移：

model scale → tool utility + tool planning

這對(duì)小模型尤其重要：參數(shù)有限時(shí)，「會(huì)用工具」就是最直接的能力放大器。

從 Agentic Vision 看趨勢(shì)：Google 用 Agentic Vision 把 Think-Act-Observe 內(nèi)置到 Gemini，學(xué)術(shù)界用 AdaReasoner 驗(yàn)證這套范式在開源模型上的可行性——兩條路線同時(shí)驗(yàn)證了「主動(dòng)工具使用」的價(jià)值。對(duì)于希望在自己數(shù)據(jù)/場(chǎng)景上復(fù)現(xiàn)這種能力的研究者和開發(fā)者，AdaReasoner 提供了一套完整的開源方案。

Adaptive Learning 對(duì)提升模型的泛化性也有很大幫助，可以幫助將 agent planning 能力遷移到以前沒(méi)見(jiàn)過(guò)的 agent 和新的任務(wù)上去。