Youtu-Agent團隊 投稿
量子位 | 公眾號 QbitAI

在學校里做實驗的時候，老師如何確定我們做了實驗并且達到了預期效果呢？——最常見的做法是讓學生寫一份實驗報告交上來。

現(xiàn)在，AI智能體拿到一個任務以后如何檢驗執(zhí)行的效果有沒有達到預期呢？我們也可以讓AI在執(zhí)行任務的同時主動提交一份證據(jù)鏈報告，邊做邊收集任務完成的證據(jù)，自我檢查是否符合預期，不符合就繼續(xù)做。

在LLM/VLM驅(qū)動的智能體（Agent）的強化學習（RL）研究中，一直面臨一個巨大的挑戰(zhàn)：

你交給智能體一個任務，它干完了，但你不知道完成度如何。

為了確認它是否真的準確完成了任務，我們不得不建立龐大的“監(jiān)督系統(tǒng)”來復核它的每一步操作。這種“被動驗證”往往需要：

1. 手工設計的復雜校驗機制（比如：完全匹配的輸出內(nèi)容）；
2. 強大的軌跡級驗證方法（比如：LLM/VLM-as-a-Judge眾投決策）。

這兩種常見的先完成任務（task completion）再校驗軌跡（outcome verification）的機制有以下缺點：

1. 效率較低，人工設計的準則依賴預先編寫好的評估腳本，難以簡單泛化到新的任務（比如新的APP）；
2. 軌跡帶噪且上下文冗長，將整條軌跡送給LLM/VLM來評判很容易被無關的環(huán)境信息干擾，降低評分的可靠性；
3. 依賴持續(xù)可觀測環(huán)境的反饋信息，部分操作往往因為環(huán)境變化
4. （如頁面刷新、操作過期）而導致驗證失敗。

針對以上問題，我們提出了一種簡單的RL訓練方法，讓智能體自己成為“質(zhì)檢員”，在盡可能減少校驗器（Verifier）審核壓力的同時，讓智能體學會主動分解子目標并且留痕存證。

什么是SmartSnap？

SmartSnap的核心思想是將GUI智能體從“被動的執(zhí)行者”轉變?yōu)椤爸鲃拥淖宰C者”。

簡單來說，智能體在完成任務的同時，還會主動收集、篩選并提交一份“證據(jù)快照集”。

這份證據(jù)就像是任務的“結項報告”，讓驗證者只需看一眼快照，就能確認任務是否成功。

三大核心突破：從“執(zhí)行”到“自證”

1. 角色升級：雙重使命的“自證代理”

傳統(tǒng)的智能體只負責“做（Execute）”，而SmartSnap提出了“自證智能體”（Self-Verifying Agent），賦予了它“自我驗證（Verify）”的第二使命。

它在操作過程中會像人類一樣思考：“為了證明我已經(jīng)改好了設置，我需要把對開關狀態(tài)截圖并作為證據(jù)提交?！?/strong>

2. “3C原則”：高效率的證據(jù)美學

為了避免給驗證者造成信息過載，SmartSnap提出了證據(jù)策展的3C原則

• 完整性（Completeness）
• 證據(jù)必須足以證明任務已閉環(huán)。
• 簡潔性（Conciseness）
• 不要冗長的視頻，只要最關鍵的幾張“定格”瞬間。
• 創(chuàng)造性（Creativity）
• 為了拿到證據(jù)，智能體甚至會主動執(zhí)行“額外操作”。例如，訂完票后主動跳回訂單頁截圖。

3. 強化學習驅(qū)動：GRPO+內(nèi)在獎勵反饋

我們利用GRPO算法對智能體進行了訓練。通過精心設計的獎勵機制（Intrinsic Reward Shaping），引導智能體在保證任務成功率的同時，不斷提升證據(jù)的質(zhì)量，盡可能減少獎勵黑客行為（reward hacking）。

戰(zhàn)績顯赫：小模型也不錯

SmartSnap的表現(xiàn)令人驚艷，它在AndroidLab等復雜的任務上提升顯著：

• 性能飛躍
• 在不同規(guī)模的模型上，均實現(xiàn)了顯著的性能提升（最高提升達26.08%）。
• 以小博大
• 經(jīng)過SmartSnap訓練的中等參數(shù)模型（如Qwen3-32B），在自證能力的加持下，其表現(xiàn)甚至持平DeepSeek-V3/Qwen3-235B等開源大模型

通過感性分析，我們還觀察到以下特點：

• 舉證效率
• 平均每個任務只需提交1.5張快照證據(jù)，極大地降低了后端的驗證成本。
• 高效交互
• 智能體在訓練過程中由于擬合少量的訓練集而變得游刃有余，交互輪數(shù)不斷減少。
• 知識欠缺
• 在部分APP上，我們觀察到智能體存在反復、沒有顯著增益的表現(xiàn)，其領域知識的欠缺導致無法收斂到有效的解決方案（比如地圖APP的各項復雜路徑規(guī)劃任務）。這表明模型需要依賴更多知識注入來指導探索。

為什么這簡化了智能體RL訓練的準備工作？

在手機端、OS端這類環(huán)境的操作中，由于其時效性特點，傳統(tǒng)的外部驗證器很難精準捕捉瞬時的成功信號。

SmartSnap就像是給智能體配上了一臺取證相機。它不再需要事先對環(huán)境所有狀態(tài)有一個預期的變化感知來撰寫校驗腳本，或者讓裁判員模型盯著全程軌跡來仔細推敲，而是讓智能體自己邊做邊收集必要的證據(jù)。

這允許我們基于合成的任務輕松拓展其訓練場景，并針對有限的證據(jù)鏈來判斷成功與否，讓RL訓練更加便捷。

面向未來

SmartSnap的出現(xiàn)，標志著GUI智能體正從“蠻力執(zhí)行”走向“認知協(xié)同”。這種主動尋找證據(jù)的能力，不僅提升了AI的可靠性，更為未來大規(guī)模、低成本的AI部署鋪平了道路。

未來的AI，不僅要“能干”，更要“可信”。

論文標題：

SmartSnap: Proactive Evidence Seeking for Self-Verifying Agents
論文地址：

https://arxiv.org/abs/2512.22322
代碼地址：

https://github.com/TencentYoutuResearch/SmartSnap