這項(xiàng)由浙江大學(xué)多個(gè)團(tuán)隊(duì)聯(lián)合開展的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號為arXiv:2604.11784，有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過該編號檢索完整論文。

手機(jī)屏幕是現(xiàn)代人生活的核心戰(zhàn)場。打開微信、刷視頻、訂外賣、設(shè)置鬧鐘——這些日常操作對人來說輕而易舉，但對AI來說卻是一座難以翻越的高山。不像讓AI寫文章或回答問題，操控手機(jī)需要AI真正"看懂"屏幕，然后用手指去點(diǎn)擊、滑動、輸入文字，就像一個(gè)真實(shí)的人類用戶在使用手機(jī)一樣。這類能夠像人一樣操作圖形界面的AI，被研究者稱為"GUI智能體"（Graphical User Interface Agent）。

過去兩年里，這個(gè)領(lǐng)域的研究像雨后春筍般涌現(xiàn)，但有一個(gè)讓所有研究者頭疼的問題始終沒有解決：大家各自做研究、各自跑實(shí)驗(yàn)、各自報(bào)告數(shù)字，卻沒有一套統(tǒng)一的工具鏈把訓(xùn)練、評測和實(shí)際部署串在一起。就好像廚師們各自研發(fā)菜譜，但廚房設(shè)備不通用、食材計(jì)量不統(tǒng)一、菜端上桌的方式也各不相同——最終沒人能比較誰做的更好，更沒法讓普通食客真正吃到這道菜。

浙江大學(xué)的研究團(tuán)隊(duì)正是為了解決這個(gè)問題，開發(fā)了ClawGUI這套完整的工具鏈。它的名字暗含"爪子"之意，象征著AI用爪子（手指）去抓取和操控手機(jī)屏幕。這套框架把訓(xùn)練AI、測試AI、把AI部署到真實(shí)手機(jī)上這三件事，統(tǒng)統(tǒng)裝進(jìn)了同一個(gè)工具箱，讓研究者和普通用戶都能從中受益。

一、為什么給AI教會"用手機(jī)"這么難？

在正式介紹ClawGUI之前，需要先搞清楚這個(gè)問題：為什么訓(xùn)練一個(gè)會操作手機(jī)界面的AI，比想象中困難得多？

回到廚房的比喻。假設(shè)你要訓(xùn)練一個(gè)廚師學(xué)徒，需要三件事同時(shí)到位：一是要有一個(gè)真實(shí)的廚房讓他練手（這是"訓(xùn)練環(huán)境"的問題）；二是要有一套公平的評分標(biāo)準(zhǔn)判斷他做得好不好（這是"評測"的問題）；三是要有辦法讓他畢業(yè)后真的去餐廳工作（這是"部署"的問題）?，F(xiàn)有的GUI智能體研究，這三件事全都卡殼了。

在訓(xùn)練環(huán)境方面，目前確實(shí)有一些研究團(tuán)隊(duì)使用強(qiáng)化學(xué)習(xí)（Reinforcement Learning，簡單理解就是讓AI通過反復(fù)試錯(cuò)來學(xué)習(xí)，成功了給獎勵(lì)，失敗了扣分）來訓(xùn)練GUI智能體，效果也不錯(cuò)。但這些團(tuán)隊(duì)都沒有公開自己的訓(xùn)練系統(tǒng)，外界無法復(fù)現(xiàn)。更嚴(yán)重的是，所有訓(xùn)練都在虛擬手機(jī)模擬器里進(jìn)行，沒有人嘗試在真實(shí)物理手機(jī)上訓(xùn)練。而且手機(jī)模擬器本身非常脆弱，跑著跑著就會崩潰，訓(xùn)練過程極不穩(wěn)定。

在評測方面，問題同樣棘手。各個(gè)論文報(bào)告的數(shù)字根本沒法互相比較——同一個(gè)AI模型，用不同的提問方式、不同的圖片分辨率、不同的坐標(biāo)計(jì)算方式，得出的測試分?jǐn)?shù)可以差好幾個(gè)百分點(diǎn)。一篇論文說自己的AI在某個(gè)測試集上提高了2%，但誰也不知道這2%是真的進(jìn)步，還是換了一種更巧妙的提問方式帶來的。

在部署方面，就更慘了。實(shí)驗(yàn)室里訓(xùn)練好的AI幾乎從來不會真正出現(xiàn)在普通用戶手中。研究者要么把代碼放在GitHub上等別人自己折騰，要么只支持某一款安卓手機(jī)，換個(gè)系統(tǒng)就不行了，更談不上什么個(gè)性化記憶或者跨平臺使用。

ClawGUI就是為了同時(shí)堵上這三個(gè)漏洞而生的。

二、訓(xùn)練場：給AI搭建一個(gè)穩(wěn)定的手機(jī)練習(xí)室

ClawGUI的第一個(gè)核心模塊叫做ClawGUI-RL，專門負(fù)責(zé)訓(xùn)練AI。RL是"Reinforcement Learning"的縮寫，也就是強(qiáng)化學(xué)習(xí)的意思。

這套訓(xùn)練系統(tǒng)最核心的設(shè)計(jì)是一個(gè)"環(huán)境管理器"，可以理解為一個(gè)能同時(shí)管理幾十個(gè)虛擬手機(jī)的調(diào)度員。訓(xùn)練的時(shí)候，這些虛擬手機(jī)同時(shí)運(yùn)行，每臺手機(jī)都在執(zhí)行不同的任務(wù)，AI則在這些任務(wù)中反復(fù)練習(xí)。每當(dāng)一臺虛擬手機(jī)崩潰或者卡死，調(diào)度員就會自動把它替換成一臺新的備用機(jī)器，確保訓(xùn)練不會中斷。這個(gè)設(shè)計(jì)解決了之前虛擬環(huán)境容易崩潰導(dǎo)致訓(xùn)練失敗的老大難問題。

更難得的是，ClawGUI-RL是第一個(gè)公開支持在真實(shí)物理手機(jī)上訓(xùn)練的系統(tǒng)。在真實(shí)手機(jī)上訓(xùn)練和在模擬器里訓(xùn)練有本質(zhì)的區(qū)別。模擬器里，研究者可以直接讀取手機(jī)系統(tǒng)的底層數(shù)據(jù)來判斷任務(wù)是否完成——比如直接查看數(shù)據(jù)庫里有沒有新增一條聯(lián)系人記錄。但真實(shí)手機(jī)沒有這個(gè)權(quán)限，沒法直接讀取系統(tǒng)數(shù)據(jù)。ClawGUI-RL的解決方案是讓另一個(gè)強(qiáng)大的多模態(tài)AI來當(dāng)"裁判"，通過觀察任務(wù)執(zhí)行完成后的手機(jī)截圖，判斷AI有沒有把事情做對。這個(gè)裁判AI就像一個(gè)監(jiān)考老師，看著屏幕上的最終結(jié)果來打分，不需要翻看學(xué)生的考試過程。

在獎勵(lì)設(shè)計(jì)上，ClawGUI-RL采用了一種非常聰明的雙層獎勵(lì)機(jī)制?；A(chǔ)層是一個(gè)簡單粗暴的二元判斷：任務(wù)完成給1分，失敗給0分。但問題在于，操控手機(jī)往往需要十幾步甚至幾十步操作，只在最后告訴AI"你失敗了"，AI根本不知道是哪一步走錯(cuò)了，就像考試只給最終成績而不告訴你錯(cuò)在哪道題。

為了解決這個(gè)問題，ClawGUI-RL引入了"過程獎勵(lì)模型"（Process Reward Model，PRM）。這個(gè)模型會在AI每執(zhí)行一步操作之后，立刻評判這步操作有沒有朝著目標(biāo)方向前進(jìn)。比如AI要發(fā)一條微信消息，先打開微信應(yīng)用——好，這步方向?qū)α?；然后找到目?biāo)聯(lián)系人——好，繼續(xù)前進(jìn)；接著點(diǎn)擊輸入框——對；最后輸入內(nèi)容并發(fā)送——完成！整個(gè)過程中每一步都有即時(shí)反饋，而不是等到最后才知道對錯(cuò)。這樣AI就能學(xué)到哪些中間操作是有價(jià)值的，哪些是在浪費(fèi)時(shí)間。

在具體的訓(xùn)練算法選擇上，ClawGUI-RL同時(shí)支持兩種方法：GRPO和GiGPO?？梢园袵RPO理解為"按軌跡打分"——整段操作完成后，把這段操作整體與其他嘗試比較，評出高下。這對短任務(wù)很管用，但對于需要幾十步操作的復(fù)雜任務(wù)，就顯得太粗糙了。GiGPO則更精細(xì)，它會把不同嘗試中遇到相同中間狀態(tài)的操作步驟歸組，分別比較每個(gè)節(jié)點(diǎn)上各個(gè)AI的選擇孰優(yōu)孰劣，從而給出更細(xì)粒度的評分。這就好比教練不只看運(yùn)動員最終跑了多少分鐘，還會分析每一個(gè)彎道上的跑姿是否標(biāo)準(zhǔn)。

三、考場：讓AI測試成績真正可比較

訓(xùn)練好了AI之后，怎么知道它究竟有多強(qiáng)？這就需要ClawGUI的第二個(gè)核心模塊——ClawGUI-Eval，一個(gè)標(biāo)準(zhǔn)化評測流水線。

這個(gè)模塊的核心理念是：把整個(gè)評測過程拆成三個(gè)嚴(yán)格分離的階段，分別是"推理""評判"和"計(jì)算指標(biāo)"。就像流水線上的三個(gè)工位各司其職，任何一個(gè)工位出了問題都可以單獨(dú)返工，而不需要把整條流水線全部重跑一遍。

第一個(gè)工位"推理"負(fù)責(zé)讓AI模型看題作答，生成原始預(yù)測結(jié)果。這個(gè)工位支持兩種接入方式：一種是在本地GPU上直接運(yùn)行模型，另一種是通過API遠(yuǎn)程調(diào)用模型。多塊GPU可以并行工作，而且如果中途斷了，可以從斷點(diǎn)續(xù)跑，不需要從頭開始。第二個(gè)工位"評判"負(fù)責(zé)把AI的答案和標(biāo)準(zhǔn)答案對比，判斷每道題對不對。針對不同類型的題目，有專門的評判邏輯。比如標(biāo)準(zhǔn)的GUI定位題，判斷AI點(diǎn)擊的坐標(biāo)是否落在目標(biāo)元素的范圍框內(nèi)；針對多步操作題，則有專門的多步驟評判器。第三個(gè)工位"計(jì)算指標(biāo)"把所有判斷結(jié)果匯總成最終分?jǐn)?shù)，并且按照平臺類型、界面元素類別、任務(wù)類型等不同維度細(xì)分，讓研究者能看清楚AI到底在哪些地方強(qiáng)、在哪些地方弱。

ClawGUI-Eval覆蓋了6個(gè)主流評測基準(zhǔn)，包括ScreenSpot-Pro（專注于高分辨率桌面界面的定位測試）、ScreenSpot-V2、UI-Vision（桌面GUI的視覺感知與交互測試）、MMBench-GUI（多平臺層次化評估）、OSWorld-G（操作系統(tǒng)級別的界面定位）以及AndroidControl（安卓端的操作控制）。同時(shí)支持超過11個(gè)主流AI模型，涵蓋Qwen3-VL、Qwen2.5-VL、UI-TARS、MAI-UI、GUI-G?、UI-Venus、GUI-Owl、StepGUI、Gemini以及Seed 1.8等。

為了驗(yàn)證這套標(biāo)準(zhǔn)化流水線的可靠性，研究團(tuán)隊(duì)把自己重新跑出來的成績與各個(gè)模型官方公布的數(shù)字逐一對比，結(jié)果達(dá)到了95.8%的復(fù)現(xiàn)率——也就是說，在有官方數(shù)字可以對比的48組數(shù)據(jù)中，46組的誤差在2%以內(nèi)或超過官方數(shù)字。這個(gè)成績相當(dāng)漂亮，基本證明了ClawGUI-Eval的標(biāo)準(zhǔn)化做到位了。

僅有兩組復(fù)現(xiàn)失敗，恰恰發(fā)生在那些沒有公開評測配置細(xì)節(jié)的模型上。這個(gè)發(fā)現(xiàn)本身就很有說服力：GUI評測的可重復(fù)性問題，根子在于配置細(xì)節(jié)沒有透明化，而不是評測這件事本身就無法標(biāo)準(zhǔn)化。

對于無法直接調(diào)用的閉源商業(yè)模型，研究團(tuán)隊(duì)還設(shè)計(jì)了一種叫"縮放范式"（Zoom paradigm）的兩階段處理方法。簡單說就是先把高分辨率大圖切成多個(gè)小塊分別送給模型看，再從各個(gè)小塊的定位結(jié)果還原到整張圖上的坐標(biāo)。用Gemini模型測試時(shí)切成25%大小的瓦片，用Seed模型時(shí)切成50%的瓦片，這樣處理后成功復(fù)現(xiàn)了官方數(shù)字，而且完全不需要接觸模型內(nèi)部結(jié)構(gòu)。

四、出門上崗：把訓(xùn)練好的AI真正裝進(jìn)手機(jī)

前兩個(gè)模塊解決了訓(xùn)練和評測的問題，第三個(gè)模塊ClawGUI-Agent要解決最后一公里的問題：把AI真正送到用戶手中，在真實(shí)手機(jī)上為真實(shí)用戶服務(wù)。

這個(gè)模塊支持安卓、鴻蒙和iOS三大手機(jī)操作系統(tǒng)，同時(shí)接入了包括飛書、釘釘、Telegram、Discord、Slack、QQ在內(nèi)的超過12個(gè)聊天平臺。用戶只需要在自己日常用的聊天軟件里給AI發(fā)一條消息，AI就能去操控手機(jī)完成任務(wù)，執(zhí)行完后把結(jié)果回復(fù)給用戶。這就好像你有一個(gè)遠(yuǎn)程秘書，你在微信里說"幫我訂一張明天去上海的高鐵票"，秘書就用你的手機(jī)把這件事辦完，然后告訴你票已經(jīng)訂好了。

ClawGUI-Agent還支持兩種控制模式。"遠(yuǎn)程控制模式"是你用另一臺設(shè)備通過聊天軟件來控制目標(biāo)手機(jī)，適合需要遠(yuǎn)程管理手機(jī)的場景。"本地控制模式"則是直接在手機(jī)本身上運(yùn)行的聊天軟件里發(fā)指令，AI直接接管這臺手機(jī)操作，不需要額外的硬件或云端中繼。

在操控手機(jī)的具體方式上，ClawGUI-Agent采取了一種"CLI+GUI混合控制"策略。CLI是命令行界面（Command Line Interface）的縮寫，可以理解為通過程序代碼直接給手機(jī)系統(tǒng)下命令，效率極高，一條指令就能完成普通用戶需要點(diǎn)擊好幾個(gè)頁面才能完成的操作。GUI控制則是像人一樣去看屏幕、點(diǎn)按鈕、滑屏幕，覆蓋范圍更廣，任何應(yīng)用都能控制，但需要的步驟更多。這兩種方式各有優(yōu)劣，ClawGUI-Agent的策略是優(yōu)先用CLI處理有程序接口的任務(wù)，遇到?jīng)]有程序接口的應(yīng)用再切換到GUI控制。這種混合策略既保留了CLI的高效，又確保了GUI的廣覆蓋。

ClawGUI-Agent還有一個(gè)個(gè)性化記憶系統(tǒng)，是整個(gè)框架中相當(dāng)有溫度的一個(gè)設(shè)計(jì)。AI在執(zhí)行任務(wù)的過程中，會自動從互動中提取結(jié)構(gòu)化信息，比如你常用的應(yīng)用、你的聯(lián)系人關(guān)系、你的使用習(xí)慣和偏好，然后把這些信息以向量嵌入的形式存儲起來。下次你再發(fā)指令的時(shí)候，系統(tǒng)會檢索出與當(dāng)前任務(wù)最相關(guān)的歷史記憶，注入到AI的上下文里，讓AI能認(rèn)出你說的"我媽"是指哪個(gè)聯(lián)系人，知道你每天早上9點(diǎn)開會，知道你偏好用某個(gè)外賣平臺。重復(fù)的記憶條目會被合并而不是累積，確保記憶庫保持精簡和相關(guān)性。

更有趣的是，ClawGUI-Agent把前面介紹的評測模塊ClawGUI-Eval也打包成了一個(gè)可以直接調(diào)用的"技能"。研究者不需要寫任何代碼，只要對著聊天窗口說一句"幫我評測Qwen3-VL在ScreenSpot-Pro上的表現(xiàn)"，系統(tǒng)就會自動完成環(huán)境檢查、啟動多GPU并行推理、運(yùn)行評判器、計(jì)算指標(biāo)、生成報(bào)告這一整套流程，最后把結(jié)構(gòu)化的成績單發(fā)給你，還附上與官方數(shù)字的對比。

五、訓(xùn)練成果：用2B參數(shù)的小模型超越72B的大模型

ClawGUI-2B是研究團(tuán)隊(duì)在這套框架里端到端訓(xùn)練出來的一個(gè)成果模型，基于MAI-UI-2B（一個(gè)由行業(yè)團(tuán)隊(duì)發(fā)布的2B參數(shù)基礎(chǔ)模型）繼續(xù)用強(qiáng)化學(xué)習(xí)訓(xùn)練而來。訓(xùn)練使用了64個(gè)并行虛擬手機(jī)環(huán)境，運(yùn)行在8塊A6000 GPU上，采用GiGPO算法，批次大小為8，訓(xùn)練了3個(gè)輪次。步級獎勵(lì)的評判工作交給Qwen3.5-72B這個(gè)大模型來完成。

評測在MobileWorld基準(zhǔn)上進(jìn)行，這是一個(gè)在線交互式測試集，專門用來衡量GUI智能體完成真實(shí)移動端任務(wù)的端到端能力。研究團(tuán)隊(duì)重點(diǎn)關(guān)注其中的"GUI-Only"分組，共117個(gè)任務(wù)，要求AI純靠視覺操控完成真實(shí)手機(jī)上的任務(wù)，不借助任何程序接口。成功率的定義很直接：AI在規(guī)定步數(shù)（最多50步）內(nèi)完成任務(wù)就算成功。

ClawGUI-2B在這個(gè)測試上取得了17.1%的成功率。這個(gè)數(shù)字乍看不高，但對比其他選手就很能說明問題了。同等參數(shù)規(guī)模的MAI-UI-2B只有11.1%，ClawGUI-2B比它高出整整6個(gè)百分點(diǎn)，而且兩者的起點(diǎn)是同一個(gè)基礎(chǔ)模型，差距完全來自ClawGUI-RL這套訓(xùn)練基礎(chǔ)設(shè)施的貢獻(xiàn)。

更引人注目的對比來自那些體量大得多的模型。Qwen3-VL-32B是ClawGUI-2B的16倍大，成績卻只有11.9%。UI-Venus-72B是ClawGUI-2B的36倍大，成績也只有16.4%，還比ClawGUI-2B低了0.7個(gè)百分點(diǎn)。換句話說，一個(gè)經(jīng)過精良訓(xùn)練的2B小模型，在真實(shí)手機(jī)操控任務(wù)上能打敗36倍于自身體積的模型，這件事本身就很有意義——說明在這個(gè)領(lǐng)域，訓(xùn)練方式的質(zhì)量比模型的原始參數(shù)量更重要。

當(dāng)然，頂部還有一個(gè)完全不同的競爭梯隊(duì)：把超強(qiáng)的商業(yè)大模型（如Gemini-3-Pro、GPT-5、Claude-4.5-Sonnet）和專門的界面定位小模型組合在一起的"框架型方案"，成績最高能到55.6%。但這類方案依賴閉源的商業(yè)模型，無法自己端到端訓(xùn)練，更適合作為參考對象而不是競爭對手。

在GRPO和GiGPO的對比測試中，兩者使用完全相同的其他設(shè)置，唯一差別在于獎勵(lì)的粒度。GRPO只給每條軌跡整體打分，成績是14.5%；換成GiGPO之后，成績提升到17.1%，相對提升幅度達(dá)到17.9%。這個(gè)對比直接證實(shí)了一件事：在需要幾十步操作的復(fù)雜任務(wù)中，每一步的細(xì)粒度信用分配對于AI的學(xué)習(xí)質(zhì)量有實(shí)質(zhì)性影響，不是細(xì)枝末節(jié)。

說到底，ClawGUI做的事情看起來像是在修繕工具箱，而不是發(fā)明一件驚天動地的新武器。但正是這種扎扎實(shí)實(shí)的基礎(chǔ)設(shè)施建設(shè)，往往才是推動一個(gè)領(lǐng)域真正成熟的關(guān)鍵。GUI智能體這個(gè)領(lǐng)域已經(jīng)有很多聰明的想法和模型，缺的恰恰是一個(gè)大家都能用、都能對比、都能把成果真正送到用戶手里的統(tǒng)一平臺。

這對于普通用戶意味著什么？最近幾年，AI助手的能力已經(jīng)讓很多人感到震驚，但"能和你聊天"和"能替你操作手機(jī)"之間還有很長的距離。ClawGUI這套框架的價(jià)值，在于它把這條路上最難走的幾段工程問題都鋪平了，讓后續(xù)的研究者可以踩著這塊基石繼續(xù)往前走。按照這個(gè)方向發(fā)展下去，在不遠(yuǎn)的未來，一個(gè)真正能在手機(jī)上替你處理日常雜務(wù)、記住你的習(xí)慣、跨多個(gè)平臺無縫工作的AI助手，變得更加可期。

如果你對這套框架的技術(shù)細(xì)節(jié)感興趣，可以通過論文編號arXiv:2604.11784找到完整論文，所有代碼也已開源在GitHub上的zju-real/ClawGUI倉庫。不妨思考一個(gè)問題：當(dāng)AI真正能像人一樣熟練操控手機(jī)之后，你最希望它幫你處理哪件日常雜事？

Q&A

Q1：ClawGUI和普通的AI手機(jī)助手有什么區(qū)別？

A：普通AI手機(jī)助手（比如Siri或小愛同學(xué)）主要靠調(diào)用系統(tǒng)級API完成任務(wù)，覆蓋范圍有限。ClawGUI訓(xùn)練出來的GUI智能體是直接"看屏幕、點(diǎn)按鈕"來操控手機(jī)，和人類用手機(jī)的方式一樣，理論上可以操作任何應(yīng)用，不需要應(yīng)用開放專門的接口。ClawGUI還是一套完整的研究工具鏈，同時(shí)解決了訓(xùn)練、評測和部署三個(gè)環(huán)節(jié)的問題。

Q2：ClawGUI-2B成績只有17%，是不是表現(xiàn)很差？

A：這個(gè)數(shù)字需要放到具體背景里理解。MobileWorld GUI-Only測試的117個(gè)任務(wù)要求AI純靠視覺操控完成真實(shí)手機(jī)操作，任務(wù)難度相當(dāng)高。17.1%的成績在同等規(guī)模的開源端到端模型里處于領(lǐng)先位置，比參數(shù)量大得多的Qwen3-VL-32B（11.9%）和UI-Venus-72B（16.4%）都要高。頂部成績超過50%的方案依賴閉源商業(yè)大模型，不在同一個(gè)可比較的類別里。

Q3：GiGPO和GRPO的區(qū)別對普通用戶有影響嗎？

A：直接影響不大，但間接影響明顯。GiGPO通過給每一步操作單獨(dú)打分，讓AI學(xué)得更精準(zhǔn)，最終體現(xiàn)在任務(wù)完成率上——同樣的訓(xùn)練資源和基礎(chǔ)模型，用GiGPO訓(xùn)練比用GRPO訓(xùn)練成功率高了約17.9%（從14.5%到17.1%）。對于普通用戶來說，這意味著AI更少在中途走彎路，完成任務(wù)的概率更高、速度更快。