把大模型「放進電腦里」，會出現(xiàn)一種很奇特的反差：

它能寫代碼、能推理、能把論文總結(jié)得頭頭是道；但一旦讓它去操作 Excel、Word 這種真實桌面軟件，卻像第一次用電腦的人 -- 點錯菜單、來回切換，甚至在同一頁里循環(huán)點擊。

很多人第一反應(yīng)會覺得是 Agent 沒看清按鈕，或者沒理解任務(wù)，不知道界面上各個選項是什么意思。但在真實軟件里，更大的問題往往不是「看不見」，而是「不知道點下去會發(fā)生什么」。

在同一個界面上，不同的操作會把系統(tǒng)帶到完全不同的狀態(tài)，一旦點錯，往往很難簡單撤銷。操作會產(chǎn)生延遲，流程被打斷，有時甚至?xí)苯悠茐奈臋n。因此，關(guān)鍵不只是識別界面或讀懂指令，而是能提前判斷每個動作可能帶來的結(jié)果。

人學(xué)習(xí)使用軟件時，看起來像是在界面里「到處試一試」。

比如你要給一個 Excel 工作簿加密。面對界面時，你會下意識地判斷：點這個入口會不會彈出密碼窗口？點那個標簽只是切換視圖，還是在真正推進任務(wù)？哪個操作更像是在朝目標靠近？

你并不是隨便點擊，而是在挑一個更可能有效的下一步。

這種在行動前先預(yù)想結(jié)果、再用一次操作去驗證的過程，在認知科學(xué)中通常被稱為反事實推理。

很多時候，人并不是等系統(tǒng)反饋才知道對錯，而是先對可能發(fā)生的結(jié)果有一個大致預(yù)期，再去確認。

相比之下，不少 GUI Agent 更像「看一步、做一步」：它能讀懂當(dāng)前截圖里的內(nèi)容，卻缺少對「這個動作通常會帶來什么變化」的判斷，因此只能在真實環(huán)境中反復(fù)嘗試，試錯成本也更高。

CUWM：在真正點擊之前，先在「腦海里點一遍」

微軟研究團隊提出的 Computer-Using World Model（CUWM），想解決的正是這個問題。它做的事情可以簡單理解為：在真的操作軟件之前，先讓智能體「想象一下會發(fā)生什么」。

• 論文鏈接：https://arxiv.org/html/2602.17365v1

更具體地說，給定當(dāng)前界面的截圖，以及一個候選操作（例如點擊某個按鈕），CUWM 會預(yù)測執(zhí)行這個操作后的界面圖像。

圖 1 展示了以當(dāng)前軟件界面的截圖和對應(yīng)操作作為輸入，CUWM 預(yù)測執(zhí)行該操作后出現(xiàn)的下一步界面圖像。當(dāng)智能體面對多個可選動作時，它不需要立刻在真實軟件里一個個去試，而是先把這些動作交給世界模型模擬 —— 于是會得到幾種「想象出來的下一步界面」。

圖 1：CUWM 預(yù)測的不同動作導(dǎo)致的軟件界面圖片。從同一當(dāng)前界面（current state）出發(fā)，執(zhí)行不同操作，如點擊 Encrypt with Password、打開 Images 或放大視圖，會得到不同的下一個狀態(tài)（例如彈出密碼窗口、展開工具面板或改變顯示比例）。

接下來，智能體只需比較：哪一種結(jié)果更接近任務(wù)目標？選出最合理的一步，再在真實系統(tǒng)中執(zhí)行。

論文把這個過程稱為world-model-guided test-time action search。重要的是，智能體本身的策略是凍結(jié)的，沒有重新訓(xùn)練；性能提升來自于更好的「預(yù)演」和更充分的測試時計算，而不是把 Agent 本身變得更復(fù)雜。

換句話說，CUWM 不是在教智能體更會操作，而是在給它一種「先想后做」的能力。

圖 2：CUWM 概述：給定當(dāng)前 UI 截圖與動作（如點擊 Excel 的列「H」），CUWM 先生成一段聚焦局部變化的過渡描述（Stage 1），再在保持不變區(qū)域穩(wěn)定的前提下對截圖進行條件編輯，生成預(yù)測的下一狀態(tài)（Stage 2）。

關(guān)鍵設(shè)計：模型關(guān)注的不是像素，而是「變化」

桌面軟件 UI 的特點是：大部分區(qū)域長期不變，變化通常發(fā)生在局部 —— 選區(qū)高亮、面板展開、彈窗出現(xiàn)、光標移動…… 如果端到端預(yù)測整張下一幀截圖，模型既要背負巨大的不變背景，又要捕捉極小但關(guān)鍵的變化，低效且容易「注意力錯位」。

CUWM 的關(guān)鍵設(shè)計是把「下一步預(yù)測」拆成兩段：

• Stage 1：先說清楚「變了什么」（Textual State Transition）：輸出一段結(jié)構(gòu)化、盡量簡潔的「過渡描述」，只寫與動作相關(guān)的界面變化；
• Stage 2：再把變化落實到截圖上（Visual State Realization）：用條件圖像編輯把變化渲染到原圖上，盡量保持不變區(qū)域穩(wěn)定，生成下一步截圖。

這一分解的重點不在「畫得多逼真」，而在讓模型學(xué)到：動作改變的是系統(tǒng)狀態(tài)，而智能體真正需要的是「點了之后世界怎么變」。

圖 2 展示了 CUWM 的兩階段流程：先生成「變化描述」，再把變化實現(xiàn)成下一幀 UI。這種「what changes /how it appears」的分解，讓模型把注意力放在動作后果上，而不是低效地重繪整張界面。

訓(xùn)練數(shù)據(jù)怎么來：從真實交互里抽三元組，再自動寫「變化描述」

CUWM 不依賴昂貴的在線強化學(xué)習(xí)環(huán)境，而是從真實軟件的交互軌跡中構(gòu)造訓(xùn)練樣本：把一次操作前后的界面截圖配對，再附上對應(yīng)的動作表示，形成標準的 ((s_t, a_t, s_{t+1})) 訓(xùn)練三元組。

關(guān)鍵在于 Stage 1 的監(jiān)督信號 ——「變化描述」怎么得到？論文做法是用 GPT-5 作為自動標注器：對每個三元組生成一段簡潔的 UI 變化描述，明確「哪些變了、哪些不變」，用來監(jiān)督微調(diào) Stage 1。

為了讓描述更短、更結(jié)構(gòu)化、更少幻覺，作者還在 SFT 之后用 GRPO 做輕量 RL 細化：獎勵由 LLM-as-a-Judge 的結(jié)構(gòu)一致性評分與長度懲罰組合，從而有效覆蓋關(guān)鍵 UI 結(jié)構(gòu)。

結(jié)果：智能體開始「規(guī)劃行動」

在實驗中，智能體需要完成「給 Excel 工作簿添加密碼保護」的任務(wù)。它不會立刻在真實環(huán)境里點來點去，而是先提出多個候選動作，并逐個調(diào)用 CUWM 進行模擬，得到每個動作可能帶來的「下一步界面」。

隨后，智能體把這些模擬結(jié)果與任務(wù)目標進行對照，最終選擇點擊「Protect Workbook」—— 因為這一候選動作對應(yīng)的預(yù)測界面最符合「進入保護 / 加密流程」的預(yù)期方向。

那么，智能體是如何在點擊前完成一次「內(nèi)部試錯」的？圖 3 給出了直觀示例。

圖 3：先模擬后執(zhí)行：world model 做「模擬器」，Agent 做「決策者」。 智能體先提出多個候選動作，CUWM 分別預(yù)測每個動作會導(dǎo)致怎樣的下一步 UI；智能體再根據(jù)這些預(yù)測結(jié)果與任務(wù)目標的匹配程度，選擇更可能推進任務(wù)的那一步（示例中為「Protect Workbook」），從而減少真實環(huán)境中的反復(fù)試錯與無效點擊。

這正是 CUWM 的價值所在：把高成本的環(huán)境試錯轉(zhuǎn)移到模型內(nèi)部。智能體先在「想象出來的下一屏」里完成比較與選擇，再把最有希望的一步落到真實軟件執(zhí)行。從「高成本試錯」變成「低成本模擬」，顯著降低無效操作與循環(huán)點擊，讓 GUI Agent 從反應(yīng)式點擊走向規(guī)劃式?jīng)Q策。

更進一步，論文指出，性能提升的關(guān)鍵更多來自對界面結(jié)構(gòu)變化的正確預(yù)測（例如面板是否展開、關(guān)鍵入口是否出現(xiàn)），而不只是生成圖像的視覺逼真度。這也側(cè)面說明，GUI Agent 的核心能力并非純視覺識別，而是面向交互的規(guī)劃與決策。

更深層的意義：Agent 決策能力意味著什么

如果把大模型的發(fā)展看成一條連續(xù)的能力變化，其實不只是「更聰明了」，而是能力的類型在改變。

過去，大模型主要解決的是理解與表達的問題：它能讀懂一段話、回答問題、寫文章、解釋概念。這些能力本質(zhì)上都發(fā)生在「信息空間」里 —— 輸入是文本，輸出也是文本。模型只需要給出一個合理的回答，不需要承擔(dān)真實后果。

但當(dāng) AI 進入軟件環(huán)境，問題發(fā)生了變化，這里不再是「回答是否合理」，而是「動作是否有效」。一次點擊、一次輸入、一次拖拽，都會改變系統(tǒng)狀態(tài)，并影響之后還能不能繼續(xù)完成任務(wù)。也就是說，AI 不再只是解釋世界，而是在改變世界（哪怕只是數(shù)字世界）。

這時，Agent 的核心能力就變成了決策能力：它必須在多個可能動作中做選擇，并對選擇的后果負責(zé)。關(guān)鍵不再是「這句話對不對」，而是「這一步走完之后，任務(wù)更接近還是更遠」。

人類在操作軟件時，之所以效率很高，是因為在行動前會形成一種內(nèi)部判斷：這個操作大概會帶來什么結(jié)果。如果結(jié)果不符合目標，往往在點擊前就會放棄，而不是等系統(tǒng)報錯。這其實是一種對「動作 → 狀態(tài)變化」的理解。

而很多當(dāng)前的 GUI Agent 缺少的正是這一層。它能識別界面、能理解指令，卻仍然主要依賴真實交互去排除錯誤路徑。也就是在環(huán)境里不斷試錯，直到碰到正確步驟。換句話說，它更像是在反應(yīng)，而不是在決策。

CUWM 的意義，不只是提高成功率，而是讓 Agent 開始具備一種新的能力：在執(zhí)行之前先評估后果。

當(dāng)智能體可以先模擬不同動作帶來的不同未來，再選擇更合適的一步時，它做的就不再只是「操作界面」，而是進行路徑規(guī)劃。試錯仍然存在，但優(yōu)先發(fā)生在內(nèi)部，而不是直接作用于真實系統(tǒng)。

因此，這里的轉(zhuǎn)變可以這樣理解：大模型讓 AI 學(xué)會了「如何回答」，而決策能力讓 AI 開始學(xué)會「如何行動」。當(dāng) AI 能根據(jù)預(yù)期后果來選擇動作時，它才真正從一個對話工具，變成一個能夠在數(shù)字環(huán)境中推進任務(wù)的行動體。

作者介紹

CUWM 的作者是微軟實習(xí)生以及微軟 UFO 團隊的成員，包括Yiming Guan、Rui Yu、John Zhang、Lu Wang、Chaoyun Zhang、Liqun Li、Bo Qiao、Si Qin、He Huang、Fangkai Yang、Pu Zhao等。