2026 年央視春晚展示的機(jī)器人甚至可以?shī)A烤腸和用竹簽串烤腸了，還有一臺(tái)登上本次春晚的機(jī)器人的價(jià)格甚至已經(jīng)下探到萬(wàn)元以下，距離進(jìn)入尋常百姓家真的不遠(yuǎn)了?？墒牵幸惶煺娴膩?lái)了一個(gè)機(jī)器人到你家里幫忙，結(jié)果它卡在了沒(méi)法幫你回微信的第一步？

這聽(tīng)起來(lái)像是一個(gè)笑話(huà)，但其實(shí)是目前機(jī)器人進(jìn)家門(mén)遇到的真實(shí)問(wèn)題?，F(xiàn)在許多事情都離不開(kāi)手機(jī)：智能門(mén)鎖需要授權(quán)密碼、刷個(gè)抖音都得用手指滑動(dòng)解鎖。如果機(jī)器人不會(huì)操作手機(jī)，那么當(dāng)它干完掃地擦窗的活兒，碰到這些需要依賴(lài)手機(jī)的任務(wù)就只能干瞪眼。

英國(guó)倫敦大學(xué)學(xué)院汪軍教授團(tuán)隊(duì)趙皓宇博士生和合作者打造了一個(gè)名為 See-Control（視控）的框架，讓機(jī)器人像人一樣看屏幕和思考，然后使用機(jī)械手指戳點(diǎn)屏幕操控手機(jī)，徹底繞開(kāi)了過(guò)去智能手機(jī)助手必須給手機(jī)插數(shù)據(jù)線(xiàn)以及使用系統(tǒng)開(kāi)發(fā)者工具才能操控的老路子。

圖 | 趙皓宇（來(lái)源：受訪(fǎng)者）

趙皓宇告訴 DeepTech：“我們解決了現(xiàn)在大部分廠(chǎng)家都存在的一個(gè)痛點(diǎn)：自動(dòng)化手機(jī)助手操作手機(jī)必須要通過(guò)系統(tǒng)開(kāi)發(fā)者工具配合數(shù)據(jù)線(xiàn)來(lái)與電腦連接，并且只能操控單一手機(jī)操作系統(tǒng)。想象一下你家里有一臺(tái)機(jī)器人。也許是家務(wù)機(jī)器人，或者你桌上的機(jī)械臂。通過(guò)我們完全純視覺(jué)的方案，不依賴(lài)任何平臺(tái)開(kāi)發(fā)軟件，可以擴(kuò)展到任意的觸屏設(shè)備且不需要任何線(xiàn)接。同時(shí)用戶(hù)可以保證隱私不會(huì)有任何泄露，因?yàn)槭謾C(jī)完完全全是機(jī)械臂物理點(diǎn)擊交互，不需要開(kāi)放任何權(quán)限、開(kāi)發(fā)者協(xié)議，也不需要下載任何軟件。用戶(hù)完全不用擔(dān)心手機(jī)會(huì)不會(huì)泄露隱私。包括部分不會(huì)用智能手機(jī)的老人、不會(huì)用開(kāi)發(fā)者選項(xiàng)在內(nèi)的非專(zhuān)業(yè)用戶(hù)也可以通過(guò)這套系統(tǒng)來(lái)受益?！?/p>

（來(lái)源：https://arxiv.org/pdf/2512.08629）

通常，當(dāng)我們希望使用電腦控制智能手機(jī)時(shí)，會(huì)使用一種叫做 ADB（Android Debug Bridge，安卓調(diào)試橋）的工具。它就像一根“數(shù)字電纜”，讓程序員可以直接向手機(jī)系統(tǒng)發(fā)送指令。

但問(wèn)題就在這里，使用 ADB 的方式與人類(lèi)使用手機(jī)的方式并不一樣，我們不會(huì)把一根線(xiàn)插進(jìn)大腦來(lái)打開(kāi)應(yīng)用，而是通過(guò)看屏幕、用手指輕觸來(lái)完成操作。另外，ADB 只支持 Android 平臺(tái)，還需要開(kāi)啟特殊的開(kāi)發(fā)者模式，這本身就可能帶來(lái)一定的安全風(fēng)險(xiǎn)，就像給系統(tǒng)留了一扇沒(méi)有上鎖的后門(mén)。

而基于物理交互方式的 See-Control 的工作原理特別像我們教老人使用智能手機(jī)：機(jī)器人盯著屏幕截圖，腦子里的大模型分析這是微信紅包還是詐騙鏈接，然后決定到底是點(diǎn)一下、劃一下還是打幾個(gè)字。整個(gè)過(guò)程完全不碰手機(jī)核心部分，就像使用指尖操作一樣自然。

為了讓它真正靠譜，該團(tuán)隊(duì)專(zhuān)門(mén)設(shè)計(jì)了 155 個(gè)日常任務(wù)讓機(jī)器人練習(xí)，從最簡(jiǎn)單的打開(kāi)設(shè)置，到復(fù)雜的在小紅書(shū)搜索攻略、截圖、發(fā)給微信好友，難度步步升級(jí)。測(cè)試結(jié)果雖然不算完美，簡(jiǎn)單任務(wù)的成功率還行（大于 90%），跨越多個(gè) APP 的任務(wù)還有點(diǎn)手忙腳亂。但是，方向已經(jīng)十分清晰，那就是未來(lái)的家用機(jī)器人可以通過(guò)觀(guān)察和觸摸來(lái)接管你的手機(jī)雜活。

該團(tuán)隊(duì)將手機(jī)操作問(wèn)題建模為部分可觀(guān)測(cè)馬爾可夫決策過(guò)程（POMDP），并且將多模態(tài)大模型能力裝進(jìn)了機(jī)器人里，使用了 GPT-4o、QwenVL 這樣的視覺(jué)語(yǔ)言模型，讓機(jī)器人不僅能夠看見(jiàn)屏幕上的圖標(biāo)和文字，還能理解點(diǎn)擊某個(gè)頭像背后的社交意圖。

有個(gè)特別有意思的設(shè)計(jì)是視覺(jué)提示：在智能體發(fā)出要對(duì)圖標(biāo)進(jìn)行定位的指令時(shí)，機(jī)器人先是用一個(gè)名為 Grounding DINO 的目標(biāo)檢測(cè)模型，把屏幕上可交互的按鈕全部框出來(lái)，標(biāo)上數(shù)字 123，假如用戶(hù)要點(diǎn)披薩，這時(shí)機(jī)器人就會(huì)問(wèn)大模型用戶(hù)讓點(diǎn)披薩應(yīng)該點(diǎn)哪一個(gè)，大模型一看 3 號(hào)是某披薩品牌的圖標(biāo)，OK 就它了。這套流程模仿了人類(lèi)掃一眼屏幕、鎖定目標(biāo)的本能反應(yīng)。

（來(lái)源：https://arxiv.org/pdf/2512.08629）

當(dāng)然，要讓機(jī)器人真的在你的手機(jī)屏幕上戳來(lái)戳去，還需要解決幾個(gè)頭疼的技術(shù)難題。最典型的是返回、退出和打字這三個(gè)動(dòng)作。以前使用電腦上的系統(tǒng)開(kāi)發(fā)者工具例如 Android Debug Bridge（ADB）調(diào)試手機(jī)，一條指令就能搞定；現(xiàn)在機(jī)器人只能使用物理手勢(shì)，想返回就得從左向右滑，想退回到桌面就得從底部向上推，特別是打字，還需要對(duì)虛擬鍵盤(pán)的每一個(gè)鍵的位置都有準(zhǔn)確的認(rèn)知。這也是目前復(fù)雜任務(wù)的成功率較低的原因。

但是該團(tuán)隊(duì)留了一個(gè)后手。他們把機(jī)器人每次操作的思考過(guò)程和動(dòng)作記錄全部保存下來(lái)，做成一個(gè)數(shù)據(jù)集公開(kāi)分享。這里既有成功的經(jīng)驗(yàn)，也有失敗的教訓(xùn)，甚至標(biāo)注了“這一步點(diǎn)對(duì)了嗎”“整個(gè)任務(wù)完成沒(méi)”等信息，讓其他研究者也可以依靠這些數(shù)據(jù)訓(xùn)練出更聰明的機(jī)器人。

（來(lái)源：https://arxiv.org/pdf/2512.08629）

應(yīng)用場(chǎng)景當(dāng)然距離我們非常近。比如，未來(lái)你在沙發(fā)上喊一聲“幫我交話(huà)費(fèi)”，機(jī)器人就會(huì)晃晃悠悠地走過(guò)來(lái)，看著手機(jī)屏幕點(diǎn)開(kāi)支付寶和輸入密碼；再比如，當(dāng)你出門(mén)忘記帶手機(jī)，遠(yuǎn)程讓家里的機(jī)器人幫你截圖快遞二維碼發(fā)到你的智能手表上進(jìn)行閃送；再再比如，家里有老人不會(huì)使用打車(chē)軟件，機(jī)器人可以代勞叫車(chē)，送到醫(yī)院還能幫忙掛號(hào)。

趙皓宇表示：“我們做的用戶(hù)測(cè)試顯示，很多人都認(rèn)為這種形式能夠極大程度上幫助到老年人、殘障人士，或者一些沒(méi)有時(shí)間用手機(jī)的人，極大減緩工作時(shí)間，提高工作效率。想象一位重度運(yùn)動(dòng)障礙患者或年邁的老人：他們可能無(wú)法握持手機(jī)，或者因?yàn)槭侄抖y以精準(zhǔn)點(diǎn)擊細(xì)小的圖標(biāo)。有了 See-Control，只需對(duì)語(yǔ)音助手說(shuō)一句：‘給我孫子打微信電話(huà)?！瘷C(jī)器人就會(huì)自動(dòng)在手機(jī)屏幕上操作——打開(kāi)應(yīng)用、找到聯(lián)系人、點(diǎn)擊呼叫按鈕，一氣呵成。它像一座橋梁，把數(shù)字世界與用戶(hù)的身體限制連接起來(lái)，讓原本困難甚至不可能完成的操作，變得簡(jiǎn)單而可及。”

正常生活中我們可能要搶券、點(diǎn)外賣(mài)，這一切都會(huì)通過(guò)手機(jī)助手解決掉。通過(guò)賦能機(jī)器人使用手機(jī)，我們可以幻想不只是讓手機(jī)助手點(diǎn)外賣(mài)，機(jī)器人甚至可以完成點(diǎn)外賣(mài)到幫你直接將外賣(mài)拿到你的身邊的全流程。同時(shí)也有商業(yè)可能性，比如在小紅書(shū)自動(dòng)尋找商機(jī)、回復(fù)評(píng)論、找到相應(yīng)帖子，這都能便利日常生活，極大減緩工作流程?！耙?yàn)槲覀冞@個(gè)解決方案是全部物理接觸，避開(kāi)了應(yīng)用本身存在的限制。”他說(shuō)。

這種操作方式可以天然地保護(hù)隱私。過(guò)去用系統(tǒng)開(kāi)發(fā)者工具，等于給機(jī)器人開(kāi)了一扇后門(mén)，聯(lián)系人、相冊(cè)、聊天記錄等一覽無(wú)余?，F(xiàn)在它只能看到屏幕，讓它點(diǎn)啥就點(diǎn)啥，絕不多看一眼。

當(dāng)然，目前的原型機(jī)還比較簡(jiǎn)單，只有一根手指，做不了放大和縮小這種雙指操作，反應(yīng)速度也有所延遲。據(jù)了解，該團(tuán)隊(duì)刻意使用最簡(jiǎn)單的機(jī)械臂做測(cè)試，就是為了先把最難的問(wèn)題暴露出來(lái)，比如怎么在反光的屏幕上精準(zhǔn)定位，怎么理解五花八門(mén)的 UI 設(shè)計(jì)，怎么從錯(cuò)誤中學(xué)習(xí)。這些問(wèn)題一旦解決，未來(lái)搭配更靈活的機(jī)械手、更快的本地推理芯片，也許過(guò)不了幾年真的只需動(dòng)動(dòng)嘴就能讓機(jī)器人干活了。

（來(lái)源：https://arxiv.org/pdf/2512.08629）

趙皓宇表示：“我們的愿景是通過(guò) See-Control 這套系統(tǒng)，實(shí)現(xiàn)一個(gè)統(tǒng)一的解決方案。這套方案不存在任何平臺(tái)限制，就是用一套純視覺(jué)的方案，通過(guò)手機(jī)屏幕畫(huà)面，讓機(jī)器人像模擬人類(lèi)那樣去操縱手機(jī)。全部都是擬真的、物理的操作，不限于任何手機(jī)、任何平臺(tái)。在未來(lái)，我們也希望這套純視覺(jué)方案可以無(wú)縫銜接到不同的觸摸設(shè)備上面，通過(guò)機(jī)械臂完成一切需要像人類(lèi)一樣交互的邏輯?！?/p>

在未來(lái)，其希望機(jī)器人不只是家中的掃地機(jī)器人，而是能夠作為一個(gè)中樞、一個(gè)全面的助手來(lái)幫助人類(lèi)生活?？梢韵胂螅磥?lái)可能有殘障人士通過(guò)我們這套具身智能體來(lái)點(diǎn)外賣(mài)，機(jī)器人就可以去拿外賣(mài)、下訂單，完全實(shí)現(xiàn)自動(dòng)交互。

參考資料：

相關(guān)論文 https://arxiv.org/pdf/2512.08629

趙皓宇主頁(yè) https://haoyu-zhao.github.io/

排版：劉雅坤