嘻瘋 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

3萬(wàn)臺(tái)首批備貨被一搶而空、在二手市場(chǎng)價(jià)格翻番的當(dāng)紅炸子雞“豆包手機(jī)”，更多技術(shù)詳情得到證實(shí)。

事實(shí)證明，豆包手機(jī)助手技術(shù)預(yù)覽版背后，是字節(jié)在“系統(tǒng)級(jí)GUI Agent”賽道上布局了近兩年的大棋。

在官方演示中，搭載在工程樣機(jī)nubia M153上的它，能代替用戶(hù)操作手機(jī)，跨應(yīng)用自動(dòng)化執(zhí)行任務(wù)

比如一次性下達(dá)多個(gè)指令，讓它一口氣完成在飛書(shū)上代為請(qǐng)假、提交差旅申請(qǐng)、預(yù)訂出差高鐵票等復(fù)雜任務(wù)：

而據(jù)量子位最新打聽(tīng)到的消息，這套圖形界面操作能力，正是建立在字節(jié)自研的UI-TARS模型基礎(chǔ)之上

開(kāi)發(fā)者對(duì)此系列模型應(yīng)該并不陌生。初代一經(jīng)開(kāi)源便引發(fā)熱議，被評(píng)價(jià)性能優(yōu)于當(dāng)時(shí)曝光的OpenAI Operator（UI-TARS在Operator正式發(fā)布前就已發(fā)布）。

“豆包手機(jī)”使用的則是UI-TARS閉源版本，不僅性能優(yōu)于其開(kāi)源版本，還針對(duì)Mobile Use進(jìn)行了大量?jī)?yōu)化

換言之，豆包手機(jī)助手的核心技術(shù)探索方向，實(shí)際上早就開(kāi)源了。

PS：關(guān)鍵后來(lái)正式發(fā)布的Operator，還要開(kāi)200美元一個(gè)月的Pro會(huì)員才能用……

UI-TARS模型的持續(xù)進(jìn)化與應(yīng)用

早在今年1月，字節(jié)Seed團(tuán)隊(duì)與清華聯(lián)手開(kāi)源初代UI-TARS，為系統(tǒng)級(jí)AI Agent奠定基礎(chǔ)。此后，團(tuán)隊(duì)便沿著這條路線(xiàn)持續(xù)深耕，不斷迭代打磨能力。

團(tuán)隊(duì)指出，原生Agent需具備感知、動(dòng)作、推理、記憶四大核心能力。

因此，初代UI-TARS圍繞這些能力進(jìn)行了四大關(guān)鍵創(chuàng)新。

1）通過(guò)大規(guī)模GUI截圖數(shù)據(jù)集和五大感知任務(wù)（元素描述、標(biāo)記區(qū)域感知等）增強(qiáng)GUI感知精度。

2）設(shè)計(jì)跨平臺(tái)統(tǒng)一動(dòng)作空間，整合標(biāo)注軌跡與開(kāi)源數(shù)據(jù)提升動(dòng)作定位準(zhǔn)確性。

3）融入600萬(wàn)高質(zhì)量GUI教程和多種推理模式（任務(wù)分解、反思等），注入System-2深思型推理能力。

4）借助數(shù)百臺(tái)虛擬機(jī)自動(dòng)收集交互軌跡，通過(guò)多階段過(guò)濾、反思調(diào)優(yōu)和直接偏好優(yōu)化（DPO）解決數(shù)據(jù)瓶頸，實(shí)現(xiàn)模型迭代優(yōu)化。

在GUI Agent基準(zhǔn)測(cè)試中，初代UI-TARS已有突破性表現(xiàn)，一舉拿下多個(gè)SOTA。

僅過(guò)短短3個(gè)月，團(tuán)隊(duì)又推出了全新的開(kāi)源版本UI-TARS-1.5。

在延續(xù)前代基礎(chǔ)架構(gòu)的前提下，UI-TARS-1.5新增強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的推理機(jī)制，讓模型在執(zhí)行動(dòng)作前能通過(guò)思考過(guò)程進(jìn)行推理，顯著提升了性能與推理階段的擴(kuò)展性。

在多項(xiàng)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中，UI-TARS-1.5相比前代模型實(shí)現(xiàn)了顯著進(jìn)步。

在GUI定位任務(wù)上，刷新SOTA：

同時(shí)，在測(cè)試中，團(tuán)隊(duì)引入新玩法——讓UI-TARS-1.5玩游戲

團(tuán)隊(duì)指出，與數(shù)學(xué)或編程等領(lǐng)域不同，游戲往往要求直覺(jué)式、常識(shí)性的推理以及策略性的前瞻思考，非常適合作為基準(zhǔn)任務(wù)。

他們從poki.com挑選14款游戲進(jìn)行測(cè)試，通過(guò)標(biāo)準(zhǔn)化評(píng)分，UI-TARS-1.5在與OpenAI CUA、Claude 3.7的對(duì)決中勝出。

今年9月，UI-TARS-2的發(fā)布將智能體能力推向新高度，也為豆包手機(jī)助手提供了關(guān)鍵技術(shù)支撐。

UI-TARS-2瞄準(zhǔn)的是讓智能體真正實(shí)現(xiàn)圖形界面的自主交互。

它進(jìn)一步解決了前代模型及現(xiàn)有GUI Agent面臨的數(shù)據(jù)可擴(kuò)展性、多輪強(qiáng)化學(xué)習(xí)（RL）穩(wěn)定性、純GUI操作局限與環(huán)境穩(wěn)定性四大問(wèn)題。

UI-TARS-2以多輪強(qiáng)化學(xué)習(xí)為核心，通過(guò)四大核心技術(shù)實(shí)現(xiàn)突破：

首先，團(tuán)隊(duì)設(shè)計(jì)了可擴(kuò)展的數(shù)據(jù)飛輪（Data Flywheel），通過(guò)“持續(xù)預(yù)訓(xùn)練-監(jiān)督微調(diào)-拒絕采樣-多輪RL”的循環(huán)迭代，讓模型與訓(xùn)練數(shù)據(jù)協(xié)同進(jìn)化。高質(zhì)量軌跡流入監(jiān)督微調(diào)數(shù)據(jù)集，低質(zhì)量軌跡補(bǔ)充至持續(xù)預(yù)訓(xùn)練數(shù)據(jù)集，形成自增強(qiáng)閉環(huán)。

其次，團(tuán)隊(duì)設(shè)計(jì)了在長(zhǎng)時(shí)序設(shè)定中穩(wěn)定優(yōu)化的訓(xùn)練框架，憑借有狀態(tài)異步rollout、流式更新與增強(qiáng)型PPO，解決長(zhǎng)周期任務(wù)優(yōu)化難題。

另外，打破純GUI操作的邊界，UI-TARS-2構(gòu)建了一個(gè)混合GUI中心環(huán)境（Hybrid GUI-centered Environment）。

通過(guò)SDK把文件系統(tǒng)、終端命令以及外部工具都接入進(jìn)來(lái)，讓圖形界面操作可以和系統(tǒng)級(jí)資源打通，不再局限于“模擬鼠標(biāo)鍵盤(pán)點(diǎn)來(lái)點(diǎn)去”。

最后，團(tuán)隊(duì)還開(kāi)發(fā)了統(tǒng)一的沙盒平臺(tái)，以標(biāo)準(zhǔn)化API管理云端VM、瀏覽器游戲沙盒等異構(gòu)環(huán)境，支撐數(shù)百萬(wàn)次交互的大規(guī)模訓(xùn)練與評(píng)估。

采用532M參數(shù)視覺(jué)編碼器與23B激活參數(shù)的MoE LLM架構(gòu)，UI-TARS-2在多場(chǎng)景表現(xiàn)全面提升。

15款游戲集合的平均標(biāo)準(zhǔn)化得分為59.77，更趨近人類(lèi)水平，在LMGame-Bench中與OpenAI o3等前沿模型競(jìng)爭(zhēng)力相當(dāng)。

綜上，幾經(jīng)迭代，UI-TARS研究成果現(xiàn)已成為最受歡迎的開(kāi)源多模態(tài)智能體之一。

在GitHub，該項(xiàng)目也已狂攬8.3k Star

而根據(jù)我們了解，豆包手機(jī)助手正是在這一成熟技術(shù)基礎(chǔ)上，進(jìn)一步針對(duì)手機(jī)端做了深度定制與優(yōu)化，最終形成可實(shí)際落地的產(chǎn)品形態(tài)。

官方回應(yīng)權(quán)限爭(zhēng)議，網(wǎng)友拆解工程設(shè)計(jì)

豆包手機(jī)助手技術(shù)預(yù)覽版發(fā)布后迅速爆火，同時(shí)也難免引發(fā)了一些爭(zhēng)議性討論。

比如豆包手機(jī)助手的“應(yīng)用權(quán)限”清單中，列舉了INJECT_EVENTS系統(tǒng)級(jí)權(quán)限用于操作手機(jī)。于是，有關(guān)AI獲取高權(quán)限是否會(huì)造成安全風(fēng)險(xiǎn)的討論蔓延開(kāi)來(lái)。

針對(duì)此關(guān)注，官方很快作出回應(yīng)。

總結(jié)而言，用戶(hù)需要主動(dòng)授權(quán)才能調(diào)用該權(quán)限使用操作手機(jī)功能，而且目前行業(yè)的AI助手都要使用類(lèi)似該權(quán)限才能提供操作手機(jī)服務(wù)。比如現(xiàn)在很多手機(jī)可以用語(yǔ)音助手定鬧鐘，就是通過(guò)INJECT_EVENTS權(quán)限實(shí)現(xiàn)的。

同時(shí)，豆包手機(jī)助手在遇到敏感授權(quán)，如支付、身份驗(yàn)證等，會(huì)暫停任務(wù)交由人工接管完成操作。

最近，也有網(wǎng)友從工程角度對(duì)豆包手機(jī)進(jìn)行了深入拆解與分析。

例如小紅書(shū)博主@宵逝(27fall 找直博版)，他在測(cè)試完豆包手機(jī)助手后，寫(xiě)了一篇長(zhǎng)達(dá)2385字的分析。

△圖注：引用內(nèi)容已獲本人授權(quán)

在隱私方面，@宵逝(27fall 找直博版)實(shí)測(cè)發(fā)現(xiàn)其“視覺(jué)管道是Filtered的”。比如你開(kāi)著B(niǎo)站畫(huà)中畫(huà)或是視頻通話(huà)懸浮窗，讓它操作主屏幕，它“看”不到懸浮窗，截屏只包含目標(biāo)應(yīng)用界面。

基于此，他推測(cè)豆包手機(jī)助手“獲取的Screenshot并不是讀取Display Buffer（物理屏幕輸出流），而是基于Activity Hierarchy抓取Targeted Activity，這意味著它在物理層面上就無(wú)法監(jiān)控你的視頻通話(huà)畫(huà)面”。

另外，他還觀(guān)察到，當(dāng)Agent在后臺(tái)執(zhí)行長(zhǎng)鏈任務(wù)時(shí)，前臺(tái)打入電話(huà)或者切換App，Agent仍在后臺(tái)持續(xù)運(yùn)行而不會(huì)被掛起

這可能意味著豆包手機(jī)助手在OS層做了“并行運(yùn)行”的虛擬化設(shè)計(jì)：后臺(tái)有一個(gè)獨(dú)立的Virtual Display（影子屏幕）供Agent執(zhí)行任務(wù)，從而不與用戶(hù)的前臺(tái)界面互相干擾。

博主直言，這種OS級(jí)魔改，讓他很多時(shí)候感覺(jué)“字節(jié)還得是字節(jié)”。

此外值得一提的是，在他看來(lái)，“最有意思的設(shè)計(jì)”是豆包手機(jī)助手把Agent拆成了標(biāo)準(zhǔn)模式和Pro模式兩套技術(shù)棧，“這不僅僅是模型大小的區(qū)別，而是完全不同的兩套Pipeline”。

他注意到標(biāo)準(zhǔn)模式走的是Naive Simulation，主要依賴(lài)淺層視覺(jué)（VLM），響應(yīng)極快，prompt小、通過(guò)壓低IO token獲得速度優(yōu)勢(shì)。

在測(cè)試時(shí)缺陷是，在遇到“相冊(cè)里的截圖（包含偽造的搜索按鈕）”這種視覺(jué)陷阱時(shí)，它會(huì)傻乎乎地去點(diǎn)擊圖片里的按鈕。

他表示，這是典型的System 1直覺(jué)反應(yīng)（也可能是上下文沒(méi)傳當(dāng)前系統(tǒng)狀態(tài)等detail信息）。

Pro模式則走的是Deep Reasoning+Tool Use。在同樣的“截圖陷阱”測(cè)試中，它會(huì)明顯出現(xiàn)Pause&Think的過(guò)程，隨后拒絕點(diǎn)擊并建議切換瀏覽器。

博主推測(cè)Pro所使用的模型，可能用的是thinking模式下的Agent，亦或是做了更多post-train的升級(jí)版，框架上做了上下文工程。

該博主還做了更深入的分析，感興趣的童鞋可以去原帖沖一波。

綜合觀(guān)察分析下來(lái)，他表示“認(rèn)可它的代碼邏輯是安全的：它有隔離、有熔斷、有本地化處理”。但也理解大家的質(zhì)疑，代碼是干凈的，但掌握代碼的人呢？這就是一個(gè)技術(shù)之外的社會(huì)學(xué)問(wèn)題了。

不過(guò)，他也表達(dá)了自己的態(tài)度：

• 如果它能幫我處理掉80%的瑣事，我愿意讓渡一部分經(jīng)過(guò)脫敏的、非核心隱私的數(shù)據(jù)。
• 比起被無(wú)良App偷偷傳通訊錄，后臺(tái)悄咪咪利用漏洞查我信息，我更愿意把數(shù)據(jù)交給一個(gè)有著嚴(yán)格RAG機(jī)制和系統(tǒng)級(jí)隔離的Agent。

有意思的是，一邊有人討論隱私，一邊也有人的關(guān)注點(diǎn)在于“能幫我打游戲、刷分嗎？

笑死，網(wǎng)友前腳剛問(wèn)，后腳官方就最新發(fā)布了基于行業(yè)發(fā)展主動(dòng)限制其部分能力的聲明

包括限制刷分、刷激勵(lì)的使用場(chǎng)景以及限制部分游戲類(lèi)使用場(chǎng)景，也將暫時(shí)下線(xiàn)操作銀行、互聯(lián)網(wǎng)支付等金融類(lèi)APP的能力

“全球第一款真正AI手機(jī)”

買(mǎi)到“豆包手機(jī)”的網(wǎng)友，真實(shí)上手實(shí)測(cè)后還說(shuō)了些什么？體驗(yàn)到底咋樣？

在華創(chuàng)業(yè)者Taylor Ogan拿到了手機(jī)后，就在上連發(fā)帖子，給出的評(píng)價(jià)那是相當(dāng)?shù)母撸òl(fā)出宋丹丹的聲音），稱(chēng)其為“又一次DeepSeek時(shí)刻，這是全球第一部真正的AI智能手機(jī)”。

他發(fā)視頻展示用英語(yǔ)簡(jiǎn)單下達(dá)一個(gè)關(guān)于找人幫代排隊(duì)的任務(wù)，只見(jiàn)豆包手機(jī)助手自主選定了應(yīng)用、完成任務(wù)相關(guān)設(shè)置，最后直接給他呈現(xiàn)了一個(gè)確認(rèn)界面。

• 換作平時(shí)，我自己都不知道該怎么操作，而這部手機(jī)短短幾秒就搞定了。

他還展示了告訴豆包手機(jī)助手從其當(dāng)前所在位置打輛無(wú)人車(chē)去某公園，只見(jiàn)它會(huì)獲取其GPS位置，知道哪些無(wú)人車(chē)運(yùn)營(yíng)商覆蓋其所在區(qū)域和目的地，并完成路線(xiàn)規(guī)劃，接著打開(kāi)打車(chē)軟件逐步點(diǎn)擊應(yīng)用界面，詢(xún)問(wèn)其具體要去公園的哪個(gè)位置，并根據(jù)最近的上車(chē)點(diǎn)完成叫車(chē)。

有人看他的手機(jī)界面，問(wèn)他“為啥不先把語(yǔ)言設(shè)置改成英語(yǔ)”，Taylor Ogan回應(yīng)“甚至都不需要”。

Hugging Face亞太區(qū)生態(tài)負(fù)責(zé)人Tiezhen Wang也轉(zhuǎn)發(fā)評(píng)價(jià)：

• 它已經(jīng)證明：手機(jī)操作可以成為一種操作系統(tǒng)級(jí)的原生能力，這將定義下一代AI原生手機(jī)。
• 很顯而易見(jiàn)的一點(diǎn)是，未來(lái)出行會(huì)變得輕松許多。你可以直接用英語(yǔ)交流，而AI Agent會(huì)自動(dòng)在所有中文App中完成你需要的操作。

另外，老羅在“豆包手機(jī)”發(fā)布后，也點(diǎn)贊表示“技術(shù)革命是誰(shuí)都攔不住的”，還和網(wǎng)友在評(píng)論區(qū)觀(guān)點(diǎn)交鋒了一下（雖然這款手機(jī)也被發(fā)現(xiàn)了羅永浩“錘子手機(jī)”代碼）……

當(dāng)然，目前“豆包手機(jī)”搭載的豆包手機(jī)助手還只是技術(shù)預(yù)覽版，距離成熟產(chǎn)品尚有空間，也遠(yuǎn)談不上完美。

官方也在反復(fù)強(qiáng)調(diào)，軟件方面尚無(wú)法保證成熟手機(jī)產(chǎn)品的功能完善度。

但不可否認(rèn)的是，它已經(jīng)展現(xiàn)出下一代手機(jī)的可能：手機(jī)不再是被動(dòng)操作的工具，而是能主動(dòng)理解意圖、獨(dú)立完成任務(wù)的伙伴。

從這個(gè)意義上說(shuō)，“全球第一款真正的AI手機(jī)”稱(chēng)號(hào)，它確實(shí)配得上。