機(jī)器之心報(bào)道

編輯：冷貓、Panda

「安靜！吵到我用 TNT 了！」

長(zhǎng)期關(guān)注科技圈的朋友們都知道，羅永浩的錘子科技落幕已經(jīng)七年。七年間，仍有無(wú)數(shù)錘科粉絲保留著舊手機(jī)備用，懷念手機(jī)圈當(dāng)年的「銳利異類」，以至于錘子手機(jī)仍然有百萬(wàn)日活用戶。

而錘子科技，羅永浩最大的愿景和遺憾，莫過(guò)于號(hào)稱「重新定義下個(gè)十年的個(gè)人電腦」，以及鬧出了科技圈永生?！咐斫馊f(wàn)歲」的 TNT。

給不熟悉的讀者朋友們簡(jiǎn)單介紹下：TNT 全稱 Touch&Talk，通過(guò)觸控 + 語(yǔ)音的方式操作設(shè)備。

在那個(gè) AI 尚顯稚嫩的年代，這被視為一種激進(jìn)的賭博；但在大模型爆發(fā)的今天，我們驚訝地發(fā)現(xiàn)：最高效的手機(jī)操作方式，恰恰就是 TNT 構(gòu)想的那樣：按住屏幕把需求說(shuō)出來(lái)，設(shè)備自動(dòng)完成一切。

近些天，豆包手機(jī)（豆包手機(jī)助手技術(shù)預(yù)覽版）爆火，讓能夠操作手機(jī)的 AI Agent 走入了大眾視野。Agent 借助大模型和自動(dòng)操作系統(tǒng)的設(shè)計(jì)，讓用戶憑借自然語(yǔ)言和語(yǔ)音輸入，就能自然實(shí)現(xiàn)通用的、跨任務(wù)的復(fù)雜操作。

也因此，人們?cè)谡痼@于現(xiàn)今大模型 GUI Agent 能力強(qiáng)大之余，也不禁擔(dān)心個(gè)人數(shù)據(jù)上云的隱私權(quán)限問(wèn)題，幾大國(guó)民級(jí) App 也都限制了豆包手機(jī)助手的訪問(wèn)，再加上搭載豆包的手機(jī)一機(jī)難求……

除了被大廠生態(tài)裹挾，我們有沒(méi)有另一種選擇？有沒(méi)有一個(gè)既能一句話搞定繁雜任務(wù)，又能將隱私握在自己手里，甚至人人都能 DIY 的 GUI Agent？

有的兄弟，有的，而且是來(lái)自深耕智能體的智譜的明星項(xiàng)目：AutoGLM

就在前天，AutoGLM 正式全面開源

豆包手機(jī)之所以遭到所有大廠圍剿，因?yàn)?AI 手機(jī)很可能是下一個(gè)時(shí)代的流量入口。智譜這波開源直接把能力交給了所有人手上，一己之力把 AI 原生手機(jī)的門檻給打平了。

為開源精神點(diǎn)贊！

具體來(lái)說(shuō)，Open-AutoGLM 由一個(gè)手機(jī)端智能助手框架Phone Agent和一個(gè) 9B 大小的模型AutoGLM-Phone-9B共同組成。

開源地址：https://github.com/zai-org/Open-AutoGLM

從第一個(gè) AI 發(fā)出的紅包說(shuō)起

這次開源對(duì)行業(yè)的影響力，核心來(lái)自這次智譜開源的不是一個(gè)普通的 GUI agent 模型，而可能是行業(yè)最好的模型。

智譜是第一個(gè)開始可操作智能體研究的廠商。

時(shí)間回到 32 個(gè)月前的 2023 年 4 月，智譜就已經(jīng)開始從零探索 AutoGLM，目標(biāo)是打造一個(gè)不僅能「說(shuō)」，還能「做」的智能體模型。

2024 年 10 月，AutoGLM 面世爆火，被業(yè)界公認(rèn)為是全球第一個(gè)可以真正操控手機(jī)的 Agent，迄今也是全球完成度最高的 GUI Phone Use 模型。不是模擬，不是腳本，而是像人一樣去「看屏幕」，去分析 UI 布局，然后模擬手指進(jìn)行點(diǎn)擊與滑動(dòng)。AutoGLM 這個(gè) Phone Use 能力的誕生，是「AI 會(huì)用工具」的關(guān)鍵里程碑。

一個(gè)月后，它做了一件前所未有的事情：AutoGLM 完成了人類歷史上第一個(gè)由 AI 全自動(dòng)發(fā)出的紅包。

這個(gè)紅包意味著大模型「從 Chat 到 Act」的范式轉(zhuǎn)變，語(yǔ)言不再停留在語(yǔ)言本身，而能驅(qū)動(dòng)行動(dòng)、執(zhí)行任務(wù)。

但我們很快意識(shí)到：會(huì)動(dòng)手的 AI，就像剛拿到第一部智能手機(jī)的小孩 —— 強(qiáng)大，但也危險(xiǎn)。如果它在不該點(diǎn)的地方亂點(diǎn)怎么辦？如果某個(gè)用戶的真實(shí)手機(jī)被誤觸隱私應(yīng)用怎么辦？

于是到了 2025 年 8 月，智譜做了一個(gè)關(guān)鍵決定：先把 AutoGLM 放進(jìn)云端的「虛擬手機(jī)」里

AutoGLM 2.0 云機(jī)版，把 AI 的行動(dòng)舞臺(tái)與用戶真實(shí)手機(jī)完全隔離。它看到的屏幕、能執(zhí)行的點(diǎn)擊，都發(fā)生在一臺(tái)安全的虛擬設(shè)備上。涉及隱私的 App，比如微信，則選擇不開放 —— 不是做不到，而是智譜希望它「先學(xué)會(huì)規(guī)則，再學(xué)本事」。

Phone Agent 的實(shí)現(xiàn)，依賴于 AutoGLM 的視覺(jué)-語(yǔ)言模型。通過(guò)理解手機(jī)屏幕內(nèi)容、解析 UI 狀態(tài)，結(jié)合智能規(guī)劃能力，它能自主完成整套操作流程。

這背后的實(shí)現(xiàn)說(shuō)簡(jiǎn)單也簡(jiǎn)單，說(shuō)復(fù)雜也復(fù)雜。它由三大核心技術(shù)組成：

1.ADB（Android Debug Bridge）：手機(jī)的「控制器」

AutoGLM 接入安卓系統(tǒng)的 ADB 開發(fā)者調(diào)試，負(fù)責(zé)把控制信號(hào)送到設(shè)備上，實(shí)現(xiàn)基本的點(diǎn)按滑動(dòng)等操作。

2.視覺(jué)-語(yǔ)言模型（VLM）：AI 的「眼睛 + 大腦」

它能理解手機(jī)屏幕上的文本、按鈕、圖標(biāo)，識(shí)別，操作和實(shí)時(shí)反饋。

3.智能規(guī)劃：任務(wù)拆解的「策劃師」

它能將自然語(yǔ)言任務(wù)拆解為可執(zhí)行步驟，你說(shuō)一句「發(fā)紅包給小李」，AI 會(huì)自動(dòng)補(bǔ)全背后的十幾步操作鏈：打開 App、找到聯(lián)系人、選擇金額、確認(rèn)支付……

AutoGLM 把這三項(xiàng)能力打包成一個(gè)完整執(zhí)行框架，「AI 會(huì)用手機(jī)」的概念已經(jīng)在諸多測(cè)試中保證了穩(wěn)定和實(shí)用。

一手實(shí)測(cè)

Open-AutoGLM 究竟有多強(qiáng)？

理論說(shuō)得再多，不如實(shí)戰(zhàn)。下面我們就來(lái)看看開源版的 AutoGLM 表現(xiàn)究竟如何。

首先，來(lái)一個(gè)簡(jiǎn)單任務(wù)：發(fā)微信。發(fā)送以下指令：

給 wupan 發(fā)個(gè)微信，就說(shuō) Panda 的生日快到了，準(zhǔn)備個(gè)蛋糕，多點(diǎn)水果。

可以看到，系統(tǒng)啟動(dòng)后，Open-AutoGLM 首先進(jìn)行了一波「自檢」，確認(rèn) API 和系統(tǒng)權(quán)限無(wú)誤。在這里，我們可以看到智譜給 Phone Agent 的描述：「AI-powered phone automation」，即「AI 賦能的手機(jī)自動(dòng)化」。

接下來(lái)，AutoGLM 會(huì)回到任務(wù)本身。思考為了完成這個(gè)任務(wù)，第一步應(yīng)該執(zhí)行什么。在終端界面，我們能清晰地看到它的思維鏈（CoT）：

• 觀察：當(dāng)前在桌面。
• 思考：任務(wù)是發(fā)微信，第一步需要找到并打開微信。
• 行動(dòng)：點(diǎn)擊微信圖標(biāo)。
• 觀察：進(jìn)入微信列表頁(yè)。
• 思考：需要找到 wupan，點(diǎn)擊搜索框……

如此迭代進(jìn)行，直到完成任務(wù)。整個(gè)過(guò)程行云流水，最后它還會(huì)像模像樣地匯報(bào)：「任務(wù)已完成」。

而在以上任務(wù)執(zhí)行的同時(shí)，我們的手機(jī)端則經(jīng)歷了以下過(guò)程。很顯然，AutoGLM 非常出色地完成了這個(gè)初始任務(wù)。

下面，為了更好地展示，我們將使用 scrcpy 將手機(jī)投屏到 PC 上，將前后端情況一并錄制。此外，為了方便，我們將上面略顯繁瑣的命令定義為一個(gè) Function，并把它放進(jìn) PowerShell 配置文件 (Profile) 里。下面我們只需簡(jiǎn)單地輸出「run "提示詞"」即可向 AutoGLM 發(fā)送指令。（當(dāng)然，你也可以 Vibe Code 一個(gè)更好看或直觀的交互 UI。）

接下來(lái)試試 AutoGLM 與小紅書的交互。

run "打開小紅書，看看有什么有趣的瘋狂動(dòng)物城周邊"

同樣，執(zhí)行非常順暢，并且在執(zhí)行過(guò)程中，我們還看到 AutoGLM 能夠正確地識(shí)別和處理彈窗提醒。更讓人驚喜的是它的總結(jié)能力。它沒(méi)有機(jī)械地羅列標(biāo)題，而是像個(gè)真正的瀏覽者一樣，理解了屏幕上的內(nèi)容。在最終的反饋中，它匯總了前四個(gè)結(jié)果：發(fā)圈、毛絨公仔、圓珠筆、泡泡瑪特盲盒。這說(shuō)明它不僅「看」到了像素，還「懂」了商品。

AutoGLM 還可以根據(jù)用戶指令執(zhí)行連續(xù)多步操作，比如你可以讓它「先打開維基百科找到五月天的第一張專輯是什么，然后打開 QQ 音樂(lè)播放它」：

我們還能讓 AutoGLM 幫助完成一些重復(fù)性的繁瑣任務(wù)，比如應(yīng)用寶軟件更新。當(dāng)你有一大堆軟件需要更新時(shí)，加上不時(shí)的彈窗，這會(huì)變成一個(gè)幾乎讓人有些火大的過(guò)程。而如果你有 AutoGLM 這樣的 AI 助手，也就是一句話的事兒。

run "打開應(yīng)用寶，把我的軟件更新一下"

哇哦！真省心。簡(jiǎn)直是「懶人福音」。面對(duì)一大堆待更新的 App 和時(shí)不時(shí)的彈窗，AutoGLM 耐心地一個(gè)個(gè)點(diǎn)擊。

有趣的是，在更新過(guò)程中，AutoGLM 還遭遇了一次「誤觸」。根據(jù)對(duì)話記錄可以看出，當(dāng)時(shí)彈出了請(qǐng)求更新嗶哩嗶哩的許可申請(qǐng)，而此時(shí)百度地圖又剛剛更新完成，于是 AutoGLM 本來(lái)打算點(diǎn)擊的「更新」變成了「打開」，它也因此意外打開了百度地圖。

如果是傳統(tǒng)的自動(dòng)化腳本，這時(shí)候已經(jīng)卡死報(bào)錯(cuò)了。但 AutoGLM 展現(xiàn)出了驚人的臨場(chǎng)反應(yīng)：

• 感知錯(cuò)誤：它發(fā)現(xiàn)屏幕畫面變成了地圖，而不是應(yīng)用寶。
• 自我修正：它沒(méi)有由于結(jié)果超出預(yù)期而自亂陣腳，而是分析當(dāng)前狀況，執(zhí)行了「返回/退出」操作。
• 回到正軌：重新回到應(yīng)用寶界面，繼續(xù)未完成的更新任務(wù)。

這種穩(wěn)健性才是 Agent 走向?qū)嵱玫年P(guān)鍵。

實(shí)測(cè)過(guò)程中，我們發(fā)現(xiàn) AutoGLM 的執(zhí)行邏輯是通過(guò)分析屏幕截圖來(lái)確定下一步。也因此，AutoGLM 具有非常高的通用性和普適性，并不局限于智譜官方推薦的應(yīng)用。事實(shí)上，只要它能理解手機(jī)屏幕截圖，便能夠執(zhí)行一步步地完成任務(wù)。

舉個(gè)例子，我們甚至能讓 AutoGLM 調(diào)用其它 AI 助手來(lái)幫助完成更加復(fù)雜的任務(wù)。

run "打開 Gemini，讓它搜索并整理一下智譜的發(fā)展歷史，最后出具一份深度報(bào)告"

結(jié)果堪稱完美！Open-AutoGLM 成功打開了 Gemini ，將我們的自然語(yǔ)言指令輸入進(jìn)去，等待 Gemini 生成長(zhǎng)文報(bào)告，最后將報(bào)告內(nèi)容提取回來(lái)。

這一刻，手機(jī)里的 App 不再是孤島。AutoGLM 像是一層「超級(jí)膠水」，將本地應(yīng)用、云端大模型無(wú)縫粘合在了一起。這或許就是未來(lái)「超級(jí) App」的雛形 ——App 本身不再重要，服務(wù)才是核心。

全面開源

人手一個(gè) AI 手機(jī)

智譜選擇了和封閉生態(tài)完全不同的方向。

Open-AutoGLM 的全面開源，意味著開發(fā)者、研究者與個(gè)人愛(ài)好者，都可以沿用 AutoGLM 的執(zhí)行框架，在自己的產(chǎn)品中復(fù)現(xiàn)或延展這個(gè)「能動(dòng)手的 AI」。

此次開源顯得誠(chéng)意十足：

• 核心模型與推理代碼：毫無(wú)保留。
• 工具鏈：完整的 Phone-Use 框架。
• 開箱即用：支持 50 多款常用中文 App 的 Demo。
• 協(xié)議友好：模型采用 MIT 協(xié)議，代碼采用 Apache-2.0 協(xié)議。
• 完善的文檔和快速上手指南。

無(wú)需擔(dān)憂的隱私問(wèn)題

開源徹底改變了隱私的博弈關(guān)系。當(dāng)模型、框架、適配層全部公開后，我們能做的最重要一件事，就是把 AI 完整地搬回到用戶的本地設(shè)備上運(yùn)行。

數(shù)據(jù)無(wú)需上云，所有操作記錄、App 使用習(xí)慣甚至輸入內(nèi)容都能在本機(jī)完成處理 —— 沒(méi)有上傳，自然也就沒(méi)有泄露風(fēng)險(xiǎn)。同時(shí)，代碼完全透明，任何人都可以驗(yàn)證它是否聯(lián)網(wǎng)、是否收集數(shù)據(jù)、是否寫入日志，比任何口頭承諾都更可靠。

在 AI 手機(jī)的概念被炒得火熱的今天，我們需要的不是又一個(gè)竊取數(shù)據(jù)的云端黑盒，而是一個(gè)透明、可控、私有的智能管家。

行業(yè)平等的模型底座

在不遠(yuǎn)的未來(lái)，AI 助手最終會(huì)普及到每個(gè)用戶。而沒(méi)有人希望，這個(gè)能夠幫助人們操作手機(jī)的助手，一個(gè)能夠掌控各大應(yīng)用的入口，是某一個(gè)平臺(tái)獨(dú)占的資源。豆包手機(jī)助手目前被各大 App 限制的現(xiàn)狀，已經(jīng)給出了信號(hào)。

這是一次新的人機(jī)交互革命，AutoGLM 開源，把 AI 助手的能力徹底開放，變成全行業(yè)的公共底座。

Open-AutoGLM 的出現(xiàn)，或許就是 AI Agent 領(lǐng)域的「安卓時(shí)刻」：它為那個(gè)羅永浩曾夢(mèng)想過(guò)的、動(dòng)動(dòng)嘴就能搞定一切的 TNT 時(shí)代，鋪下了第一塊堅(jiān)實(shí)的開源基石。

正如智譜所言：「把我們已經(jīng)走過(guò)的路，變成接下來(lái) Agent 爆發(fā)時(shí)代大家的起跑線。

未來(lái)已來(lái)，而且這次，它聽你的。

文中視頻鏈接：https://mp.weixin.qq.com/s/ub9_3OETxNjA7NbSrXdW6Q