來源：AI前線

作者：木子、高允毅

2023 年 4 月，在很多人剛聽說“大模型”這個詞的時候，智譜團(tuán)隊開始研究一個聽上去不太現(xiàn)實的目標(biāo)：

讓 AI 真正學(xué)會“使用手機(jī)”，也就是像真人一樣，對智能手機(jī)等設(shè)備具有使用能力。

32 個月后，智譜把階段性重要成果、核心 AI Agent 模型：AutoGLM給完整開源了出來，并放話：“每臺手機(jī)，都可以成為 AI 手機(jī)?！?/p>

AutoGLM 擁有Phone-Use（手機(jī)操作）能力，包括點(diǎn)擊、滑動、輸入、截圖理解、流程恢復(fù)、噪聲處理……既能穩(wěn)定完成外賣點(diǎn)單，也能完成機(jī)票預(yù)訂等長達(dá)數(shù)十步的復(fù)雜操作流程。

目前，AutoGLM 已支持上百個主流 APP，包括以下這些：

另外，AutoGLM 還能同時在上千臺云端虛擬手機(jī)里“練功”，通過強(qiáng)化學(xué)習(xí)等極大地擴(kuò)展了 Agent 的準(zhǔn)確性和泛化能力。而且它被嚴(yán)格關(guān)在虛擬設(shè)備的安全沙箱里，既能自由試錯，又不會碰到用戶真實手機(jī)上的隱私數(shù)據(jù)。

智譜今天開源的是一整套可以“拿來就用”的能力，具體包括：

• 訓(xùn)練好的核心模型；

• Phone Use 能力框架與工具鏈；

• 可直接跑通的 Demo，覆蓋 50+ 高頻中文 App；

• 針對 Android 的適配層與示例工程；

• 文檔、快速上手指南

模型會以MIT 開源許可證的形式開放，而所有代碼會以Apache-2.0 開源許可證的形式，托管在 GitHub 倉庫中：github.com/zai-org/Open-AutoGLM。

為什么選擇開源？

“從產(chǎn)品的角度，AutoGLM 已經(jīng)可以支撐起很多真實場景；從工程的角度，AutoGLM 的積累足夠?qū)懗梢淮筠夹g(shù)報告?！?/blockquote>

為什么選擇在這個時間點(diǎn)把辛辛苦苦做的東西開源呢？看完官方自白，不得不說，智譜的格局還挺大。

首先，智譜認(rèn)為“AI 手機(jī)”是大勢所趨，但這不是一家公司就能完成的任務(wù)，更不應(yīng)該掌握在極少數(shù)廠商手里。

18 年前，蘋果以智能手機(jī)奠定生態(tài)時代的范式；Siri 問世后，語音助手成了標(biāo)配，但功能多停留在查天氣、設(shè)鬧鐘，距離真正的智能仍相去甚遠(yuǎn)。

如今 AI 登場，變革已成共識。大模型不再只是給手機(jī)添點(diǎn)“智能”、做做答問，而是深入系統(tǒng)流程，像全能管家般跨 App 完成訂票、點(diǎn)餐、取消續(xù)費(fèi)等復(fù)雜操作，讓手機(jī)真正邁向下一代計算入口。

也正因為這將重塑手機(jī)的能力與地位，一旦被少數(shù)廠商壟斷，那么開發(fā)者的創(chuàng)新空間，要看平臺愿不愿意開放接口；而用戶日常生活中最重要的那臺設(shè)備，也會越來越像“別人家的入口”。

智譜希望：“AutoGLM 的開源，能把這一層能力變成整個行業(yè)可以共同擁有、共同打磨的公共底座。”

他們把 AutoGLM 比喻成積木，表示可以拿來即用，成為系統(tǒng)的一部分，也可以拆開、重寫、改造，變成新產(chǎn)品的元素。

其次，隱私是 AI 手機(jī)一個避不開的問題。

可以想象，如果 AI 可以操控手機(jī)，像管家一樣讀取、操作、解決問題，雖然帶來了便利，但也成為了知曉用戶一切根底的隱形炸彈。

像個人微信、支付、聊天記錄、照片相冊、企業(yè)內(nèi)部系統(tǒng)等等信息，必須掌握在用戶自己手里。

智譜的解法是，通過開源和私有化部署，企業(yè)和開發(fā)者可以在自己的合規(guī)環(huán)境中完整掌控數(shù)據(jù)、日志和權(quán)限。也就是說，這個 AI 能力免費(fèi)發(fā)放，數(shù)據(jù)與隱私永遠(yuǎn)留在使用方這一側(cè)。

第三，智譜希望“自己吃過的苦，別人別再吃了”。

“把我們走過的路，變成大家在 Agent 爆發(fā)時代的起跑線。 AutoGLM 是一條很陡的路：我們啃過的技術(shù)難題、踩過的坑、重寫過的框架，在很多場景里都可以復(fù)用，也值得被復(fù)用?！?/blockquote>

他們想在未來看到這樣情形：

• 商業(yè)層面上，有團(tuán)隊因為 AutoGLM，做出真正意義上的 AI 原生手機(jī)；

• 技術(shù)層面上，有研究者因為其中某個模塊，寫出一篇新論文、新算法；

• 生態(tài)層面上，個人開發(fā)者可以利用 AutoGLM，做出自己的項目，在某個小眾場景里真正跑起來。

AutoGLM&AI 手機(jī)行業(yè)前景

其實 AutoGLM 的這些智能手機(jī)操作能力，和最近熱門的“豆包手機(jī)助手”也有不少異曲同工之處。我們先來回顧一下 AutoGLM 是什么，再來聊聊 AI 手機(jī)行業(yè)前景。

全球首個手機(jī)智能體

2024 年 11 月，有件事在技術(shù)圈“小引熱議”：AI 第一次自己發(fā)出了一個手機(jī)紅包。

這不是腳本自動化，也不是調(diào)用某個內(nèi)部 API，而是一個模型就能“看懂”界面內(nèi)容，再一步一步完成點(diǎn)擊流程。過去大家普遍認(rèn)為這件事極其困難，還有人覺得不可能做到足夠穩(wěn)定。

而這背后的神奇新模型，正是 AutoGLM。

圖源：智譜官方微信公眾號

簡單來說，它是智譜打造的、用于真實設(shè)備 GUI（圖形用戶界面）操作的基礎(chǔ)智能體（foundation agents）, 可以在真實或虛擬手機(jī)上執(zhí)行長鏈路、多步驟的操作任務(wù)，初代于 2024 年 10 月發(fā)布。

AutoGLM 不僅能理解復(fù)雜 UI、規(guī)劃復(fù)雜任務(wù)，還具備錯誤恢復(fù)能力，這是 Agent 可以部署的前提。

而它之所以能實現(xiàn) Phone-Use 等強(qiáng)大能力，主要?dú)w功于以下三大核心技術(shù)的突破或創(chuàng)新應(yīng)用。

首先，AutoGLM 創(chuàng)新地把 Agent 的行為拆成兩層：Planner負(fù)責(zé)思考“做什么”，并輸出動作描述，比如：“點(diǎn)擊右下角的提交按鈕”、“輸入商家名稱并搜索”等；Grounder負(fù)責(zé)“在哪里執(zhí)行”，其功能包括識別界面元素、定位坐標(biāo)、檢測按鈕位置、解析視覺信息等等。

這種結(jié)構(gòu)，讓規(guī)劃層更加靈活，解決“LLM 看得懂但點(diǎn)不準(zhǔn)”的核心難題，大幅提升跨 APP、跨網(wǎng)頁的泛化能力。

據(jù)智譜論文信息，中間接口（Intermediate Interface）設(shè)計，讓 GPT-4o 視覺模式的網(wǎng)頁任務(wù)執(zhí)行成功率，從 18%（端到端方式） 提到了36.4%，翻了倍。

提出 MobileRL、ComputerRL、AgentRL；驗證強(qiáng)化學(xué)習(xí)規(guī)模擴(kuò)展定律；在上千臺虛擬設(shè)備中并行訓(xùn)練，能力顯著增強(qiáng)。

第二，AutoGLM 的錯誤恢復(fù)能力，主要得益于自進(jìn)化式的Curriculum RL，模型通過這個 RL 框架可以自進(jìn)化、自我糾錯、自我變強(qiáng)。

通過獎勵模型（RM）評估每一步是否朝正確方向推進(jìn)，還可以通過 mutate 指令提高或降低任務(wù)難度。模型提前在上千個虛擬環(huán)境經(jīng)過大量試錯和恢復(fù)訓(xùn)練，讓其能在真機(jī)上順利跑通幾十步流程。

第三，是大規(guī)?？煽丨h(huán)境，包括 WebArena、AndroidLab，和云手機(jī)集群。

其中，WebArena 是真實網(wǎng)頁環(huán)境，AndroidLab 是系統(tǒng)級 Android 環(huán)境，云手機(jī)集群則是上千臺虛擬和真實設(shè)備并行訓(xùn)練。

大量的場景覆蓋和經(jīng)驗，讓模型具備了出色的泛化能力，這和谷歌的 AutoRT、WebVoyager、Gemini + Android App 等 Agent 技術(shù)高度類似。

——模型不是靠記規(guī)則，而是靠大量真實任務(wù)經(jīng)驗，學(xué)會在陌生場景中穩(wěn)健執(zhí)行操作。

值得一提的是，今年初 Manus 橫空出世，讓 AI Agent 迅速爆紅，但 Manus 僅在 3 個月后便迅速撤出了中國市場。不久后，在今年 8 月，智譜發(fā)布 AutoGLM 2.0，也是全球首個手機(jī)智能體。

但“一花獨(dú)放不是春”

在手機(jī) Agent浪潮奔涌之時，智譜愿化作那塊關(guān)鍵拼圖，為未來的版圖添上應(yīng)有的一角：

“‘一花獨(dú)放不是春’。Agent 的爆發(fā)，需要所有人一起參與?！?/p>

至于“AI 手機(jī)”這個概念，本質(zhì)上是把大模型深度塞進(jìn)手機(jī)里，讓其從單一工具升級成能感知、能決策、能跨 App 代辦事務(wù)的隨身智能體。

隨著端側(cè) AI 的成熟，AI 手機(jī)的盤子正在快速擴(kuò)張。

據(jù) IDC 預(yù)計，2026 年中國新一代 AI 手機(jī)出貨量將達(dá)到 1.47 億臺，占總體市場的 53%。

而賽迪顧問也發(fā)布了一個報告，判斷 2027 年 AI 手機(jī)銷量將躍升至 1.86 億部，占比 56.1%，并強(qiáng)調(diào)“端側(cè)主導(dǎo)、生成式創(chuàng)新與硬件突破”將繼續(xù)推進(jìn)行業(yè)高速增長。

這和之前的數(shù)據(jù)相比，已有大幅躍升：2023 年，中國 AI 手機(jī)銷售量達(dá)到 1100 萬部，占全球 AI 手機(jī)銷售量 22%。2024 年，中國市場的新型 AI 智能手機(jī)出貨量預(yù)計將超過 3500 萬部，預(yù)估市場占有率為 12%。

但目前 AI 手機(jī)效果如何呢？實際體驗仍處在“宣傳大于實際”的早期階段。

今年年初，21 財經(jīng)曾對六款 AI 手機(jī)進(jìn)行了測評，發(fā)現(xiàn)多數(shù)智能體在訂咖啡、跨應(yīng)用操作等場景下不是中途卡住，就是需要多輪確認(rèn)；能穩(wěn)定跑完流程的主要是榮耀 YOYO，但離“全自動化”仍有明顯差距，跨 App 操作成功率依然受限于權(quán)限、界面變化等工程難題。

這也讓行業(yè)將技術(shù)路線分成兩派：依賴 App 授權(quán)的“意圖框架”，和無需授權(quán)、靠讀屏與模擬操作的“視覺路線（GUI Agent）”。

簡單來說，前者是走“官方通道”，App 得先點(diǎn)頭授權(quán)，Agent 才能直接調(diào)用它的功能；后者則是“看著學(xué)”：智能體自己讀屏幕、看按鈕、模擬人手點(diǎn)來點(diǎn)去，就像站在你旁邊學(xué)你怎么操作手機(jī)。

最近出圈的“豆包手機(jī)”，就是嘗試把 GUI Agent 做到系統(tǒng)級。

豆包手機(jī)其實是字節(jié)跳動在做的一次低調(diào)試水，它由中興代工，首批約 3 萬臺，主要供內(nèi)部測試，沒有對外銷售。不過據(jù)傳，因需求旺盛，目前在閑魚被炒到近 8000 元。

據(jù)晚點(diǎn)報道，該手機(jī)背后的核心團(tuán)隊是字節(jié)負(fù)責(zé) AI 硬件的 Ocean，他們由 PICO、OlaDance、錘子等多個硬件團(tuán)隊整合而來，目標(biāo)是探索“大模型 + 超級 App + 硬件”的新形態(tài)。

字節(jié)原本想把豆包大模型提供給手機(jī)廠商作為系統(tǒng)級能力，但多數(shù)廠商擔(dān)心失去大模型時代的主導(dǎo)權(quán)而拒絕合作，最終促使字節(jié)決定親自下場做手機(jī)，并已啟動第二代產(chǎn)品研發(fā)，預(yù)計在 2026 年底推出。

高盛在報告中指出，第三方 AI 想在手機(jī)里大規(guī)模落地并不容易：權(quán)限拿不到、數(shù)據(jù)摸不到、應(yīng)用不一定愿意配合，導(dǎo)致智能體既難看清手機(jī)、也難穩(wěn)定操作。

如今各大廠商普遍把“大模型”當(dāng)作下一代手機(jī)的靈魂，更傾向與體量更小、可控性更強(qiáng)的大模型公司合作——比如 OPPO 選擇階躍星辰，而榮耀、三星等廠商則采用了智譜。

也正是在這場競爭中，智譜的角色愈發(fā)清晰：他們不是要取代手機(jī)廠，而是以開放、易集成的底層能力，成為 AI 手機(jī)生態(tài)里那塊關(guān)鍵拼圖，幫助更多廠商真正把“智能體”從概念變成用戶愿意天天依賴的體驗。

AI 手機(jī)的下一代入口之爭剛剛開始，而決定最終格局的，將是哪些技術(shù)力量能夠真正讓智能體落地、跑穩(wěn)、跑廣。

傳送門：

github.com/zai-org/Open-AutoGLM

https://arxiv.org/abs/2411.00820

https://www.21jingji.com/article/20250317/herald/6410c6c74c64a254bdc041898ecbd76c.html

閱讀最新前沿科技趨勢報告，請訪問歐米伽研究所的“未來知識庫”

https://wx.zsxq.com/group/454854145828

未來知識庫是“ 歐米伽 未來研究所”建立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。