演講嘉賓 ｜徐夢煒 博士

編輯｜Kitty

策劃｜QCon 全球軟件開發(fā)大會

通過本地化搭載大模型，終端設(shè)備的智能能力將獲得飛躍式提升，鑄造移動計算的下一個黃金時代，對學(xué)術(shù)界和產(chǎn)業(yè)界都是巨大的機遇。為了更好地適應(yīng)這個過程中上層應(yīng)用編程接口、用戶交互范式、底層資源管理的重要變化，操作系統(tǒng)可能會被重新定義和改寫。本文整理自北京郵電大學(xué)副教授、博士生導(dǎo)師徐夢煒博士在 2025 年 QCon 全球軟件開發(fā)大會（上海站） 的分享“終端大模型操作系統(tǒng)的架構(gòu)、優(yōu)化與展望”。徐老師介紹了團隊在大模型操作系統(tǒng)設(shè)計和優(yōu)化方向的思考和嘗試，包括 GUI/API 終端智能體構(gòu)建、面向 NPU 的端側(cè)大模型推理優(yōu)化加速等。

預(yù)告：將于 4 月 16 - 18 召開的 QCon 北京站設(shè)計了「小模型與領(lǐng)域適配模型」專題，將深入探討：如何通過持續(xù)預(yù)訓(xùn)練、高質(zhì)量數(shù)據(jù)篩選、大模型蒸餾、強化學(xué)習(xí)、MoE 架構(gòu)等技術(shù)提升大模型的專業(yè)能力；如何通過模型壓縮、顯存管理、算子優(yōu)化、解碼優(yōu)化、系統(tǒng)調(diào)度等推理優(yōu)化技術(shù)提升大模型的推理性能；vLLM、SGLang 等推理框架的應(yīng)用經(jīng)驗等等。如果你也有相關(guān)方向案例想要分享，歡迎提交至 https://jinshuju.com/f/Cu32l5。

以下是演講實錄（經(jīng) InfoQ 進行不改變原意的編輯整理）。

Mobile intelligence before LLM

我今天講得可能不會那么技術(shù)，主要想說說我們團隊和我個人對端側(cè)大模型的一些看法。背景我就快速帶過：從讀博開始，我就一直在做端側(cè) AI 的優(yōu)化，到現(xiàn)在剛好十年——前五年在讀書，后五年在北郵工作。其實那時候端側(cè)已經(jīng)有不少 AI 應(yīng)用了，比如“集五?！本褪且粋€很典型的例子。但在學(xué)術(shù)界做端側(cè) AI，我總覺得缺了點勁兒，因為它做不到我真正想做的事。

我想做的事是什么？這里舉一個《美國隊長 2》里的一段情節(jié)：車載 Agent 跟角色不斷對話，能聽懂指令，還能感知車窗即將破裂，最后甚至彈出機槍幫他脫困。這個場景一直是我心里端側(cè) AI 該有的樣子，不是炫技，而是真正能在關(guān)鍵時刻幫到人。

On-device LLM

現(xiàn)在車載 agent 本身已是一個重要方向，我們團隊也在做這類應(yīng)用。過去做不了，是因為模型能力不夠；到了大模型時代，我們覺得機會來了——大模型有理解、推理、生成這些能力，而且很多任務(wù)必須在端側(cè)完成。原因很簡單：隱私。大模型能用的數(shù)據(jù)越多，理論上手機里產(chǎn)生的每一比特都能讓它更懂你、更貼心，可這些數(shù)據(jù)沒人愿意隨便上傳。所以我個人非常看好端側(cè)大模型。當然，端側(cè)大模型不等于云端大模型會消失。未來一定是端云協(xié)同，就像高通說的：The future of AI is hybrid。

我在 2023 年初就開始做端側(cè)大模型。到了 2023 年中，我在學(xué)術(shù)界做交流時，發(fā)現(xiàn)很多人并不買賬。他們最直接的疑問是：大模型怎么可能放到端上跑？要是能在端上跑起來，那還能叫大模型嗎？畢竟最樸素的 scaling law 告訴我們，云端的大模型一定比端上的更強；既然有更強的，為什么還要用相對弱的呢？

我現(xiàn)在常舉的一個例子是：人腦本身就是一臺端側(cè)大模型。它不需要連云端，只靠二十瓦左右的功耗，就能完成復(fù)雜的推理、規(guī)劃等任務(wù)。所以，我們的長遠目標，是讓端側(cè)也能跑起具備 AGI 能力的模型，把終端設(shè)備做得像人腦一樣。這個終端可以是手機，也可以是機器人，或者其他形態(tài)。

我們團隊雖然把題目叫作“操作系統(tǒng)”，聽著有點噱頭，但確實是從操作系統(tǒng)一路做到上層：推理引擎、模型、應(yīng)用 agent，都摸了一遍。我本身在北大軟件所出身，最早只做系統(tǒng)軟件，后來才慢慢往上走，做到算法和應(yīng)用。

這里放的是一個比較早的 demo，本質(zhì)就是本地 RAG 加大模型推理。我們把它跑通的意義在于，整個鏈路——推理引擎、模型、API agent——都是我們自己從頭搭的。當時正好有資源，從預(yù)訓(xùn)練、微調(diào)，到上層的 agent 接口，全走了一遍。

上述 demo 是“數(shù)字世界”里的 Agent，現(xiàn)在我們更關(guān)注具身 Agent。無人機是重點場景之一，我們把它當成端側(cè)大模型，或者說端側(cè) VLA 的重要平臺。無人機經(jīng)常要在弱網(wǎng)甚至無網(wǎng)環(huán)境工作，自主化是剛需；不管是軍用還是載人載物，未來都得靠“大腦”?，F(xiàn)在的飛控只能算小腦，能避障、做簡單路徑規(guī)劃，離真正的自主還差得遠。我們想在機上跑一個 3B 到 7B 的端側(cè)模型，讓它具備更高階的決策能力。比如讓它飛到黑板前看一眼，再去找黑板里提到的東西。這類任務(wù)在大模型出現(xiàn)之前根本做不了，現(xiàn)在我們認為可以一試。核心就是提供一種泛化能力，讓無人機像人腦一樣現(xiàn)場思考、工作。

在推理引擎方面，我們主要想對標 llama.cpp，用更高效的思路搭一套自己的生態(tài)?？蚣芙?mllm，定位是給非 CUDA 的端側(cè) NPU 用的推理引擎。除了最基礎(chǔ)的 LLM，我們重點做 VLM，以及現(xiàn)在流行的 Omni、MoE 和機器人 VLA 這類模型。剛才也有人問 NPU SDK 的事，高通確實做了，我們也做過。由于看不到高通最底層的指令集，我們的目標是在性能上盡量接近他們的端到端 SDK，哪怕略差一點，但換來更大的靈活性：可以測試新的量化算法，也能更快支持他們暫時不支持的 MoE、Omni 等特性，從差異化角度把開源生態(tài)做起來。

我今天想圍繞一個問題講：十年前我開始做端側(cè) AI，到現(xiàn)在帶著二十多位同學(xué)做端側(cè)大模型及其應(yīng)用，到底有沒有不一樣？如果只是把 CNN 換成 Transformer，其他原封不動，那其實沒多大意思。產(chǎn)業(yè)界的專家肯定比高校師生做得更快更好。我們要找的是偏研究的機會，需要長期探索、甚至要冒點風險、花長時間才能啃下來的問題。最后我們欣喜地發(fā)現(xiàn)，確實大不相同：從應(yīng)用到系統(tǒng)再到硬件，整個軟件棧都出現(xiàn)新挑戰(zhàn)。接下來我就從這三個層面，談?wù)勎覀兊捏w會。

The changes LLM brings: App

先講應(yīng)用。過去做端側(cè) AI，業(yè)界常做的是 TTS 這類任務(wù)，我們則把重點放在機器學(xué)習(xí)模型的壓縮與加速上。但這類工作本質(zhì)上是優(yōu)化一個獨立任務(wù)，而非端到端的應(yīng)用，所以可玩性有限——不同應(yīng)用需要不同的優(yōu)化策略。到了大模型時代，出現(xiàn)了一個非常集中的“殺手級”應(yīng)用：小愛、小藝、Siri 這類助手。它們背后幾乎都由 LLM 或 VLM 驅(qū)動，這就給學(xué)術(shù)界提供了一個可以長期聚焦、深入研究的明確方向。

在 Agent 方面，我們做了一些初步嘗試。Agent 有兩條路線：API 與 GUI，未來肯定是混合的。從研究角度看，GUI Agent 更值得做，因為 API Agent 更多依賴工業(yè)界生態(tài)，而 GUI agent 距離 C 端商業(yè)化還很遠，遠沒到能提供 99% 以上準確率的地步。

雖然自媒體天天推送“某模型已能像人一樣操作手機”，小紅書上也刷到 ICLR 今年七十多篇基于 RAG 的投稿，但現(xiàn)實是：這個方向確實前景很大，卻還沒到落地階段。核心問題是端到端任務(wù)完成率仍偏低。很多任務(wù)之所以交給 Agent，是因為用戶懶得做或做不好，往往涉及 10～20 步的長程操作。每一步都可能出錯，錯誤累積導(dǎo)致整體成功率下降。更大的瓶頸是效率：點 20 次屏幕，就得做 20 次多模態(tài)大模型推理， 延遲和能耗都吃不消。因此，效率成了阻礙 GUI agent 真正部署落地的關(guān)鍵難題。

搭一個 GUI Agent 的 workflow 其實不復(fù)雜：先選個 VLM，端側(cè)部署就用 3B 或 7B 的模型；然后收集 GUI 數(shù)據(jù)，構(gòu)造下游任務(wù)，通過后訓(xùn)練提升它在 GUI 上的 grounding、指令跟隨、CoT 等能力。現(xiàn)在不少 VLM 在預(yù)訓(xùn)練階段就已經(jīng)混入了大量 GUI 數(shù)據(jù)，比如千問的技術(shù)報告里就列出了 GUI 任務(wù)準確率，但我們覺得仍有空間。只要設(shè)計出更好的 GUI 任務(wù)，就能繼續(xù)拉高模型對界面理解與操作的水平。

模型訓(xùn)好后，就進入在線 Agent 構(gòu)建階段，跟 Deep Research 或 Coding Agent 類似：搭 memory、拼上下文、選工具、定制 test-time 調(diào)度策略。做完再放到 Testbed 跑分。GUI Agent 的麻煩在于 Testbed 本身就不完善，不像 ImageNet 那樣“是貓還是狗”一目了然。GUI 任務(wù)的路徑幾乎無限，界面又隨時可能彈出廣告，評判難度高，所以 Testbed 至今仍是研究熱點。

這里說一點我們最近關(guān)于訓(xùn)練的想法。訓(xùn) VLM 理論上需要大量帶標注的 GUI 軌跡數(shù)據(jù)，一連串界面截圖和對應(yīng)的操作。這種數(shù)據(jù)很難規(guī)模化。傳統(tǒng)做法像 DeepMind 那樣雇幾千人、花幾千萬美元標上百萬條軌跡，成本高還容易錯。我們就在想，能不能把無標注的軌跡也用起來：不給具體任務(wù)，讓工具自動在 GUI 里探索。其實很多大廠做 App 測試時就有專門的 GUI Testing 團隊，用爬蟲把應(yīng)用界面遍歷一遍，收集大量無標注的 GUI 序列。這些數(shù)據(jù)如果能被有效利用，就能省掉一大筆標注費。

我們重新梳理 GUI 任務(wù)后發(fā)現(xiàn)，當前 VLM 對單張界面圖的理解已經(jīng)很強：把手機截屏丟給 GPT 或豆包，做 VQA 或 Grounding 都能答得不錯。真正的難點在于“跨頁關(guān)聯(lián)”，給出當前界面，執(zhí)行某個動作后，下一界面會變成什么樣。這種能力在長程 GUI 任務(wù)里尤為關(guān)鍵，卻幾乎沒出現(xiàn)在 VLM 的預(yù)訓(xùn)練目標中。它很像機器人里的世界模型：給定狀態(tài)與動作，預(yù)測下一狀態(tài)。事實上，數(shù)字 Agent 與實體 Agent 在能力需求上越來越重疊，比如如何利用無標注數(shù)據(jù)、如何構(gòu)建世界模型，這些問題是相通的。

順著這個思路，我們設(shè)計了一個極簡的下游任務(wù)：輸入兩個界面截圖，讓模型預(yù)測在前一界面上該執(zhí)行什么操作才能到達后一界面。兩圖之間可以相隔 k 步，無需連續(xù)。這相當于機器人里的逆動力學(xué)，已知起點與終點，反推所需關(guān)節(jié)動作。好處是無需人工標注：只要用爬蟲遍歷 App 時把動作記錄下來，就能自動生成大規(guī)模訓(xùn)練對。

我們用這套方法收集數(shù)據(jù)，訓(xùn)了最大 7B 的模型；卡不夠后，又與小米合作，在他們的 Mimo 模型上繼續(xù)實驗。結(jié)果在相同數(shù)據(jù)量下，我們的模型效果甚至優(yōu)于用人工標注數(shù)據(jù)訓(xùn)出的基線。原因很簡單：人工標注成本高，且 GUI 任務(wù)遠比貓狗識別復(fù)雜，標注錯誤率不低；而爬蟲數(shù)據(jù)可無限擴展，噪聲反而更少。

我們實驗里還發(fā)現(xiàn)，用強化學(xué)習(xí)，比如 DeepSeek GPPO，效果比 SFT 好。現(xiàn)在大家的共識是：要做 Agent，就得用 RL。不管是最近很火的 Agentic RL，還是 GUI Agent 這種垂域任務(wù)，RL 已經(jīng)成了實現(xiàn)強泛化的標配。

The changes LLM brings: OS

回到操作系統(tǒng)這個話題，正好呼應(yīng)我今天報告的題目。我覺得大模型時代一個很有意思的現(xiàn)象是“下沉”。以前 CNN 那種小模型完全由應(yīng)用自己管：自己訓(xùn)、自己部署，操作系統(tǒng)既不知道也不關(guān)心?，F(xiàn)在模型太重，會慢慢往下沉。不一定沉到操作系統(tǒng)本身，也可能沉到支付寶、微信這類超級 App，然后以統(tǒng)一接口把大模型能力開放給第三方。再想回到以前那種碎片化、去中心化的部署方式，已經(jīng)不太可能。

原因很現(xiàn)實：如果每個第三方服務(wù)都自己部署一個千問級別的模型，既沒資源也沒必要。Google 已經(jīng)在這么做了，因為它有全棧能力：TPU、安卓、Pixel 手機、自己的大模型，華為也類似。這種大廠能把硬件潛力真正榨干。

一旦大模型變成系統(tǒng)級服務(wù)，就會出現(xiàn)一些新問題。從操作系統(tǒng)角度看，可用性、效率、安全都值得重新研究；對工業(yè)界來說，甚至可能催生新的商業(yè)模式。

當大模型成為系統(tǒng)級服務(wù)后，第三方應(yīng)用還是得靠 LoRA 接入，因為端側(cè) 3B 模型畢竟知識有限。可模型還能升級嗎？操作系統(tǒng)升級不會影響應(yīng)用，但大模型服務(wù)從千問 3 升到千問 4，原來訓(xùn)的 LoRA 就失效了。這是個全新問題。

我們做了一些非常早期的嘗試，遠沒到“千問 3 升 4 后舊 LoRA 完全可用”的程度。目前能做到的是：原來需要 1 萬條數(shù)據(jù)才能訓(xùn)出的 LoRA，現(xiàn)在用我們的方法可能只需 10～100 條就能在新模型上復(fù)現(xiàn)同樣效果。作為初步探索，我們把訓(xùn)練放到了端側(cè)，也跑過端側(cè)大模型的微調(diào)實驗。

從效率角度看，我覺得很有意思的一點是：一旦大模型變成系統(tǒng)級服務(wù)，就跟在云端一樣，得考慮怎么調(diào)度、怎么緩存復(fù)用、怎么做 batch。以前端側(cè)幾乎只考慮 batch size 等于 1 的場景，可將來如果大模型無處不在，不光喊“Hi Siri”時才觸發(fā)，后臺也可能一直跑，主動感知、主動推薦。到那時，它得同時處理很多請求，就跟云上一模一樣。

我們做過一個實驗：怎樣讓大模型提供彈性服務(wù)。有的應(yīng)用希望 prefill 快，有的希望 decode 快，有的對延遲不敏感，只想要生成質(zhì)量高。于是我們把 token-level 的剪枝和模型 -level 的剪枝結(jié)合起來，在保障 QoS 的前提下，盡量把生成質(zhì)量做到最好。

The changes LLM brings: H/W

關(guān)于我們在推理引擎方面的工作。面向未來，尤其是具身智能這類場景，我覺得應(yīng)該把 NPU 真正用起來。長期來看，大模型終究要落在 NPU 上跑。

之所以這么說，是因為在大模型出現(xiàn)之前，我們做了很久的端側(cè) AI 優(yōu)化，當時一度覺得“沒活可干”：像 ResNet-50 這類網(wǎng)絡(luò)在高通早年的 NPU 上 5 毫秒就能跑完，遠遠滿足需求；ResNet-152 也很快?？纱竽Ｐ鸵粊?，學(xué)術(shù)界突然又有飯吃了。Scaling law 讓資源缺口可以無限放大。不是今天把 3B 模型塞進去、明天換成 7B 就完事，而是永遠想跑更大的模型：明年 50B，后年 500B，需求沒有盡頭。

純技術(shù)角度看，國產(chǎn)或各類專用加速器在大模型時代應(yīng)該更有用武之地。當年 865 那代，我在 Wikipedia 上查到 73 TOPS，肯定不到，因為今年發(fā)布的新品才標 80 TOPS。但不管怎樣，NPU 靠定制指令和架構(gòu)級優(yōu)化，在絕對算力上相對 CPU、GPU 仍有優(yōu)勢，所以我們團隊一直堅持做面向 NPU 的框架。螞蟻那邊已經(jīng)把 CPU、GPU 做到極致，我們就專攻 NPU。選 NPU 還有一個原因：它對系統(tǒng)軟件要求更高。硬件算力可以堆得很好看，但上層怎么跟量化算法結(jié)合、怎么做 kernel 優(yōu)化（如果允許寫 kernel 的話），能做的事更多，也更難。學(xué)術(shù)界正好可以往深里鉆。

我們那個推理引擎其實是比較早期的項目。2023 年初，高通自己的端到端 SDK 還沒發(fā)布，我們就先基于它的 DSP（本質(zhì)上也是 NPU）動手。當時 NPU 顯然不是為大模型設(shè)計的——雖然發(fā)布會上號稱“首款為生成式 AI 打造的芯片”，但 GPT 才火了幾個月，硬件不可能轉(zhuǎn)得這么快。

實際上，真跑起來就會發(fā)現(xiàn)一堆不兼容：動態(tài) shape 不支持；很多 NPU 缺乏足夠的 FP 算力，可我們當時的量化算法里，attention 里不少算子還是會溢到 FP；官方暴露的算子也不支持 group-level 量化，而大模型又必須靠 group-level 來抑制 outlier，否則精度掉得沒法看。我們沒法像海思那樣直接改芯片，只能在一塊“成品”硬件上，用算法和系統(tǒng)手段去填大模型語義和 NPU 能力之間的溝。當時提的 chunked prefill 之類的小技巧，現(xiàn)在看已經(jīng)挺常見，高通內(nèi)部的 Gini 框架也在用類似思路。

不同模型對 outlier 的敏感程度不一樣，但總之我們能把 prefill 做得比 CPU、GPU 都快——decode 階段是 memory-bound，就先沒碰。開源過程中遇到的問題比預(yù)期多：benchmark 里輸出短，選 ABCD 準確率掉得不多；一旦生成長文本，準確率就明顯下滑。學(xué)術(shù)界的小 demo 離真正能用還差得遠。我們的論文一年前就寫完，之后學(xué)生一直圍著開源框架做落地。最近一兩周會把版本升到 V2，目標是新模型發(fā)布當天就能在高通或其他 NPU 上跑通 0-day 支持，也在和面壁等模型廠商談合作，爭取端側(cè)模型一發(fā)布就有 demo。

當然，之前的工作留了不少尾巴：decode 沒優(yōu)化、算法還依賴 CPU。最近我們在補這些坑，用 NPU 做投機采樣來加速 decode、解決 long context、盡量把 FP 算力需求壓到最低。我的愿景是做到“NPU-only”的端到端大模型推理，全程用整數(shù)運算跑完。

我們不僅想用 NPU 做推理，還想用它做大模型的微調(diào)訓(xùn)練。和小米合作的項目就是端側(cè)大模型微調(diào)。要解決的問題是 NPU 本身不支持反向傳播。我們用了一些算法層面的技巧，主要是臨界優(yōu)化，把推理和訓(xùn)練并到一條前向通路里，只需前向就能算出 loss 并更新參數(shù)。雖然端到端性能一般，但確實在端側(cè)跑通了 7B 模型的微調(diào)。

Takeaways

關(guān)于未來，我前面提過“人腦”的例子。Hinton 把智能分成兩類：一類是“凡人計算”，即人腦知識無法直接遷移，人死燈滅，只能靠師徒口傳；另一類是“永生計算”，硅基軟硬件解耦，程序換塊板子就能繼續(xù)跑。永生計算雖“不死”，卻做不到人腦的低功耗強智能。Hinton 認為，若想逼近人腦，也許得放棄永生計算。我部分同意：軟硬必須高度耦合。

我的一個很不成熟的想法是：面向手機或其他端側(cè)場景，應(yīng)垂直協(xié)同設(shè)計，從上層模型到下層硬件一體優(yōu)化。最理想的情況是，終端里有一塊專用電路，只跑 Transformer（前提是 Transformer 仍是主流架構(gòu)），并配獨立高帶寬內(nèi)存。今天手機用統(tǒng)一內(nèi)存，未來或許該給大模型和它的 KV Cache 劃一塊專屬存儲。犧牲通用性換取極致功耗與性能；損失的靈活性可在 Agent workflow 層補回來。模型與硬件垂直整合，才能把性能壓到極限。

總結(jié)本次分享：第一，端側(cè)大模型正在重塑移動終端——無論無人機、機器人、手機，還是未來可能出現(xiàn)的新形態(tài)，它們的核心能力都會被改寫。第二，這件事不是簡單的模型替換，而是整個移動 AI 生態(tài)的范式轉(zhuǎn)移：操作系統(tǒng)、運行時、模型、應(yīng)用（Agent）必須一起重新設(shè)計，需要學(xué)術(shù)界和產(chǎn)業(yè)界一起做真正的全棧研究。

演講嘉賓介紹

徐夢煒博士，北京郵電大學(xué)副教授、博士生導(dǎo)師，在端側(cè)智能方向發(fā)表 CCF-A 類論文 30 余篇，獲 USENIX ATC 2024 最佳論文獎等，入選中國科協(xié)青托、北京市科技新星、微軟研究院“鑄星計劃”等，主導(dǎo)了開源端側(cè)大模型推理引擎 mllm 等。

會議推薦

2026，AI 正在以更工程化的方式深度融入軟件生產(chǎn)，Agentic AI 的探索也將從局部試點邁向體系化工程建設(shè)！

QCon 北京 2026 已正式啟動，本屆大會以“Agentic AI 時代的軟件工程重塑”為核心主線，推動技術(shù)探索從「AI For What」真正落地到可持續(xù)的「Value From AI」。從前沿技術(shù)雷達、架構(gòu)設(shè)計與數(shù)據(jù)底座、效能與成本、產(chǎn)品與交互、可信落地、研發(fā)組織進化六大維度，系統(tǒng)性展開深度探索。開往 2026 的 Agentic AI 專列即將啟程！匯聚頂尖專家實戰(zhàn)分享，把 AI 能力一次夯到位！