編輯｜panda、+0

2026 年 3 月底，Ollama 發(fā)布了一則更新公告：其 Mac 版本的底層推理引擎，將從沿用多年的 llama.cpp 切換為蘋果的 MLX 框架。

這條消息在開發(fā)者社區(qū)引發(fā)了激烈討論，原因很簡單：數(shù)字太好看了。在搭載 M5 芯片的 Mac 上，切換到 MLX 后，prefill 速度提升超過 57%，生成速度接近翻倍，部分場景下，生成第一個(gè) token 的等待時(shí)間（TTFT）縮短至原先的四分之一。一位開發(fā)者在社區(qū)里寫道，他的 Mac 的「解碼速度提升了 93%」。

為什么性能提升如此之大？背后的原因其實(shí)并不神秘。Apple Silicon 采用的是統(tǒng)一內(nèi)存架構(gòu)，即 CPU、GPU 共享同一塊物理內(nèi)存，數(shù)據(jù)無需在不同存儲(chǔ)池之間搬運(yùn)。MLX 正是為這種架構(gòu)專門設(shè)計(jì)的框架，因此天然獲得了傳統(tǒng)框架在 Mac 上得不到的底層優(yōu)勢。

從 M5 芯片開始，蘋果還在每個(gè) GPU 核心里嵌入了專門的矩陣乘法單元 Neural Accelerator，通過 Metal 4 的 TensorOps API 來調(diào)用，這是蘋果首次在 GPU 層面提供可編程的、專屬于 AI 推理的硬件加速。

Ollama 的這次選擇，實(shí)際上是在向整個(gè)開發(fā)者生態(tài)發(fā)出一個(gè)明確信號：Apple Silicon + MLX 正在成為本地 AI 推理的主流路線，Mac 開始從「連接云端的終端」變成「獨(dú)立運(yùn)行 AI 的工作站」。基于此，用戶甚至可以完全離線地使用 OpenClaw 和 Hermes Agent 等智能體。

然而，當(dāng)這場遷徙熱潮稍稍退去，一個(gè)更細(xì)節(jié)的問題浮出水面。MLX 目前支持的量化模式 W4A16 和 W8A16 只對模型「權(quán)重」進(jìn)行了量化壓縮，計(jì)算過程中的「激活值」仍然以 FP16 格式運(yùn)行。這意味著，蘋果專門為 INT8 運(yùn)算設(shè)計(jì)的 Neural Accelerator 硬件，在現(xiàn)有 MLX 框架下并沒有被完整調(diào)動(dòng)。性能強(qiáng)勁又昂貴的硬件，用了一半，閑了一半。

就在這個(gè)時(shí)間節(jié)點(diǎn)，明略科技以兩個(gè)開源項(xiàng)目遞出了答案。一個(gè)叫Cider，一個(gè)叫Mano-P

Cider：為蘋果補(bǔ)齊端側(cè) AI 生態(tài)

Cider 是明略科技自研并開源的端側(cè)推理加速框架，構(gòu)建于 MLX 之上，專為 macOS 與 Apple Silicon 設(shè)計(jì)。

• 倉庫地址：https://github.com/Mininglamp-AI/cider

如果把 Apple Silicon 的推理過程想象成一條工廠流水線，MLX 目前的做法是：把原材料（模型權(quán)重）壓縮成較小的規(guī)格運(yùn)來，但到了加工環(huán)節(jié)（計(jì)算），還是用原來的精密工具在正常精度下操作。

Cider 的做法則是把加工環(huán)節(jié)本身也換成了適配壓縮材料的專用工具：不僅讓權(quán)重以更低精度存儲(chǔ)，還讓計(jì)算過程直接在 INT8 精度下執(zhí)行，并借助 Metal 4 的 TensorOps API 調(diào)用 Apple GPU 里那塊專門為此設(shè)計(jì)的硬件。

具體來說，Cider 提供了 MLX 原生框架缺失的兩種量化推理模式。

其一是 W8A8：權(quán)重和激活值同時(shí)量化至 INT8，直接利用 Apple GPU 的 TensorOps 完成矩陣乘法，計(jì)算結(jié)束后再反量化回 FP16 輸出。

其二是 W4A8：在 W8A8 的基礎(chǔ)上進(jìn)一步將權(quán)重壓縮至 INT4，權(quán)重內(nèi)存占用較 W8A8 減半。兩種模式均以「融合算子」（fused kernel）實(shí)現(xiàn)，將量化、矩陣乘法、反量化三個(gè)步驟合并為一次 GPU 調(diào)度，避免了中間結(jié)果在顯存里多次搬運(yùn)的開銷。

目前，W8A8/W4A8 激活量化功能在 Apple M5 Pro 上已穩(wěn)定支持，M1-M4 則不支持。

再來看看實(shí)測數(shù)據(jù)。在單算子層面，以 10240 × 2560 的矩陣規(guī)模在 Apple M5 Pro 上進(jìn)行測試，W8A8（Per-channel）模式相比原生 MLX W8A16 方案展現(xiàn)出顯著的速度優(yōu)勢：在序列長度 M=1024 時(shí)速度提升 1.82 倍，M=4096 時(shí)提升 1.84 倍，而達(dá)到 M=8192 時(shí)則提升了 1.86 倍。

在真實(shí) VLM 模型的端到端測試中，以 Qwen3-VL-2B 進(jìn)行 chunked prefill 推理，W8A8 模式下整體 prefill 加速約 57%~61%。

這組數(shù)字之所以值得關(guān)注，還有一個(gè)維度：精度損失極小。以 Qwen3-8B 為例，W8A8（Per-channel）量化后的困惑度（PPL）為 9.756，與 FP16 原始精度（9.726）相比，差距僅為 0.03；同時(shí)其整體 Prefill 耗時(shí)從 FP16 的 179.9 秒大幅縮短至 123.5 秒，提速約 45%。也就是說，用極小的精度代價(jià)，換來了遠(yuǎn)超原精度方案的推理速度——這在量化領(lǐng)域并不常見。

Cider 并非某一個(gè)模型的專屬工具，其服務(wù)對象涵蓋了整個(gè) MLX 生態(tài)。只要模型已經(jīng)適配 MLX，開發(fā)者只需一行代碼即可接入 Cider 加速：convert_model(model)。

Qwen、Llama、Mistral 等主流開源模型，以及 Qwen3-VL 等 VLM 模型，均可直接受益，接入過程無需修改模型結(jié)構(gòu)。對于 VLM 場景，Cider 還內(nèi)置了 OpenAI 兼容的推理服務(wù)接口，開發(fā)者可以直接在本地部署一個(gè)支持圖文輸入的推理服務(wù)，無需額外適配即可對接現(xiàn)有工具鏈；這對于需要在本地處理截圖、文檔或產(chǎn)品圖的企業(yè)應(yīng)用來說，是一個(gè)開箱即用的能力。但需要注意的是，針對 VLM 模型，為避免影響視覺編碼器的精度，官方建議僅對 VLM 中的語言模型部分調(diào)用convert_model(language_model)。

值得一提的是，Cider 的量化加速僅作用于 prefill 階段，decode 階段會(huì)自動(dòng)回落到原始權(quán)重進(jìn)行推理，切換零開銷，對輸出質(zhì)量無任何影響。

Cider 還包含一個(gè)實(shí)驗(yàn)性模塊，方向更為大膽。在 Apple 芯片的推理過程中，GPU 和 CPU 是主要的計(jì)算單元，而神經(jīng)網(wǎng)絡(luò)引擎（ANE，Apple Neural Engine）幾乎全程閑置。Cider 的實(shí)驗(yàn)性 ANE+GPU 異構(gòu)并行模塊，嘗試在 prefill 階段將線性層的矩陣運(yùn)算按輸出維度拆分，ANE 負(fù)責(zé)約 65% 的通道，GPU 負(fù)責(zé)剩余 35%，兩者并行運(yùn)行后合并結(jié)果。在 M4 芯片上的 Qwen3-VL-2B prefill 的同步測試中，這種方案相比純 GPU 推理帶來了約 3%~17% 的速度提升。

這個(gè)探索仍處于早期階段，尚未實(shí)現(xiàn) MLX 慣用的延遲求值（lazy evaluation），且目前僅在 M4 上經(jīng)過驗(yàn)證。但它揭示了一個(gè)更長遠(yuǎn)的意圖：Mac 上每一塊算力單元都可以用起來。我們十分期待明略團(tuán)隊(duì)未來能基于這一方向，帶來更多突破性的研究發(fā)現(xiàn)與技術(shù)成果。

Mano-P：讓你的 Mac 長出「手」

與 Cider 同步開源的，還有明略科技的 GUI-VLA 智能體模型 Mano-P 1.0。其中，Mano 是西班牙語里「手」的意思，P 代表 Private。其項(xiàng)目頁面寫到：「我們相信，個(gè)體和組織都能夠創(chuàng)造屬于自己的私有 AI，人機(jī)協(xié)同的美好世界即將到來?！?/p>

• 倉庫地址：https://github.com/Mininglamp-AI/Mano-P

Mano-P 的核心能力是通過純視覺理解，讓 AI 直接看懂屏幕并操作圖形界面（GUI），不依賴 CDP 協(xié)議或 HTML 解析，不局限于瀏覽器場景，桌面軟件、Web 系統(tǒng)乃至更復(fù)雜的專業(yè)工具均可覆蓋。

在全自動(dòng)編程流水線中，它最直接的價(jià)值是替代人工完成 GUI 測試：Claude Code 寫完代碼，Mano-P 接手打開界面、點(diǎn)擊驗(yàn)證、反饋結(jié)果，整個(gè)軟件開發(fā)閉環(huán)不再需要人類介入。要知道，在常規(guī)的全自動(dòng)編程流水線中，GUI 測試消耗的云端 token 占比超過 50%，Mano-P 端側(cè)模型將這部分開銷直接歸零。

在 OSWorld 基準(zhǔn)測試中，Mano-P 1.0-72B 以 58.2% 的成功率位列所有專用 GUI 智能體模型全球第一，領(lǐng)先第二名逾 13 個(gè)百分點(diǎn)；在 WebRetriever Protocol I 上，以 41.7 分超越 Gemini 2.5 Pro Computer Use（40.9）和 Claude 4.5 Computer Use（31.3）。

端側(cè)方面，4B 量化模型在 Apple M4 Pro 上可實(shí)現(xiàn) 476 tokens/s prefill 和 76 tokens/s 解碼、峰值內(nèi)存僅 4.3GB，一臺(tái)搭載 M4 芯片、32GB 內(nèi)存的 Mac mini 即可本地運(yùn)行，所有截圖與任務(wù)數(shù)據(jù)不出設(shè)備。相比標(biāo)準(zhǔn) PyTorch CPU 推理，其端側(cè)推理提速 60 倍以上，且 8-bit 量化與全精度輸出保持一致，坐標(biāo)偏差嚴(yán)格控制在 1 像素以內(nèi)。

而在 Apple M5 Pro + Cider 推理 SDK 組合下，Mano-P 1.0-4B 啟用 Cider 的 W8A8 激活量化后，同一輸入下 prefill 時(shí)間從 2.839s 降到 2.519s，prefill 約加速 12.7%。

Mano-P 與 Cider 配合落地的效果，也經(jīng)過了一輪真實(shí)任務(wù)的嚴(yán)格測試。明略科技圍繞其端到端自動(dòng)化應(yīng)用構(gòu)建流水線 Mano-AFK 構(gòu)建的五個(gè) Web 應(yīng)用（涵蓋差旅分賬、訂單管理、家庭記賬等場景），設(shè)計(jì)了一套包含 100 條任務(wù)的 CUA 基準(zhǔn)，每條任務(wù)都區(qū)分「無 bug 版本」和「預(yù)注入 bug 版本」，考察模型能否正確判斷應(yīng)用是否可用。在搭載 MacBook Pro M5（16GB 內(nèi)存）的設(shè)備上，Mano-P 在 W8A16 模式下準(zhǔn)確率為 58.0%，而接入 Cider 的 W8A8 模式下準(zhǔn)確率為 54.0%。

數(shù)據(jù)說明了一個(gè)值得正視的工程細(xì)節(jié)：在 16GB 內(nèi)存的設(shè)備上，W8A8 模式需要同時(shí)保留原始權(quán)重與 INT8 權(quán)重，內(nèi)存占用近似翻倍，在內(nèi)存偏緊的情況下可能引發(fā)換頁，抵消 prefill 階段的加速收益。

官方建議在內(nèi)存余量超出模型體積 4GB 以上的設(shè)備（如 32GB 或更高配置）上使用 W8A8，以充分發(fā)揮 Cider 的加速優(yōu)勢——這恰恰也是 Mano-P 推薦的標(biāo)準(zhǔn)硬件配置。這組數(shù)據(jù)的意義，不是說明 W8A8 在所有場景下都優(yōu)于 W8A16，而是說明 Cider 與 Mano-P 的組合在真實(shí)任務(wù)中已經(jīng)可以端到端跑通，性能的邊界和適配條件也已經(jīng)有了明確的工程結(jié)論。

文中視頻鏈接：https://mp.weixin.qq.com/s/eLN0bUO-hGAxEwPFQ7zsjg

本視頻展示 Mano-AFK 與 Cider 推理加速 SDK 的聯(lián)合能力。Mano-AFK 從一句自然語言需求出發(fā)，自主完成需求澄清、架構(gòu)設(shè)計(jì)、代碼生成、本地部署，并在 E2E 測試環(huán)節(jié)調(diào)用由 Cider 加速的本地 Mano-P 視覺模型驅(qū)動(dòng)真實(shí)瀏覽器完成 GUI 自動(dòng)化測試；測試失敗時(shí)自動(dòng)定位缺陷、修復(fù)代碼并重新驗(yàn)證，直至交付可運(yùn)行的應(yīng)用。Cider 提供 INT8 激活量化原語，讓 Mano-P 在 Apple Silicon 上獲得顯著的 prefill 加速，整個(gè)「構(gòu)建-測試-修復(fù)」閉環(huán)完全在本地執(zhí)行，兼顧自主性、隱私與性能。

Mano-P 以 Apache 2.0 協(xié)議開源，支持商業(yè)使用與二次開發(fā)，完整技術(shù)棧（含訓(xùn)練方法、剪枝與量化方案）同樣將后續(xù)開源，賦能廣大企業(yè)或開發(fā)者基于自己的數(shù)據(jù)訓(xùn)練定制化 GUI Agent 模型。

更多詳情可見我們之前的專題報(bào)道《全球第一，13 個(gè) SOTA！我們找到了龍蝦界掌管 GUI 的神》。

Cider + Mano-P = 快且實(shí)用的 Private AI

單獨(dú)看 Cider，它是一個(gè)面向開發(fā)者的推理加速工具，受益的是所有跑在 Mac 上的 MLX 模型。單獨(dú)看 Mano-P，它是一個(gè) GUI 智能體，價(jià)值在于特定的自動(dòng)化場景。

但把兩者放在一起，指向的是同一件事：Private AI——讓 AI 真正屬于使用它的人，而不是服務(wù)提供商。

這個(gè)理念，在明略科技此前對 Mano-P 的闡述中已經(jīng)有過完整表達(dá)，彼時(shí)稱為 Personal AI。「AI for personal，不是說每個(gè)人可以用 AI，是每個(gè)人可以做 AI」。這句話的核心是 AI 的所有權(quán)問題。當(dāng)所有人都調(diào)用同一個(gè)云端模型，AI 只是一種服務(wù)；而當(dāng)模型跑在你自己的設(shè)備上、適應(yīng)你的數(shù)據(jù)和場景，AI 才能成為真正意義上「屬于你的工具」。

Private AI 是這一理念的延續(xù)和深化：Private 不只意味著私密，更意味著私有：數(shù)據(jù)私有、推理私有、能力私有。

• Cider 解決的是「速度」問題：讓端側(cè)推理足夠快，讓本地運(yùn)行不再是對云端的妥協(xié)，而是一個(gè)真實(shí)的工程選項(xiàng)。
• Mano-P 解決的是「場景」問題：證明端側(cè) AI 可以在一個(gè)具體的、高價(jià)值的場景里真正可用。

兩者疊加，才讓「數(shù)據(jù)零上云」從安全口號變成可以被實(shí)際部署的工程方案：不調(diào) API，不傳截圖，不花一分錢，成本可控、離線可用、數(shù)據(jù)完全自主。純視覺感知與極速本地推理的結(jié)合，讓數(shù)據(jù)隱私從一種承諾變成了物理隔離的必然。端側(cè)不是縮水版 AI，而是下一階段 AI 落地的重要形態(tài)！

這也是 Apple Silicon 生態(tài)里值得關(guān)注的一個(gè)位置。Apple 自身在 MLX 方向上持續(xù)加碼；在剛結(jié)束的 ICLR 2026 大會(huì)上，Apple 在展位演示的核心內(nèi)容之一，正是 MLX 在 MacBook Pro M5 上的本地 LLM 推理能力。

而 Cider 做的事，是在 Apple 官方生態(tài)已經(jīng)建好的地基上，補(bǔ)齊了官方框架尚未覆蓋的那一層：讓 Apple 自家芯片里的專用硬件，被更充分地利用起來。用明略科技自己的說法：「我們擁抱了 Apple 的官方開源生態(tài)，并且比 Apple 原生框架把硬件潛能激發(fā)得更徹底?！?/p>

基于 Private AI 的未來……

在我們之前對明略集團(tuán)副總裁，多模態(tài)首席科學(xué)家趙晨旭的采訪中，他描述了一個(gè)即將到來的使用場景：假設(shè)你有一個(gè)公司內(nèi)部的保密系統(tǒng)，需要讓 AI 幫你操作?，F(xiàn)有的方式，是把賬號密碼以明文寫進(jìn) AI 的記憶文件里，安全隱患顯而易見。

但如果模型跑在本地，就有了另一種可能：直接通過自然語言告訴它「把這個(gè)密碼記進(jìn)你的參數(shù)」，模型自動(dòng)觸發(fā)學(xué)習(xí)流程，把這段信息訓(xùn)練進(jìn)自己的權(quán)重，而不是存成可以被讀取的明文。你再問它密碼，它說不知道；讓它去登錄，它卻能做到。

這套能力，明略科技將其稱為Auto Agent Learning。據(jù)了解，這也是他們即將公布的下一個(gè)技術(shù)方向。

Auto Agent Learning 要解決的核心問題是：如何讓一個(gè)跑在本地的小模型，能夠在用戶自己的設(shè)備上，用自然語言持續(xù)更新參數(shù)，進(jìn)而適應(yīng)用戶的私有場景、工作習(xí)慣和專屬數(shù)據(jù)。

正如前文在探討 Private AI 時(shí)所提及的，這不僅是隱私保護(hù)，更是對 AI 所有權(quán)的重新定義：你將告別傳統(tǒng)的 AI 服務(wù)調(diào)用模式，轉(zhuǎn)為培養(yǎng)一個(gè)完全專屬的智能體；因?yàn)槟Ｐ褪腔谀愕膫€(gè)人數(shù)據(jù)與習(xí)慣進(jìn)行本地演進(jìn)的，它真正實(shí)現(xiàn)了從「屬于你」向「更懂你」的跨越。它會(huì)跟著你的使用場景持續(xù)成長，最終蛻變?yōu)樽钇鹾夏銈€(gè)人需求的專屬形態(tài)。

Cider 和 Mano-P 是這條路上已經(jīng)落地的兩步棋。Cider 讓本地推理足夠快，讓模型能在你的蘋果設(shè)備上快速響應(yīng)；Mano-P 讓模型能看懂屏幕、操作界面，打通從「理解」到「行動(dòng)」的最后一步。兩者都以開源協(xié)議發(fā)布，向更廣泛的開發(fā)者遞出了邀請。

而 Auto Agent Learning 是這條路上下一塊被等待著放下的棋子。

當(dāng)模型跑在用戶自己的設(shè)備上，當(dāng)它能夠在用戶場景里持續(xù)學(xué)習(xí)和進(jìn)化，Private AI 才會(huì)從一個(gè)概念變成可以被每個(gè)人真正擁有的東西。

Private AI 無疑是未來不可忽視的重要趨勢之一，令人欣慰的是，我們已經(jīng)在這條通往個(gè)人專屬智能的道路上，看到了先行者的身影。