北京
Ollama 0.19 預(yù)覽版來了，這次直接抱上了蘋果 MLX 框架的大腿。
對(duì)用 Mac 跑本地大模型的用戶來說，這相當(dāng)于給車換了套更省油的發(fā)動(dòng)機(jī)——統(tǒng)一內(nèi)存的調(diào)度效率明顯提升，緩存機(jī)制也做了重構(gòu)。更實(shí)在的是新增了 NVFP4 壓縮格式支持，部分模型的內(nèi)存占用直接砍了一截。
如果你用的是 M5 芯片的新 Mac，還能額外解鎖神經(jīng)網(wǎng)絡(luò)加速器，token 生成速度和首詞響應(yīng)都有提升。不過這個(gè)功能目前門檻不低：統(tǒng)一內(nèi)存至少 32GB，首批只支持阿里開源的 350 億參數(shù) Qwen3.5 模型。
實(shí)際體驗(yàn)上，用 OpenClaw 這類私人助手、或者跑 Claude Code 和 Codex 寫代碼時(shí)，響應(yīng)延遲會(huì)明顯改善。MLX 作為蘋果親生的機(jī)器學(xué)習(xí)框架，本來就是為了讓 Python 和 Swift 開發(fā)者能在本地高效跑 LLM，Ollama 這次算是把輪子裝對(duì)了位置。
有用戶升級(jí)后反饋，同樣跑 Qwen3.5，之前風(fēng)扇狂轉(zhuǎn)的工況現(xiàn)在安靜了不少——對(duì)筆記本用戶來說，這可能比跑分?jǐn)?shù)字更實(shí)在。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
