2026年最可怕的事，可能是你習(xí)慣的那款A(yù)I突然用不了了。

云模型依賴大廠，說(shuō)關(guān)就關(guān)；本地模型部署貴、跑得慢，答案質(zhì)量還飄忽。這是過(guò)去一年很多開(kāi)發(fā)者的真實(shí)困境。直到Google Gemma 4系列發(fā)布，情況開(kāi)始變化。

一位叫FrowningMonk的開(kāi)發(fā)者原本已對(duì)本地模型死心。他用非旗艦機(jī)榮耀200測(cè)試Gemma 4，通過(guò)Google AI Edge Gallery運(yùn)行，推理速度卻出乎意料。這讓他重新思考：有沒(méi)有可能把AI真正裝進(jìn)兜里，隨時(shí)可用、完全可控？

于是他做了Sanctum Machina——"機(jī)器的圣所"。

這個(gè)名字帶著點(diǎn)科幻氣質(zhì)，功能卻很實(shí)在。它讓Gemma 4的E2B或E4B模型常駐手機(jī)，不需要網(wǎng)絡(luò)就能工作。相比Google AI Edge Gallery的測(cè)試屬性——無(wú)歷史記錄、每次對(duì)話像無(wú)痕瀏覽、展示功能過(guò)重——Sanctum Machina把它改成了日常可用的工具。

本地模型有個(gè)老毛?。豪鋯?dòng)慢。每次加載模型進(jìn)內(nèi)存都要等。Sanctum Machina的解法是在App啟動(dòng)時(shí)后臺(tái)預(yù)熱，一次搞定。之后開(kāi)多少對(duì)話都不用再等。

安全設(shè)計(jì)也做了限制。模型只能從硬編碼的允許列表下載，下載前App會(huì)先檢查設(shè)備能不能跑。完全斷網(wǎng)運(yùn)行，模型和數(shù)據(jù)都不外流。

技術(shù)棧上，Sanctum Machina通過(guò)LiteRT-LM運(yùn)行Gemma 4 E2B和E4B。這兩個(gè)版本是目前唯一能在中端Android機(jī)上流暢運(yùn)行的Gemma 4型號(hào)。多模態(tài)輸入——文本、圖像、短音頻——開(kāi)箱即用，這在同尺寸端側(cè)模型里不多見(jiàn)。

系統(tǒng)提示詞的全權(quán)控制是另一個(gè)亮點(diǎn)。小模型對(duì)提示工程極其敏感，同樣的模型，換一套系統(tǒng)提示，輸出質(zhì)量可能天差地別。開(kāi)發(fā)者特意強(qiáng)調(diào)："試試就知道，系統(tǒng)提示能做的事會(huì)讓你驚訝。"

下一步規(guī)劃已經(jīng)明確。一是探索工具調(diào)用和Agent模式，基于FunctionGemma 270M（litert-community的Mobile Actions微調(diào)版本）。技術(shù)層面基本打通，難點(diǎn)在于找到手機(jī)上真正值得用的場(chǎng)景。二是跟進(jìn)剛發(fā)布的Multi-Token Prediction（MTP）草稿模型，E2B和E4B都有對(duì)應(yīng)版本。零質(zhì)量損失、3倍加速，這正是端側(cè)推理需要的邊際改進(jìn)。

項(xiàng)目開(kāi)源在GitHub，名字叫Sanctum Machina。開(kāi)發(fā)者的說(shuō)法很直白：哪怕世界崩塌，機(jī)器之靈也會(huì)在圣所里繼續(xù)運(yùn)轉(zhuǎn)。