凌晨前幾分鐘，我啟動了一個自動化任務(wù)，心里默算了下剩余的API額度，然后上床睡覺。計劃很簡單：醒來時，工作應(yīng)該已經(jīng)完成了。

實際醒來時，我看到的是凍結(jié)的終端界面。代理程序在第10分鐘停止了。遠(yuǎn)程服務(wù)夜間宕機(jī)，整個任務(wù)隨之夭折。我交給它的任務(wù)并不復(fù)雜：抓取50個文檔頁面，交叉比對數(shù)據(jù)源，生成結(jié)構(gòu)化摘要。它剛開始沒多久，我根本無法控制的基礎(chǔ)設(shè)施就熄火了。

模型沒出問題，智能也不是瓶頸。真正的問題在于，我搭建在了一個不屬于自己的地基上：一個可能宕機(jī)的服務(wù)，一個可能耗盡的額度，以及第二天早上不知道會碰到哪一個的焦慮。

我一直也在用本地模型，訓(xùn)練過、測試過，印象不錯。但說實話，過去我從沒真正信任它們處理復(fù)雜任務(wù)。更像是愛好，而非解決方案。真實工作負(fù)載需要太多人工看護(hù)。我把它們歸檔在"有意思"的文件夾里。那個凍結(jié)的終端，把它們移到了另一個位置。

很長一段時間，專有巨頭與開源世界之間的差距像一道峽谷。封閉陣營里有"神級模型"：GPT、Claude、Gemini。它們幾乎能推理任何問題，但你得按它們的規(guī)則玩。想要真正的智能，就得付訂閱費，接受它們的條款。

但這道峽谷正在收窄。

開源權(quán)重社區(qū)正在大力推進(jìn)。DeepSeek V4、Kimi K2.6、GLM-5.1等模型證明，高端推理正在變成大宗商品。問題是權(quán)重規(guī)模。除非運營服務(wù)器農(nóng)場或昂貴機(jī)架，否則托管這種規(guī)模的模型是后勤噩夢。遠(yuǎn)觀令人贊嘆，實際搭建卻太重了。

然后甜點區(qū)出現(xiàn)了：Gemma 4 31B和Qwen 3.6 27B。

數(shù)學(xué)突然變了。這些模型不如萬億參數(shù)巨頭聰明，但它們能裝下。裝進(jìn)消費級GPU。離線工作。而且免費運行，除了GPU的電費成本。

但關(guān)鍵在這里：我認(rèn)為本地模型的目標(biāo)，不是在智商競賽中打敗云模型。

復(fù)雜任務(wù)你仍然需要重武器。你想要最強(qiáng)大的模型來處理高價值迭代，精度至上。那是短跑。

但當(dāng)任務(wù)不是短跑呢？當(dāng)你需要模型連續(xù)工作六小時？抓取一百個頁面，嘗試五十條不同推理路徑，失敗，轉(zhuǎn)向，繼續(xù)磨到完成為止？

那是馬拉松。

馬拉松里，智能是次要的，耐力才是核心。

本地設(shè)置的真正優(yōu)勢不只是隱私或成本。而是你擁有一個不會消失的執(zhí)行層。它不會中途停機(jī)，不會額度耗盡，不會在你睡覺時把任務(wù)丟進(jìn)虛空。它就在那兒，以恒定速度運轉(zhuǎn)，直到工作完成。

這不是取代云端智能。這是關(guān)于任務(wù)類型的分工。云端處理需要爆發(fā)力的精密推理，本地負(fù)責(zé)需要持久性的長時運算。Gemma 4 31B的體量正好卡在這個縫隙里：足夠聰明處理中等復(fù)雜度任務(wù)，又足夠輕便在單卡上跑通宵。

那個凍結(jié)的終端教會我的事：有些工作不能交給會消失的基礎(chǔ)設(shè)施。當(dāng)你需要確定性，需要知道早上醒來時任務(wù)要么完成、要么還在推進(jìn)——本地模型從"有意思"變成了"必須"。