新智元報道

編輯：Aeneas

【新智元導(dǎo)讀】一位中國開發(fā)者，在橫跨大西洋的航程中，在飛機(jī)上用 MacBook 本地跑 Llama 70B，整整 11 小時沒有網(wǎng)絡(luò)，帖子瞬間在X上爆火！但是隨后，越來越多網(wǎng)友發(fā)現(xiàn)，這故事不太對?。?/strong>

一位中國開發(fā)者，在橫跨大西洋的 11 小時航程中，拒絕了 25 美元的機(jī)上網(wǎng)絡(luò)，卻在萬米高空完成了一整套復(fù)雜的客戶項(xiàng)目交付？

沒有 Cloud API，沒有 Anthropic，沒有 OpenAI，甚至沒有一格信號。

只有一臺 MacBook Pro M4、一段自己寫的編排腳本，以及Llama 70B這個本地AI模型，然后就把項(xiàng)目跑通了？

舷窗外是白云與藍(lán)天，沒有 WiFi；小桌板上是一臺 MacBook，終端開著兩個窗口，本地運(yùn)行著一個推理服務(wù)器

因?yàn)樘^炸裂，這個帖子一經(jīng)發(fā)出，就在技術(shù)社區(qū)傳開了。

本地推理的時代，真的來了？

在萬米高空，

用MacBook跑Llama 70B

據(jù)說，故事的主角是一位中國開發(fā)者。

在飛往大洋彼岸的靠窗座位上，他打開64GB內(nèi)存的MacBook Pro，面對的是堆積如山的客戶任務(wù)隊(duì)列。

接下來整整11個小時，都沒有網(wǎng)絡(luò)。

換做普通人，此刻已經(jīng)乖乖掏出信用卡，支付那昂貴且延遲極高的 25 美元機(jī)上 Wi-Fi。

但他選擇了另一條路：本地推理。

他啟動了通過llama.cpp運(yùn)行的Llama 3.3 70B。

生成速度 71 tokens/秒，上下文約 60,000 tokens，內(nèi)存占用 48.6 GiB / 64 GiB，起飛時電池剩余 3 小時 21 分鐘。

為了讓這個龐然大物在64GB內(nèi)存的機(jī)器上跑起來，他甚至為自己編寫了一個「離線編排器」腳本。

最令人拍案叫絕的，是他給AI下達(dá)的系統(tǒng)提示詞。

你是一個運(yùn)行在單臺 MacBook 上的離線編排器。沒有網(wǎng)絡(luò)。你唯一的資源是 /Users/dev/work 下的本地文件、localhost:8080 的 Llama 70B 推理服務(wù)，以及 3 小時 21 分鐘的電池預(yù)算。

處理 /Users/dev/work/queue.jsonl 中的任務(wù)隊(duì)列（每行一個客戶任務(wù)）。對每個任務(wù)：起草 → 運(yùn)行本地評估 → 保存產(chǎn)物到 /Users/dev/work/done/。每 12 個任務(wù)保存一次上下文檢查點(diǎn)，以便更換電池后恢復(fù)。僅在隊(duì)列為空或電池低于 5% 時停止。

因此，這個系統(tǒng)完全清楚自己所處的困境。

它知道自己未來 11 小時與世隔絕，知道內(nèi)存和電池是有限的奢侈品，甚至知道在飛機(jī)降落前，它必須獨(dú)自處理所有的邏輯。

系統(tǒng)在一個循環(huán)中運(yùn)行：從任務(wù)隊(duì)列中取出一個任務(wù)，進(jìn)行推理處理，保存生成結(jié)果，寫入檢查點(diǎn)。一個接一個，就這樣持續(xù)執(zhí)行。

只有當(dāng)電量低于 5% 時，調(diào)度器才會自動暫停，等待筆記本切換到備用移動電源，然后從上一次的檢查點(diǎn)繼續(xù)運(yùn)行。

飛行過程中，系統(tǒng)日志里寫下了這樣的內(nèi)容：

「已保存上下文檢查點(diǎn) 8 / 12（pos_min = 488，pos_max = 50118，大小 = 62.813 MiB）」

「已恢復(fù)上下文檢查點(diǎn)（pos_min = 488，pos_max = 50118）」

「提示處理進(jìn)度：n_tokens = 50 / 60,818」

「任務(wù) 37016 完成 | 處理速度 = 71 tokens/s → 輸出至 /Users/dev/work/done/proposal_westside.md」

有人驚呼：這是我過去一年里見過的最干凈利落的離線 AI 工作流程！

11 小時航程，WiFi 花費(fèi)為 0，當(dāng)飛機(jī)輪子觸碰跑道的那一刻，他合上電腦，所有的客戶提案已經(jīng)整整齊齊地躺在done/文件夾里。

系統(tǒng)不再是一個只會復(fù)讀的復(fù)讀機(jī)，而是一個具備資源意識的管理者。

這正是「Self-aware Computing」最迷人的地方。

網(wǎng)友打假：

技術(shù)神話，還是「賽博爽文」？

不過，文章在社區(qū)瘋傳后，很快引來了技術(shù)極客們的質(zhì)疑。

資深開發(fā)者們紛紛掏出計算器，開始瘋狂「對線」。

第一刀：內(nèi)存與權(quán)重的「不可能三角」

Llama 3.3 70B 如果以 BF16（半精度）運(yùn)行，光模型權(quán)重就需要約140GB內(nèi)存。要在 64GB 的 MacBook 上跑起來，簡直就像把大象塞進(jìn)冰箱。

64GB 內(nèi)存大概率只能跑 4-bit 量化版本，算上 60k 的上下文 KV Cache，內(nèi)存占用至少也要 40GB+，BF16 絕無可能。

非要說的話，要在64GB上跑70B，只有一條路——量化。4-bit量化后模型約35GB，加上KV緩存和系統(tǒng)開銷，勉強(qiáng)能塞進(jìn)去。

但量化版本和BF16是兩回事，精度、推理質(zhì)量都會打折扣。

帖子里寫的是「bf16」。看起來，這個細(xì)節(jié)要么是不懂，要么是故意的。

第二刀：71 tokens/s 的「神仙速度」

帖子聲稱生成速度71 tokens/s。

根據(jù) M4 芯片的實(shí)際表現(xiàn)，本地運(yùn)行 70B 規(guī)模的模型，生成速度通常在 5-12 tokens/s 之間。

71 tokens/s 是什么概念？這幾乎是頂級 H100 集群的響應(yīng)速度。

「這個速度可能是 8B 模型或者是某種極致的投機(jī)采樣，70B 跑出這個速度，MacBook 怕是要起火?！?/p>

評論區(qū)一位用戶直接亮出自己的實(shí)測數(shù)據(jù)：M5 Max 128GB（注意，128GB，是帖子里設(shè)備內(nèi)存的兩倍），跑同款模型量化版llama.cpp，實(shí)測12.8 tokens/s。

更高端的硬件，跑更輕的量化版本，速度反而只有帖子聲稱的五分之一，因此，原帖中說的速度幾乎不可能實(shí)現(xiàn)。

第三刀：11小時續(xù)航

帖子中提到的「更換電池」引發(fā)了老用戶的集體懷舊：現(xiàn)代 MacBook Pro 都是一體化設(shè)計，所謂的「換電池」，大概率是切換到了大功率的備用充電寶（如百瓦快充移動電源）。

MacBook Pro M4 Max官方標(biāo)稱續(xù)航約18小時，那是輕度使用。持續(xù)滿載跑70B推理，GPU和內(nèi)存全程拉滿，實(shí)際續(xù)航會大幅縮水。

雖然帖子里提到「切換到備用充電寶后恢復(fù)」——但跨大西洋航班經(jīng)濟(jì)艙的USB口功率通常只有7.5W到18W，而M4 Max滿載功耗超過40W。

因此，續(xù)航11小時這個說法幾乎站不住腳。

故事是假的，但范式轉(zhuǎn)向是真的

面對質(zhì)疑，我們需要剝開數(shù)據(jù)的水份，看清這件事背后真正令科技圈高潮的原因。

長期以來，我們已經(jīng)習(xí)慣了「云端成癮」。

沒有 GPT-4 的 API，很多開發(fā)者甚至不知道該如何寫代碼；沒有網(wǎng)絡(luò)，AI 就變成了一個啞巴。

現(xiàn)在，本地推理，確實(shí)在發(fā)生一場靜悄悄的革命。

2024年，在筆記本上跑7B模型還需要各種技巧。

2026年，M4 Mac上跑70B量化版已經(jīng)是日常操作。雖然速度不快，大概10來個tokens/s，但已經(jīng)能用。

真實(shí)的使用場景不是「飛機(jī)上交付完整項(xiàng)目」這種聽起來很爽的敘事，而是一些更樸素的東西，比如離線環(huán)境下的文檔問答，隱私敏感場景下不想把數(shù)據(jù)傳上云等等。

這些場景不性感，但實(shí)用。

現(xiàn)在，llama.cpp的mlx后端已經(jīng)針對Apple Silicon做了深度優(yōu)化，Ollama也把部署門檻壓到了一條命令。

即便 71 tokens/s 的速度存疑，BF16 的精度可能有夸張，但這種「在孤島上建立文明」的技術(shù)浪漫主義，才是最牛的。

未來，最頂尖的開發(fā)者或許不再是那個最會調(diào)優(yōu)云端 Prompt 的人，而是那個能在資源枯竭、完全離線的極端環(huán)境下，手搓出一個「自感知、自循環(huán)」AI 系統(tǒng)的人。

下一次坐飛機(jī)，你準(zhǔn)備好帶上你的「數(shù)字大腦」了嗎？

參考資料：

https://x.com/servasyy_ai/status/2050098091789828376