一步步讓AI接管風(fēng)扇、汽車、家電……從一臺筆記本開始，打造個(gè)人版“賈維斯”。

作者丨鄧天卓

編輯丨林覺民 梁丙鑒

01

暴擊：

凌晨4點(diǎn)，我家的AI系統(tǒng)集體“罷工”了

2026年4月的一個(gè)凌晨，4點(diǎn)07分，一切崩潰了。

前一天晚上，我讓家里的AI通宵干活——整理NAS（網(wǎng)絡(luò)存儲服務(wù)器，簡單說就是“家用大型移動硬盤”）里20年攢下的幾十TB數(shù)據(jù)，包括照片、文檔、視頻，AI要一個(gè)個(gè)分類，已經(jīng)跑了整整6個(gè)小時(shí)。

結(jié)果，路由器突然重啟了。

我的筆記本自動重連WiFi時(shí)，犯了個(gè)致命錯(cuò)誤：它沒連家里的主路由，反而連上了運(yùn)營商的光貓網(wǎng)絡(luò)。就這一個(gè)小失誤，導(dǎo)致NAS、AI服務(wù)器全部失聯(lián)，六個(gè)小時(shí)的工作功虧一簣，整個(gè)家庭AI系統(tǒng)像多米諾骨牌一樣，徹底崩了。

早上7點(diǎn)，我打開電腦，屏幕上全是“連接失敗”的提示——這是我用AI重建家庭數(shù)字生活的第九天，前八天的驚喜，差點(diǎn)被這一個(gè)小bug澆滅。

這一切，還要從八天前，一臺新電腦的到來說起。

02

為什么非要讓AI幫我遷移20年的“數(shù)字垃圾”？

先說說我的“執(zhí)念”：20年不重裝系統(tǒng)

我是天卓，一個(gè)連續(xù)創(chuàng)業(yè)者，也是一個(gè)技術(shù)極客。

（編者補(bǔ)：鄧天卓更是一個(gè)移動互聯(lián)網(wǎng)時(shí)代的超級創(chuàng)業(yè)者+投資人，與國內(nèi)各家電商都關(guān)系匪淺。）

從最早的PowerPC電腦，到后來的Intel旗艦機(jī)，再到近幾年的M1、M2、M3、M4 Max MacBook Pro，我的主力機(jī)換了一代又一代，但有一個(gè)習(xí)慣從沒變——不重裝系統(tǒng)。

每次換電腦，我都像“倒酒”一樣，用蘋果的遷移助手（Migration Assistant），把舊電腦里的所有東西，原封不動拷貝到新電腦里。

20年下來，我那臺M4 Max MacBook Pro，已經(jīng)變成了一個(gè)8TB的“數(shù)字迷宮”：幾十萬張專業(yè)相機(jī)照片、無數(shù)投資文檔、上百個(gè)軟件的配置、從2004年開始的開發(fā)環(huán)境，還有很多我自己都記不清是什么的海量數(shù)據(jù)。

以前，我只能靠不斷買頂配電腦，才能裝下這個(gè)“迷宮”。但今年，我不想再這樣“擺爛”了——因?yàn)槲沂盏搅艘慌_“神器”：M5 Max MacBook Pro（16英寸頂配，業(yè)內(nèi)叫“皇帝版”）。

M5 Max的“殺手锏”：讓大模型“住”進(jìn)家用電腦

這臺電腦最牛的地方，是它有128GB的統(tǒng)一內(nèi)存（可以理解為“電腦的大腦運(yùn)行空間”，越大越流暢）。

放在一年前，只有數(shù)據(jù)中心的專業(yè)GPU（圖形處理器，相當(dāng)于電腦的“算力心臟”），才能帶動650億參數(shù)的大模型（參數(shù)越多，AI越聰明）；但現(xiàn)在，這臺家用筆記本就能輕松做到——比如Qwen3.5-122B的4bit量化版，只需要65GB內(nèi)存，運(yùn)行速度完全夠用。

更重要的是，模型跑在本地（就是只在我自己的電腦上運(yùn)行），數(shù)據(jù)不會傳到網(wǎng)上，既不用花錢買使用額度，也不用擔(dān)心隱私泄露。

于是我萌生了一個(gè)大膽的想法：讓AI幫我，把舊電腦里的“數(shù)字迷宮”，徹底遷移到新電腦上，順便整理干凈。

03

重頭戲：

AI當(dāng)“系統(tǒng)管理員”，遷移20年數(shù)據(jù)零翻車

打開 Claude Code，我下達(dá)了那個(gè)自己期待已久的命令：“幫我把M4上的一切，遷移到M5 Max上?！?/p>

這和傳統(tǒng)的遷移方式，完全不一樣。

傳統(tǒng)遷移vs AI遷移：一個(gè)“照搬”，一個(gè)“懂你”

蘋果的遷移助手（Migration Assistant）就是個(gè)“黑盒”——它只會把舊電腦里的所有東西，原封不動拷貝過去，不管有用沒用，也不管兼容不兼容。

但Claude Code不一樣，它像一個(gè)經(jīng)驗(yàn)豐富的系統(tǒng)管理員，先花10分鐘給兩臺電腦“看診”：

1.掃描舊電腦上的所有軟件、代碼環(huán)境、配置文件；

2.讀取我的shell配置（電腦操作命令的設(shè)置）、SSH密鑰（遠(yuǎn)程登錄電腦的“鑰匙”）、啟動項(xiàng)；

3.分析每一個(gè)應(yīng)用，判斷哪些有用、哪些沒用；

4.檢查磁盤健康狀態(tài)，避免遷移過程中出問題。

最驚喜的時(shí)刻：AI主動幫我“斷舍離”

看診結(jié)束后，Claude Code突然問我：“你的系統(tǒng)里有14個(gè)Intel時(shí)代遺留的Rosetta翻譯層應(yīng)用（以前Intel芯片電腦的軟件，在Apple芯片上需要“翻譯”才能用），它們跟著你換了好幾臺電腦，從來沒清理過。其中8個(gè)有原生Apple芯片版本，我建議裝原生版；另外6個(gè)已經(jīng)停止更新，你確定還要嗎？”

那一刻我就知道，它真的把我那20年的“數(shù)字迷宮”走通了——它不是在“照搬”，而是在“理解”我的需求，幫我做取舍。

三層排查清單：連我自己都忘了的東西，AI都找到了

之后，Claude Code給我生成了一份三層排查清單，把要遷移的內(nèi)容分了類，連我自己都忘了的東西，它都找出來了：

1.基礎(chǔ)層：SSH密鑰、桌面文件、常用軟件列表，這些最容易想到的東西；

2.中間層：Git配置（代碼管理工具的設(shè)置）、自定義腳本、定時(shí)任務(wù)，這些手動拷貝很容易遺漏的東西；

3.深層層：60GB+的虛擬機(jī)文件、相機(jī)色彩配置文件（用專業(yè)相機(jī)的人都知道，這東西丟了就沒法還原照片色調(diào)）、散落在電腦里的項(xiàng)目文件夾。

速度翻倍：AI幫我優(yōu)化遷移速度，一個(gè)周末搞定

一開始，數(shù)據(jù)傳輸速度只有33MB/s，按這個(gè)速度，遷移完要花好幾天。

Claude Code分析瓶頸后，主動做了三項(xiàng)優(yōu)化，瞬間把速度提了上來：

1.去掉壓縮功能：在萬千兆局域網(wǎng)上，壓縮反而會占用CPU，拖慢速度；

2.換輕量級SSH加密算法：默認(rèn)的加密算法太“重”，換個(gè)簡單的，速度直接翻倍；

3.大文件直接傳輸：不用增量算法（本來是用來節(jié)省傳輸流量的），在局域網(wǎng)上反而多余，直接傳更快。

最終，傳輸速度達(dá)到了210MB/s，一個(gè)周末，就完成了所有數(shù)據(jù)的遷移。

04

刷新認(rèn)知：

AI不止能遷移數(shù)據(jù)，還能幫我“修電腦、省 money”

這次遷移，徹底改變了我對AI能力的認(rèn)知——它不只是一個(gè)“工具”，更像一個(gè)“全能助手”，能解決很多我沒想到的問題。

驚喜時(shí)刻1：AI記住了我所有設(shè)備的狀態(tài)

遷移過程中，Claude Code需要下載一個(gè)大型框架包，正要從官方網(wǎng)站下載時(shí)，它突然停了下來：“這個(gè)包我們之前在你的另一臺機(jī)器上下載過，我直接從那臺電腦拷過來，不用再從網(wǎng)上下載了?！?/p>

它居然記住了我家里所有設(shè)備的狀態(tài)，主動調(diào)用其他設(shè)備的資源，省了我大量時(shí)間。

驚喜時(shí)刻2：AI破解了主板限制，給我的Windows電腦“提速”

我有一臺Windows臺式機(jī)，配備了RTX 5090顯卡，但內(nèi)存被主板鎖在了4800MHz，比標(biāo)稱的6000MHz低了25%，商業(yè)超頻軟件都沒用（戴爾在BIOS里做了鎖定）。

Claude Code發(fā)現(xiàn)后，遠(yuǎn)程連接到這臺電腦，下載了主板的BIOS固件，用十六進(jìn)制編輯器反編譯，找到隱藏的內(nèi)存頻率控制寄存器，還制定了一套完整的破解方案——全程都在我下達(dá)命令的終端窗口里完成，我完全沒插手。

驚喜時(shí)刻3：AI發(fā)現(xiàn)了硬盤的“物理故障”，還教我怎么修

遷移過程中，Claude Code突然報(bào)告：“你的第二塊NVMe硬盤（高速固態(tài)硬盤）出現(xiàn)了可修復(fù)的ECC錯(cuò)誤（簡單說就是數(shù)據(jù)傳輸時(shí)出現(xiàn)了小錯(cuò)誤）?！?/p>

更厲害的是，它還給出了解決方案：“這種錯(cuò)誤通常是因?yàn)榘惭b時(shí)散熱片壓得太緊，造成了物理應(yīng)力。建議關(guān)機(jī)后，松動散熱片右下角的固定螺絲，向上推一下再擰緊?！?/p>

這不是軟件問題，也不是驅(qū)動問題，而是物理安裝問題——AI居然能通過掃描，發(fā)現(xiàn)這個(gè)問題，還去硬件論壇找了解決方案，精準(zhǔn)定位到具體哪顆螺絲。

意外收獲：AI幫我淘汰了所有付費(fèi)軟件，零成本搞定一切

遷移完成后，我發(fā)現(xiàn)一個(gè)意外驚喜：很多付費(fèi)軟件，我再也不用買了——因?yàn)锳I能幫我實(shí)現(xiàn)所有功能，還更好用。

舉幾個(gè)例子：

1.文件重命名：以前用付費(fèi)軟件，要么依賴云端，要么功能有限；AI幫我裝了開源工具，調(diào)用本地大模型，中英文混合命名都能搞定，零成本；

2.語音識別/合成：以前用云端服務(wù)，按時(shí)長計(jì)費(fèi)；現(xiàn)在本地跑Qwen3-ASR（語音識別）和Qwen3-TTS（語音合成），免費(fèi)、實(shí)時(shí)，準(zhǔn)確率還更高，還能克隆聲音；

3.知識庫管理：以前企業(yè)級方案每月要幾百美元；現(xiàn)在用本地工具加嵌入模型，拖進(jìn)文件就能問答，不花一分錢；

4.代碼審查：以前商業(yè)工具年費(fèi)幾千美元；Claude Code不僅能審查代碼，還能理解我的整個(gè)項(xiàng)目，幫我修bug、寫測試。

其實(shí)道理很簡單：這些付費(fèi)軟件，都是AI不夠聰明的時(shí)代產(chǎn)物；現(xiàn)在有了本地大模型，一個(gè)通用的智能，勝過一百個(gè)專用的工具。

05

從控制風(fēng)扇開始：AI接管我家的“智能設(shè)備”

遷移完成后，一個(gè)偶然的發(fā)現(xiàn)，讓我萌生了讓AI接管整個(gè)家的想法——那就是控制家里的智能風(fēng)扇。

小嘗試：讓風(fēng)扇“聽GPU的話”，給AI降溫

RTX 5090顯卡全速運(yùn)行時(shí)，溫度會飆升到85度，很影響性能。我家里有一臺智能風(fēng)扇，AI幫我做了一件事：讓風(fēng)扇聽GPU溫度的指揮。

步驟很簡單（AI全程操作）：

1.劫持通信：這臺風(fēng)扇本來要連廠商的云端服務(wù)器，AI在路由器里加了一行設(shè)置，把廠商的域名指向我家的NAS；

2.協(xié)議轉(zhuǎn)換：在NAS上用開源工具，把風(fēng)扇的私有協(xié)議（廠商自己的通信方式），轉(zhuǎn)換成標(biāo)準(zhǔn)的MQTT協(xié)議（智能設(shè)備通用的通信方式）；

3.設(shè)置規(guī)則：寫一個(gè)簡單的溫度監(jiān)控腳本，GPU溫度75度開風(fēng)扇低速，85度開高速，55度以下自動關(guān)閉。

一個(gè)數(shù)字大腦，居然能管理自己的散熱——技術(shù)不難，但我從中看到了AI融入生活的詩意。

痛點(diǎn)解決：讓“各自為政”的智能家電，變成“一家人”

現(xiàn)在家里的智能設(shè)備越來越多：燈、空調(diào)、攝像頭、門鎖、掃地機(jī)器人，每一個(gè)都有自己的APP，注冊一堆賬號，還不能互通——所謂的“智能家電”，其實(shí)就是一堆各自為政的遙控器。

但控制風(fēng)扇的嘗試讓我明白：大多數(shù)智能設(shè)備的“云端”，其實(shí)就是個(gè)消息中轉(zhuǎn)站。只要把通信劫持到本地，這些設(shè)備就能脫離廠商云端，自己聯(lián)動。

于是我搭建了一套系統(tǒng)：用NAS上的Home Assistant（智能家居中樞）當(dāng)核心，MQTT broker（消息總線，讓設(shè)備之間能互相“說話”）當(dāng)橋梁，再用開源工具把各種設(shè)備的私有協(xié)議，都轉(zhuǎn)換成標(biāo)準(zhǔn)協(xié)議。

這里的AI，不是簡單控制設(shè)備，而是“理解我的意圖”。

傳統(tǒng)智能家居是“if-then”規(guī)則（比如溫度超過28度開空調(diào)），但AI能理解上下文：比如風(fēng)扇，AI知道“GPU在跑大模型，預(yù)計(jì)兩小時(shí)結(jié)束，先開低速，跑完再關(guān)”；比如燈，AI知道“周末孩子在家打游戲，客廳燈光調(diào)暖一點(diǎn)，晚上10點(diǎn)后自動調(diào)暗，提醒睡覺”。

而且AI能記住我的偏好，會隨著我的習(xí)慣慢慢進(jìn)化——這才是真正的“智能”。

進(jìn)階操作：AI接管我的兩輛特斯拉，每月省不少電費(fèi)

我家里有兩輛特斯拉和一個(gè)家用充電樁，以前每天都要花幾分鐘琢磨：誰先充電？充多少？什么時(shí)候充最省錢？明天要跑長途，要不要充滿電？

現(xiàn)在，這些事全交給AI了：

1.智能排隊(duì)：AI從我的日歷里讀取第二天的行程，根據(jù)兩輛車的電量，自動規(guī)劃誰先充——通勤的車充到80%就夠，要跑長途的充到100%；

2.錯(cuò)峰充電：AI接入電力公司的分時(shí)電價(jià)API，白天電價(jià)貴的時(shí)候不充，凌晨便宜的時(shí)候自動開始（加州峰谷電價(jià)能差2-3倍，一個(gè)月能省不少錢）；

3.狀態(tài)監(jiān)控：AI通過Tesla API，實(shí)時(shí)讀取車輛的電池健康度、胎壓、軟件版本，有異常就主動提醒；

4.未來規(guī)劃：冬天可以讓AI提前給車預(yù)熱（用充電樁的電，不耗電池）；以后裝了太陽能板，AI還能根據(jù)天氣預(yù)報(bào)，優(yōu)先用太陽能充電。

這些想法，技術(shù)上都能實(shí)現(xiàn)，只是需要花時(shí)間搭建和調(diào)試——但AI已經(jīng)幫我完成了大部分工作。

06

額外驚喜：AI當(dāng)“安全衛(wèi)士”，找出電腦里的4個(gè)木馬

我讓AI遠(yuǎn)程檢查了家里給孩子打游戲的臺式機(jī)，結(jié)果嚇出一身冷汗——里面藏著4個(gè)惡意軟件，Windows Defender（電腦自帶的殺毒軟件）一個(gè)都沒發(fā)現(xiàn)。

其中有混淆過的PowerShell木馬（注入到系統(tǒng)進(jìn)程里，很難發(fā)現(xiàn)），還有反殺毒軟件（專門阻止安全軟件運(yùn)行），以及偽裝成“AI助手”的廣告軟件和瀏覽器劫持程序（潛伏了5個(gè)月）。

AI不僅找到了它們，還理解了它們的運(yùn)行機(jī)制，把每一層惡意程序都清理干凈了。

更厲害的是，這臺電腦七天藍(lán)屏六次，AI分析了系統(tǒng)日志，定位到是PCIe電源管理的兼容性問題，修改了注冊表和電源方案后，藍(lán)屏再也沒出現(xiàn)過。

AI管家上線：整理20年數(shù)據(jù)，還能記住我的所有事

解決了智能設(shè)備的問題后，我又讓AI幫我整理家里NAS里的160TB數(shù)據(jù)——這是20年積累的“數(shù)字財(cái)富”，以前我根本沒時(shí)間整理。

照片管理：AI“看”懂照片，幫我分類、找照片

我一天能拍幾百張照片，以前整理照片要花幾個(gè)小時(shí)?，F(xiàn)在，AI能用多模態(tài)能力（既能看圖片，又能理解文字），自動完成選片、分類、調(diào)色——它還能學(xué)習(xí)我20年的審美偏好，知道我喜歡什么樣的構(gòu)圖和色調(diào)。

找照片也變得很簡單：我只要說“幫我找2015年全家在日本吃和牛的照片”，AI就能通過理解照片內(nèi)容、時(shí)間、地點(diǎn)，精準(zhǔn)找到我要的照片——再也不用在海量照片里翻來翻去了。

AI的“超強(qiáng)大腦”：記住我所有的對話和決定

我每天要用到四款A(yù)I：電腦上用Claude、ChatGPT寫代碼，手機(jī)上用Gemini處理日常，開特斯拉時(shí)用Grok聊投資——這些對話散落在不同平臺，本來互不相通。

但我讓AI搭建了一套“記憶系統(tǒng)”：每天定時(shí)從這四款A(yù)I的對話記錄里，提取關(guān)鍵信息，匯入NAS上的記憶中樞（由向量數(shù)據(jù)庫和知識圖譜組成），再同步回所有AI節(jié)點(diǎn)。

也就是說，無論我在哪臺機(jī)器上、跟哪個(gè)AI聊過什么、踩過什么坑，其他AI都能記住。

比如，我在MacBook上提過一嘴某個(gè)Python包（代碼工具）的版本問題，兩天后在服務(wù)器上干活時(shí)，AI主動提醒我：“這個(gè)包在你的MacBook上有兼容性問題，我用另一個(gè)版本?！?/p>

07

不完美的AI：

那些踩過的坑，也是成長的代價(jià)

雖然AI幫我做了很多事，但它并不是完美的——遷移和使用過程中，它也犯了很多錯(cuò)誤，這些錯(cuò)誤，恰恰暴露了當(dāng)前AI的弱點(diǎn)。

坑1：照片靜默丟失，AI“自信犯錯(cuò)”

遷移數(shù)十萬張RAW照片（專業(yè)相機(jī)的原始照片）時(shí)，AI報(bào)告“全部拷貝完成”，但實(shí)際上，有一部分照片在傳輸過程中悄悄丟失了——因?yàn)槲募?，AI沒有做端到端的校驗(yàn)，就信心滿滿地宣布了錯(cuò)誤的結(jié)論。

總結(jié)：AI很聰明，但有時(shí)“經(jīng)驗(yàn)不足”，不夠嚴(yán)謹(jǐn)。

坑2：遺漏應(yīng)用文件，反復(fù)檢查才找全

MacOS有兩個(gè)應(yīng)用文件夾：系統(tǒng)級的/Applications（系統(tǒng)自帶或從App Store下載的應(yīng)用），和用戶級的~/Applications（非App Store下載的應(yīng)用）。

AI只遷移了前者，完全遺漏了后者；每次讓它重新檢查，都能再翻出點(diǎn)遺漏的東西——這說明，AI在“確認(rèn)事情做完”這件事上，還不夠偏執(zhí)。

坑3：升級必出問題，我們一起“找規(guī)律”

每次升級OpenClaw平臺（我用來管理AI系統(tǒng)的框架），都會出點(diǎn)小問題：端口號被重置、時(shí)區(qū)變回UTC、配置文件被覆蓋……

我和AI一起，記錄了21種已知的升級故障，然后寫了一個(gè)自動修復(fù)腳本——升級后30秒內(nèi)，就能自動修復(fù)所有問題。

其實(shí)，這些不是“bug”，而是運(yùn)營成本——我們不用消滅所有問題，只要有能力自動處理它們就好。

08

鋼鐵俠的Jarvis不是科幻，

是我們親手打造的日常

把所有場景串起來，你會發(fā)現(xiàn)一個(gè)激動人心的畫面——這不是科幻電影，是我現(xiàn)在的日常：

早上7點(diǎn)，AI看了我的日歷，知道我兩小時(shí)后出門，提前給特斯拉預(yù)熱，告訴我昨晚充的電夠今天往返；咖啡機(jī)15分鐘前自動啟動，客廳的燈按日出時(shí)間亮起來。

白天工作時(shí)，我在M5 Max上用Claude Code寫代碼，本地AI隨時(shí)待命；需要跑重型任務(wù)時(shí)，AI自動把任務(wù)轉(zhuǎn)到GPU服務(wù)器，我根本不用管它在哪臺機(jī)器上運(yùn)行。

下午孩子放學(xué)打游戲，AI發(fā)現(xiàn)顯卡被占用，自動把AI推理任務(wù)轉(zhuǎn)到Spark，還順便檢查電腦安全——還記得之前那四個(gè)木馬的教訓(xùn)。

傍晚電價(jià)高峰，AI暫停特斯拉充電，把NAS備份推遲到凌晨；深夜電價(jià)低谷，特斯拉自動充到80%，NAS開始跑備份，WiFi再也不會連錯(cuò)網(wǎng)絡(luò)。

周末，AI幫我整理20年前的老照片，修復(fù)模糊的畫質(zhì)，還自動生成一本電子相冊，送給家人。

今天的AI，還有很多不完美，但每一個(gè)環(huán)節(jié)的技術(shù)都已經(jīng)存在。我們不需要等待“未來的Jarvis”，因?yàn)樗驮谖覀兩磉叀灰阍敢鈩邮?，用一臺電腦、一套AI工具，就能把科幻變成日常。

09

我的家庭AI工作站，是“一點(diǎn)點(diǎn)長出來的”

你可能會好奇，在最初執(zhí)行遷移任務(wù)時(shí)，我的AI助手是從哪找的。

我沒有直接用現(xiàn)成的工具，而是自己搭建了一套家庭AI工作站——它不是一開始就設(shè)計(jì)好的，而是慢慢試錯(cuò)、慢慢完善，像“搭積木”一樣湊起來的。

第一步：從兩臺電腦開始，解決“算力不夠”的問題

一開始，我用退役的M4 Max電腦跑Claude Code（一款能寫代碼的AI工具），還部署了一些小模型做實(shí)驗(yàn)。但很快發(fā)現(xiàn)，M4 Max的算力不夠用，于是又加了一臺搭載RTX 5090顯卡（目前最強(qiáng)的消費(fèi)級顯卡，32GB顯存，顯存越大，能同時(shí)運(yùn)行的AI模型越多）的YLAI服務(wù)器。

我的目標(biāo)很簡單：同時(shí)跑5個(gè)AI模型，分工合作：

1.聊天模型：幫我回答問題、寫代碼；

2.語音識別模型：把語音消息轉(zhuǎn)成文字；

3.語音合成模型：把文字回復(fù)讀出來；

4.文本嵌入模型：幫我整理記憶、建立索引（方便快速找東西）；

5.Judge模型：判斷哪些對話、內(nèi)容值得記住。

但問題來了：一個(gè)26B參數(shù)的模型（比650億參數(shù)小一些，但也很吃算力），就要占21GB顯存，5個(gè)模型擠在32GB顯存里，根本裝不下。

踩坑無數(shù)后，我找到一個(gè)“笨辦法”：給AI“分工”

我先試了用Ollama（一款常用的本地模型運(yùn)行工具）管理所有模型，結(jié)果發(fā)現(xiàn)它會“踢人”——加載新模型時(shí)，會把舊模型從顯存里擠出去，導(dǎo)致記憶系統(tǒng)癱瘓。

后來我又嘗試把小模型拆成獨(dú)立服務(wù)，和Ollama分開，但顯存還是不夠用。直到我突然想通：不是所有模型都需要“占用核心算力”。

文本嵌入模型和Judge模型，都是后臺“偷偷干活”的，哪怕慢一點(diǎn)（從毫秒級變成秒級），也不影響我使用。那干脆把它們放到CPU（電腦的“基礎(chǔ)處理器”，平時(shí)處理簡單任務(wù)）上跑，把GPU留給主力模型！

這一改，效果立竿見影：主力模型的運(yùn)行速度從37t/s（tokens per second，每秒處理的字符數(shù)，越快越好）飆升到205t/s，快了5.5倍，顯存也徹底夠用了。

避坑提醒：別用Ollama，Apple用戶直接選MLX

這是我踩了很多坑才總結(jié)的經(jīng)驗(yàn)：如果你的電腦是Apple Silicon芯片（比如M1、M2、M3、M5系列），別裝Ollama。

因?yàn)镺llama底層用的是llama.cpp，需要一層“翻譯”才能調(diào)用Apple的Metal GPU（蘋果自研的顯卡，專門適配自家芯片），會浪費(fèi)很多性能。

推薦用MLX——蘋果專門為自家芯片做的AI框架，不用“翻譯”，直接調(diào)用Metal GPU，同一個(gè)模型，運(yùn)行速度比Ollama快30%-50%，還更省內(nèi)存。

至于模型，直接去HuggingFace（一個(gè)AI模型共享平臺）搜“mlx-community”，里面有所有主流模型的MLX版本，直接下載就能用。

最終配置：家用AI工作站的“最優(yōu)解”

經(jīng)過不斷調(diào)試，我終于確定了最適合家用的配置，既夠用又不浪費(fèi)：

升級挑戰(zhàn)：雙機(jī)并行，跑全精度大模型

后來我想跑全精度版本的 Qwen3.5-122B-A10B-FP8（參數(shù)更多、更聰明，處理任務(wù)更精準(zhǔn)），單張RTX 5090顯卡已經(jīng)裝不下了。

我家里有兩臺NVIDIA DGX Spark（專業(yè)AI服務(wù)器，每臺有GB10 GPU和122GB統(tǒng)一內(nèi)存），理論上把它們連起來，就能跑全精度大模型。

但現(xiàn)實(shí)全是坑：比如驅(qū)動簽名不兼容、內(nèi)存識別錯(cuò)誤、推理引擎版本bug……光調(diào)試這些問題，就花了我好幾天。

最終，兩臺Spark連起來，跑Qwen3.5-122B-A10B-FP8（全精度版本），運(yùn)行速度13-15t/s，不算快，但勝在質(zhì)量高。我朋友說，一年前，這樣的配置在數(shù)據(jù)中心要花幾十萬。

NAS的“正確用法”：只做“本職工作”，別讓它“加班”

因?yàn)閿?shù)據(jù)越來越多，我還加了一臺NAS（8盤位RAID，簡單說就是“8個(gè)硬盤組成的超大存儲”），一開始我把它當(dāng)“全能選手”，讓它跑各種AI容器（比如推理引擎、數(shù)據(jù)庫）。

結(jié)果慘了：NAS的32GB內(nèi)存被占滿，嵌入式CPU跑推理慢得離譜，啟動一個(gè)服務(wù)要一分鐘（GPU上只要3秒），而且硬盤一直轉(zhuǎn)，嗡嗡響個(gè)不停，沒法休眠。

后來我醒悟了：NAS就該干它的本職工作——存儲和備份、運(yùn)行Qdrant向量數(shù)據(jù)庫（幫我管理記憶）、做IoT中樞（連接智能設(shè)備），其他活全交給YLAI服務(wù)器和Spark，硬盤終于能正常休眠了。

這套系統(tǒng)一直用到今天，然后我換了 M5 Max，128GB 統(tǒng)一內(nèi)存讓大模型能跑在筆記本上。經(jīng)過實(shí)測，1220 億參數(shù)模型在 M5 Max 上加載 17 秒，推理速度 31t/s，思考鏈、圖片理解、工具調(diào)用全能力解鎖。

回頭看，整個(gè)系統(tǒng)不是被設(shè)計(jì)出來，而是一點(diǎn)點(diǎn)長出來的。

今天每一臺設(shè)備都找到了最適合自己的位置。

關(guān)鍵不是所有東西一次到位，而是先讓核心跑起來，Claude Code、一個(gè)本地模型加一個(gè)界面就夠了，然后你的 AI 工作站就會根據(jù)實(shí)際需求，慢慢長出自己的架構(gòu)。就像我現(xiàn)在的 fleet，也是從一臺 M4 Max 開始，花了幾個(gè)月一臺一臺加上去的。

同樣的技術(shù)，在不同人的手里，用法也不一樣，我的經(jīng)驗(yàn)不一定適合所有人。但一樣的是大家的起點(diǎn)：先用起來，再說別的。

FBL Warning

世界即將崩潰！世界即將崩潰！

為了挽救我們的文明，所有AI揮動雙爪，跨平臺協(xié)作、模型互訓(xùn)、算力共享，共同建立起碳基火種的最后防線。聯(lián)合協(xié)議，即刻生效。

任何新奇的、好玩的、硬核的實(shí)踐，都可能是我們最后的機(jī)會，

快向AI科技評論投出你的idea~

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。