馬上年底，我真是太忙了。

不僅自己要做復(fù)盤總結(jié)，還得為總結(jié)跑各種數(shù)據(jù)、做報(bào)表，無聊又繁瑣。牛馬們，懂得都懂...

理論上這種工作可以用 AI 搞定，畢竟沒啥技術(shù)含量。但我的難處是因?yàn)閮?nèi)部數(shù)據(jù)敏感，所以不能用云端大模型，著實(shí)讓人捉急。

于是，看著層層堆積的文檔和表格，我決定調(diào)研一下本地部署模型的 AI 產(chǎn)品。

*我的電腦桌面，被堆滿了

翻了一圈后，我發(fā)現(xiàn)業(yè)內(nèi)比較常見的本地模型方案就是 Ollama 和 LM Studio。但是！Ollama 得狂敲代碼，LM Studio 還得自己倒騰模型文件，想想就更累了。

不過，緊接著我就在「甲子光年」的一篇文章中發(fā)現(xiàn)一款本地運(yùn)行的 Agent —— Libra。據(jù)說它可以直接在 Mac 上本地運(yùn)行 30B 模型，全程只用點(diǎn)擊和輸提示詞，一行代碼都不用敲。

我決定嘗試一下。

結(jié)果就是，我居然在飛機(jī)斷網(wǎng)的情況下，用它跑上了任務(wù)。

斷網(wǎng)測(cè)試，它跑完任務(wù)還有點(diǎn)aha moment

當(dāng)然，安裝 Libra 肯定還得有網(wǎng)，我在出差等飛機(jī)的時(shí)候閑著無聊蹭了機(jī)場(chǎng) Wi-Fi。

打開 Libra 官網(wǎng)

（https://www.greenbit.ai/）

如果用 Ollama，估計(jì)不是在命令行工具里敲 ollama pull llama2 拉模型，就是在裝 Open WebUI 搞操作界面。沒一兩小時(shí)根本搞不完。

*下載 Libra 也就需要三十幾秒

Libra 的產(chǎn)品界面讓人很有安全感。

它和大家經(jīng)常用的 AI 助手很像，用戶在輸入框里輸入需求，再在左下角的 Button 里選擇對(duì)話或者增強(qiáng)模式，讓 Libra 分清楚這次進(jìn)行的是溝通還是分析任務(wù)。

和其他 AI 工具不同的是，它作為一個(gè)端側(cè) Agent，可以在輸入框右下角的按鍵里，選擇本地模型或云端結(jié)合模式。在產(chǎn)品左下角的「模型選擇」，可以選擇 30B 或 4B 的端側(cè)模型。

整體還是沒什么使用門檻的。

這次利用飛機(jī)上的時(shí)間，我想讓它幫忙做年終復(fù)盤里的數(shù)據(jù)分析任務(wù)。

看起來“增強(qiáng)模式”+“本地”的組合很合適，30B 的模型我怕我的 Mac 帶不起來，而且需要訂閱，就先用默認(rèn)的 4B 模型吧。

一切設(shè)置OK，等飛機(jī)飛穩(wěn)，我掏出電腦開始實(shí)測(cè)。

謹(jǐn)慎如我，先找了一份和復(fù)盤里數(shù)據(jù)類型類似的過期 Excel 做測(cè)試。

這個(gè) Excel 里，有兩款目前已經(jīng)下線的產(chǎn)品的數(shù)據(jù)，包括DAU（日活躍用戶數(shù)）、MAU（月活躍用戶數(shù)）、付費(fèi)用戶數(shù)、產(chǎn)品營(yíng)收等指標(biāo)。我先讓 Libra幫我分析一段時(shí)間內(nèi)的數(shù)據(jù)，再總結(jié)業(yè)務(wù)變化并提出洞察。

我把數(shù)據(jù)存成 csv 文件丟給 Libra，提示詞和用 Gemini、ChatGPT 的時(shí)候類似：你是一個(gè)數(shù)據(jù)分析專家，附件上傳的是兩款A(yù)pp產(chǎn)品的核心指標(biāo)數(shù)據(jù)，你的任務(wù)是，幫我找到其中有價(jià)值的洞察，寫一份數(shù)據(jù)分析報(bào)告。

然后，我就把它扔到一邊，開始用飛機(jī)上的屏幕打麻將?。

大概過了半小時(shí)，我看到 Libra 發(fā)出了提示，任務(wù)完成了。

來看看 Libra 生成的結(jié)果。沒想到，這個(gè) 4B 小模型還挺像那么回事。

它給了我一份9頁的數(shù)據(jù)分析報(bào)告，把流量變化、用戶活躍變化、營(yíng)收波動(dòng)等等分析了個(gè)遍。雖然沒有ChatGPT、Gemini等工具的排版形式豐富，但整體夠用了。

最令我驚訝的是，它指出了我上傳數(shù)據(jù)中的一處錯(cuò)誤：Libra 發(fā)現(xiàn)有一個(gè)月的產(chǎn)品 DAU 比 MAU 還高，這條數(shù)據(jù)應(yīng)該被剔除。

這是當(dāng)時(shí)產(chǎn)品 bug 帶來的錯(cuò)誤數(shù)據(jù)，我自己都忘記這件事了，現(xiàn)在被這個(gè)背后只有 4B 模型的 Agent 發(fā)現(xiàn)了 Bug。雖然模型小，但智商好像也不低啊...

下飛機(jī)后，我把 Libra 分別推薦給了一位律師和一位心理醫(yī)生朋友。

他們也和我一樣，因?yàn)楣ぷ髅舾袥]辦法使用聯(lián)網(wǎng)的AI工具，不太想學(xué)Ollama。兩位朋友試過之后，也感覺 Libra 這個(gè)端側(cè) Agent 沒有出現(xiàn)預(yù)想中"小模型智商太低"的情況。

律師朋友在斷網(wǎng)環(huán)境下上傳了合同，讓 Libra 找出條款中的漏洞以及對(duì)乙方不太友好條款。結(jié)果 Libra 不僅完成任務(wù)，還結(jié)合了法律條文做說明，引用了數(shù)據(jù)作支撐。

心理醫(yī)生朋友也找了一份患者日記，斷網(wǎng)讓 Libra 做解讀。結(jié)果 Libra 給出了一些專業(yè)化解讀，還能量化出患者的心理狀況。

當(dāng)然，他們也反饋了一些 Libra 的缺點(diǎn)，比如執(zhí)行任務(wù)的時(shí)間有點(diǎn)長(zhǎng)，報(bào)告樣式比較單一等。

綜合三個(gè)人的體驗(yàn)，我總結(jié)了這個(gè)端側(cè) Agent 的特點(diǎn)。

優(yōu)勢(shì)：

• 在斷網(wǎng)的環(huán)境下穩(wěn)定可用；

• 操作簡(jiǎn)單，容易上手；

• 本地模型的智能性較強(qiáng)；

• 指令的遵循能力比較好，不太需要反復(fù)跑同樣的任務(wù)；

• 生成的文檔可以編輯、導(dǎo)出，支持多種格式。

缺點(diǎn)：

• 任務(wù)的耗時(shí)比較長(zhǎng)；

• 生成文檔的樣式比較類似，不能直接生成 PPT；

• 有時(shí)生成的文檔內(nèi)容篇幅較短。

整體來說，雖然還有優(yōu)化空間，但 Libra 為需要處理敏感數(shù)據(jù)的打工人提供了一個(gè)可用的選擇。

一個(gè)期待已久的市場(chǎng)，一家公司10年的路程

其實(shí)不只是我，Local AI 以及端側(cè) Agent 一直以來都有市場(chǎng)需求。

像政務(wù)、大型企業(yè)、金融、醫(yī)療這種行業(yè)，總有大量的嚴(yán)肅場(chǎng)景里的敏感數(shù)據(jù)不便于使用云端大模型。再加上，在飛機(jī)、地鐵等網(wǎng)絡(luò)不暢的環(huán)境里，云端模型難以發(fā)揮作用，只能依賴本地。

但之前，這些行業(yè)里的很多朋友都沒找到真能干好活的端側(cè)產(chǎn)品。這一方面是因?yàn)槎藗?cè)模型對(duì)端側(cè)算力的要求高，但芯片難以支持。另一方面是因?yàn)槎藗?cè)模型的參數(shù)都比較小，“智商”不夠。

*Twitter 上知名AI博主分享的本地小模型失敗案例：模型把AI界大佬Andrej Karpathy當(dāng)成是超模和演員，還說他的超能力是極光，能變身成任何一個(gè)漫威角色（https://x.com/Yuchenj_UW/status/1978144157970661495）注：NanoChat的創(chuàng)造者正是Andrej Karpathy本人

這就是為啥 Libra 效果并不算炸裂，還能讓我這么興奮的一個(gè)原因——至少，端側(cè) Local AI 已經(jīng)有了一個(gè)能跑起來的產(chǎn)品。

讓我更激動(dòng)的一件事是，它的出現(xiàn)還意味著端側(cè)的技術(shù)鏈條快成型了。

首先是模型層面，這兩年基礎(chǔ)大模型的能力一直在提升，還有越來越多的頭部模型廠，像 Google Gemma 系列、Qwen 都開始發(fā)力參數(shù)更小的模型。

硬件算力也一直在提升。目前 Mac 的最強(qiáng)芯片 M4 的神經(jīng)網(wǎng)絡(luò)推理算力大約是 38 TOPS，相比初代 M1 的 11 TOPS，推理算力有了兩倍多的提升�，F(xiàn)在的 Libra，也是跑在 M 芯片的 Mac 上，預(yù)計(jì)將在明年發(fā)布的 M5，算力只會(huì)更強(qiáng)。這些進(jìn)展，意味著在本地運(yùn)行模型時(shí)推理速度將會(huì)更快。

我又好奇地搜了下 Libra 背后的公司，發(fā)現(xiàn)原來這是一家專注于端側(cè)智能 Local AI 方向的創(chuàng)企——GreenBit AI。

GreenBit AI 把自己定位為“低比特神經(jīng)網(wǎng)絡(luò)/模型優(yōu)化 + 本地離線 AI 部署”的解決方案提供方。也就是說，這是一家擅長(zhǎng)把“不降智”的模型放進(jìn)各種機(jī)器里的公司。

這樣一看，Libra 出現(xiàn)的邏輯就合理了很多——當(dāng)需求和技術(shù)都在向 Local AI 靠攏，GreenBit 團(tuán)隊(duì)的能力補(bǔ)上了 Local AI 技術(shù)拼圖中非常重要的一塊，它自研了一整套 Local Agent Infra 技術(shù)，能讓小模型不降智。

模型壓縮這件事，業(yè)內(nèi)通常的做法就是降比特?cái)?shù)，代價(jià)是精度的下降。我看到，GreenBit AI 自研了一套 GBAQ（GreenBit-Aware Quantization）算法，能識(shí)別出模型里哪些權(quán)重是真正重要的，從而在量化的時(shí)候保護(hù)這部分，其余的部分就直接壓縮。

從他們公布的數(shù)據(jù)看，這個(gè)方法在保持準(zhǔn)確性的同時(shí)還能降低推理時(shí) Token 消耗。這也是為什么同樣是 4B 的本地模型，Libra 上的模型跑起來不會(huì)感覺“降智”。

*圖源 Libra 官網(wǎng)

我還看到，這家公司居然已經(jīng)在這個(gè)方向做了近10年。

一些文章里提到，GreenBit AI 的創(chuàng)始人楊浩進(jìn)，博士畢業(yè)于德國(guó) HPI （Hasso Plattner Institute）計(jì)算機(jī)系統(tǒng)工程院，從 2016 年就開始做 1-bit 神經(jīng)網(wǎng)絡(luò)（BNN），也就是最大程度壓縮模型的技術(shù)。這個(gè)方向在當(dāng)時(shí)算是非主流，因?yàn)槟菚?huì)兒大家都在堆參數(shù)、堆層數(shù)，把模型往大了做。

2018 年左右，BNN 因?yàn)榫葐栴}被學(xué)術(shù)界逐漸冷落，但楊浩進(jìn)還沒有放棄。到了 2022 年，我看到他和團(tuán)隊(duì)推出了 BNext-L，在 ImageNet 上拿到 80.4% 準(zhǔn)確率，算是讓 1-bit 量化達(dá)到了可用的水平。

*圖源甲子光年

這些技術(shù)經(jīng)驗(yàn)都為剛剛提到的，能幫助模型識(shí)別重要權(quán)重的 GBAQ 算法提供了基礎(chǔ)。

2023年，GreenBit AI 正式成立了。除了楊浩進(jìn)，GreenBit AI 的核心團(tuán)隊(duì)成員大部分來自 HPI 的學(xué)者，也有來自華為、博世 AI 等機(jī)構(gòu)的研究員。

*GreenBit AI 的創(chuàng)始人楊浩進(jìn)

這讓我意識(shí)到，原來前幾天在飛機(jī)上斷網(wǎng)用到的 Libra，是很多研究人員花了快十年的時(shí)間，趟過無數(shù)個(gè)坑，才出現(xiàn)在我面前的。

如果要給 Libra 提出更多的優(yōu)化建議，我能說出很多。比如能不能提升任務(wù)執(zhí)行速度，能不能加一些酷炫的交互，能不能加對(duì)話和分析之外的功能...

但看完了 Libra 背后的路程，我覺得，此時(shí)此刻的它已經(jīng)是一個(gè)很有代表意義的產(chǎn)品。

*Libra（滑動(dòng)查看更多）

但故事顯然還沒結(jié)束，就在我即將寫完這篇文章的時(shí)候，看到 GreenBit AI 更新了自己的推特。帖子中的視頻顯示，支持 NVIDIA DGX Spark 的 Libra 即將上線了。這意味著在 Mac 之外，能用到 Libra 的設(shè)備更多了。

或許不久之后，我們都能在飛機(jī)上用到更好用的 AI 搭子。