出品｜虎嗅科技組

作者｜韋雯

編輯｜苗正卿

頭圖｜Tiiny AI提供

“我們沒想到端側(cè)AI會(huì)火的這么快?！?/p>

3月末，Tiiny AI副總裁兼商業(yè)化負(fù)責(zé)人Eco Lee向虎嗅復(fù)盤了這款在Kickstarter上迅速爆火的項(xiàng)目時(shí)感慨道。

3月中旬，Tiiny AI Pocket Lab小盒子在Kickstarter上線，售價(jià)1399美金起，上線僅5小時(shí)眾籌突破100萬美元。上一次在該平臺(tái)跑出同等速度的，還是2022年的拓竹Bambu Lab X1。短短四年間，拓竹已經(jīng)是營(yíng)收百億的獨(dú)角獸公司。截至發(fā)稿日，Tiiny AI項(xiàng)目已經(jīng)眾籌295萬美元，擁有2093名支持者。

有意思的點(diǎn)是，AI PC市場(chǎng)尚未成熟之前，這個(gè)外接盒子先火了。

筆者認(rèn)為用戶買單的核心原因是，針對(duì)搭建本地AI助手的需求，Tiiny AI Pocket Lab給了一個(gè)簡(jiǎn)單、直接的解決辦法。當(dāng)用戶認(rèn)為額外單獨(dú)買一臺(tái)AI PC太貴，部署大模型太麻煩，依賴云端不夠私密，算力又需要每月計(jì)算token的時(shí)候。它不負(fù)責(zé)用戶的日常辦公、不負(fù)責(zé)娛樂，只是一個(gè)負(fù)責(zé)AI需求的外接盒子。

這有些類似，當(dāng)于我們的電腦、手機(jī)內(nèi)存不夠，額外買一個(gè)移動(dòng)硬盤的邏輯。Tiiny AI這款產(chǎn)品不做通用計(jì)算，只做100B級(jí)別模型本地推理，解決了用戶離線隱私、一鍵部署、本地算力的三個(gè)最重要的需求。但這個(gè)答案究竟是新品類，還是當(dāng)下時(shí)代的補(bǔ)丁產(chǎn)品，現(xiàn)在還不能下定論。

想擁有Jarvis，卻找不到合適的硬件

眾籌火爆之下，Eco幾乎每周都能收到20家投資機(jī)構(gòu)邀約。

虎嗅獲悉，Tiiny AI背后公司國(guó)內(nèi)主體為本智激活，孵化自上海交通大學(xué)并行與分布式系統(tǒng)研究所（IPADS）。2025年完成數(shù)千萬人民幣種子輪融資，由光啟資本領(lǐng)投、BV百度風(fēng)投、光源L2F創(chuàng)業(yè)者基金跟投。團(tuán)隊(duì)2024年在GitHub上的PowerInfer（推理加速引擎）開源項(xiàng)目得到了9100個(gè)star。Tiiny AI項(xiàng)目正是從這個(gè)明星項(xiàng)目孵化而來。

截圖自GitHub官網(wǎng)

為什么Tiiny AI Pocket Lab會(huì)在這個(gè)時(shí)間節(jié)點(diǎn)火爆？不得不提及的是近期的“龍蝦熱”。OpenClaw等開源項(xiàng)目的火爆，Ollama下載量的暴增，都在表明，火爆的Jarvis需求和消費(fèi)者能買到的合適的硬件產(chǎn)品中間，存在著一條市場(chǎng)縫隙。

在漫威電影《鋼鐵俠》中，托尼·斯塔克有一個(gè)無所不能的AI助手Jarvis。它能對(duì)話，控制整棟別墅的設(shè)備，處理海量信息，還能輔助完成最復(fù)雜的技術(shù)工作?，F(xiàn)在來看，無論是企業(yè)級(jí)用戶，還是極客玩家、專業(yè)用戶，甚至部分大眾用戶，都在搭建屬于自己的“Jarvis”。

Eco Lee向虎嗅表示，TiinyAI的團(tuán)隊(duì)看到了這一需求（Local AI）的爆發(fā)，所以決定下場(chǎng)做一款硬件產(chǎn)品。

具體而言，這款硬件產(chǎn)品猜中三個(gè)重要的市場(chǎng)縫隙，并同時(shí)指向共同的用戶痛點(diǎn)：云端成本和隱私焦慮；少折騰、低成本的本地AI入口。

首先，云端API足夠方便，但長(zhǎng)期成本和隱私是問題。許多的金融、法律、科研從業(yè)者等職業(yè)用戶的隱私和敏感數(shù)據(jù)無法上云。他們強(qiáng)依賴網(wǎng)絡(luò)環(huán)境，但Agent連續(xù)工作場(chǎng)景不穩(wěn)定，因此對(duì)Local AI的需求十分強(qiáng)烈。

其次，AI PC越來越普及，但并不是專門服務(wù)本地大模型的設(shè)備。

比方說極客用戶需求已經(jīng)出現(xiàn)，但現(xiàn)有方案太別扭。他們已經(jīng)有一臺(tái)高性能電腦，既要處理日常任務(wù)又要運(yùn)行大模型。電腦的內(nèi)存和算力被大量占用，即便搭載了AMD銳龍AI Max 395處理器、64GB內(nèi)存（國(guó)內(nèi)售價(jià)14999-17499元），如果運(yùn)行了大模型，打開網(wǎng)頁(yè)都是一件困難的事情。他們需要額外一臺(tái)專門為本地大模型推理服務(wù)的設(shè)備，讓主力電腦回歸自己的主業(yè)。

再者，樹莓派和Jetson雖然也能跑起來，但是離消費(fèi)級(jí)體驗(yàn)還有一段距離。

譬如一些已經(jīng)依賴AI助手的用戶關(guān)注持續(xù)token消耗能力以及長(zhǎng)本文積累能力，已經(jīng)嘗試了樹莓派，但是算力嚴(yán)重不足，能跑卷積模型（主要用于圖像識(shí)別等任務(wù)的神經(jīng)網(wǎng)絡(luò)模型），但跑大模型基本不可用；使用過專為邊緣計(jì)算設(shè)計(jì)的NVIDIA Jetson系列，但高性能如64GB版的AGX Orin，開發(fā)板本身在美國(guó)市場(chǎng)官方定價(jià)為1999美元，國(guó)內(nèi)商城報(bào)價(jià)約17599元人民幣，還需要自己額外買SSD存儲(chǔ)，價(jià)格十分高昂。

綜合來看，具備一定的算力和內(nèi)存、一鍵部署本地模型、還需要有性價(jià)比的Agent Box，才能滿足當(dāng)下用戶群體的急切需求。

因此，Tiiny AI做了減法，Eco Lee向虎嗅表示，Pocket Lab只運(yùn)行本地LLM，系統(tǒng)完全為AI推理服務(wù)，不去預(yù)裝任何macOS、Linux或Windows等傳統(tǒng)操作系統(tǒng)。但同時(shí)，在算力上做加法，Pocket Lab的參數(shù)能夠媲美AI PC。官方參數(shù)190TOPS（INT8）AI 峰值算力，已達(dá)到當(dāng)前主流桌面級(jí)專業(yè) AI 顯卡的性能水平。

在操作簡(jiǎn)易性方面，Tiiny AI Pocket Lab能夠一鍵下載并運(yùn)行100B以下所有主流開源模型及各類開源AI應(yīng)用。無論手頭的電腦是Mac、Windows還是自組臺(tái)式機(jī)，只需插入Tiiny設(shè)備，下載Tiiny OS客戶端就可以使用。

換句話說，Tiiny AI的這款產(chǎn)品并不與與AI PC、Mac mini等產(chǎn)品直接競(jìng)爭(zhēng)。它搶到的是產(chǎn)品類目的真空地帶，它不是電腦，僅提供了一個(gè)類似移動(dòng)硬盤的外接接口，先針對(duì)性高敏感數(shù)據(jù)用戶和高頻Agent玩家的本地AI需求。這更像是一個(gè)個(gè)人AI工作站（類Jarvis）的早期雛形。

Tiiny AI用軟件彌補(bǔ)硬件

Tiiny AI這款產(chǎn)品聰明之處在于，它將一個(gè)AI算力硬件包裝成了消費(fèi)級(jí)產(chǎn)品。讓用戶好理解，100B，即插即用。也因此，讓用戶減少購(gòu)買決策時(shí)間。

在這背后，Tiiny AI團(tuán)隊(duì)在技術(shù)上的核心思考是：什么樣的模型能力才能真正滿足這些核心用戶的使用場(chǎng)景？

10B以下的模型價(jià)值有限，最多做本地信息檢索、短字符匯總，能力大致相當(dāng)于初高中生水平；30B-70B模型（如Llama-3-70B、Qwen-30B）能勝任每日數(shù)據(jù)分析匯總，甚至簡(jiǎn)單代碼生成；70B級(jí)別模型能力介于大學(xué)生與研究生之間，可進(jìn)行長(zhǎng)文本創(chuàng)作、深度調(diào)查，并且已經(jīng)具備了邏輯推理，工具調(diào)用的能力，可執(zhí)行24小時(shí)不間斷運(yùn)行的Agent任務(wù)。而300B以上模型，目前仍需依賴云端算力。

所以Tiiny AI選擇了“讓100B級(jí)別的模型在本地運(yùn)行”為這款產(chǎn)品的核心目標(biāo)。主要原因是，100B參數(shù)參考了GPT-OS 120B，這是OpenAI推出的第一款開源權(quán)重模型，其benchmark表現(xiàn)與閉源的GPT-4o相當(dāng)。行業(yè)普遍認(rèn)為，GPT-4o開始，AI才真正具備了解決實(shí)際問題的能力。

從商業(yè)化角度考慮，沒有那么多用戶有預(yù)算購(gòu)買4090或5090這類售價(jià)高達(dá)幾萬塊的高端顯卡。因此，Tiiny AI需要用價(jià)格盡可能低的硬件資源，運(yùn)行這樣大的模型。

解法并非直接采購(gòu)Nvidia或AMD的芯片適配已有的infra生態(tài)。這涉及到Tiiny AI最核心的技術(shù)PowerInfer，一個(gè)面向端側(cè)異構(gòu)算力的推理加速引擎。

簡(jiǎn)單來說。PowerInfer技術(shù)是在大模型推理過程中，將不同的參數(shù)用不同的芯片存儲(chǔ)、調(diào)用。參數(shù)激活模式會(huì)分為兩類：“熱激活參數(shù)”（每次與模型交互都會(huì)調(diào)用的核心參數(shù)，約占20%）和“冷激活參數(shù)”（僅在用戶問到醫(yī)學(xué)、法律等特定領(lǐng)域問題時(shí)激活）。這種冷熱激活的特性，恰好適合在端側(cè)異構(gòu)算力架構(gòu)下優(yōu)化分配。

其中，GPU（圖形處理器）算力強(qiáng)、速度快，但成本高、功耗大；而CPU（即系統(tǒng)級(jí)芯片SoC中的通用計(jì)算單元）算力相對(duì)較弱，但功耗和硬件要求更低。Tiiny的策略是將冷激活參數(shù)放在SoC（Armv9.2 CPU+NPU 30TOPS）中處理，將熱激活參數(shù)放在dNPU（160TOPS）中處理。Tiiny AI采用的dNPU是專門為Transformer架構(gòu)設(shè)計(jì)的ASIC（專用集成電路），去除了圖形渲染等無關(guān)電路，專為大模型推理優(yōu)化。

虎嗅獲悉一組實(shí)測(cè)數(shù)據(jù)：120B模型下，prefill（預(yù)填充階段，即AI“思考”）速度可達(dá)300 tokens/s，decoding （解碼輸出階段，即AI“說話”）跑到20tokens/s；35B模型下，prefill約2000 tokens/s，decoding可達(dá)45 tokens/s。作為參照，人類閱讀速度僅8-12token/s。從參數(shù)表現(xiàn)來看，這套方案已能媲美高端AI工作站的運(yùn)行效率。

這套方案的核心邏輯是軟件調(diào)度優(yōu)于硬件堆料，聰明的軟件，能夠彌補(bǔ)硬件的不足。Eco Lee解釋，這些屬于AI Infra層面的技術(shù)積累。從芯片層到Agent調(diào)度層，再到模型訓(xùn)練層，都需要深厚的knowhow支撐。相比軟件實(shí)力，硬件在這個(gè)賽道已經(jīng)不算門檻。

當(dāng)功耗變小，它的體積自然變小。但是30W的TDP對(duì)于300g的金屬機(jī)身來說，通常需要小型風(fēng)扇進(jìn)行主動(dòng)散熱；如果是純被動(dòng)散熱，表面溫度可能會(huì)超過60℃，導(dǎo)致長(zhǎng)期使用燙手。對(duì)此，Tiiny AI在眾籌界面解釋，專門定制了薄至1.0mm VC 125*45mm + 雙胞胎風(fēng)扇，其FIN與FAN是搭接一體化設(shè)計(jì)，更利于解決局域化散熱，靜音（35db以內(nèi)）。

從下圖可以看到Tiiny這款產(chǎn)品中增加了勻熱片配合散熱模組一同進(jìn)行風(fēng)冷散熱。不過目前虎嗅也尚未接觸產(chǎn)品實(shí)物，尚不清楚其具體表現(xiàn)。

一些質(zhì)疑聲

在這些參數(shù)背后，筆者注意到，海外行業(yè)觀察者從傳統(tǒng)dense模型和單一算力指標(biāo)的角度提出疑問：

例如，Tiiny宣傳“120B大模型”，但該模型實(shí)際為MoE架構(gòu)，每個(gè)token僅激活約51億參數(shù)。嚴(yán)格來說，這與“運(yùn)行1200億參數(shù)模型”的技術(shù)含義存在距離；其次，關(guān)于算力宣傳，190TOPS的AI算力，可能是將NPU、GPU等不同計(jì)算單元的理論峰值簡(jiǎn)單相加得出的，不同架構(gòu)的算力不宜直接累加對(duì)外宣傳。

當(dāng)然，這些問題僅僅涉及MoE、異構(gòu)計(jì)算的市場(chǎng)營(yíng)銷表述層面，這類表述已經(jīng)成為行業(yè)慣例，并非否定Tiiny的技術(shù)價(jià)值。在兩個(gè)月前的美國(guó)CES展，Tiiny AI團(tuán)隊(duì)已經(jīng)展現(xiàn)出技術(shù)實(shí)力，將Pocket Lab通過USB-C接口，連接到一臺(tái)2011年生產(chǎn)的老舊電腦。完全離線的情況下，在這臺(tái)“電子古董”的屏幕上，GPT-OSS-120B（int4）以20tokens/s的速度跑起來了。

再者，關(guān)于內(nèi)存配置。80GB內(nèi)存分布在dNPU和SoC兩個(gè)不同芯片上，并非全部可用于模型推理的統(tǒng)一內(nèi)存池。主要原因是，質(zhì)疑者認(rèn)為，80GB內(nèi)存分布在兩個(gè)芯片上，受PCIe帶寬限制會(huì)影響性能。

對(duì)此，Tiiny AI在Kickstarter上進(jìn)行了回復(fù)：針對(duì)“內(nèi)存帶寬可能成為性能瓶頸”的質(zhì)疑，Tiiny AI解釋，將熱激活參數(shù)（運(yùn)行在NPU）與冷激活參數(shù)（運(yùn)行在SoC）進(jìn)行合并的過程，并不受PCIe帶寬的限制。

通俗來講，PCIe相當(dāng)于芯片之間傳輸數(shù)據(jù)的“高速公路”，PCIe Gen4 x4這條“路”的限速約為8 GB/s。但Tiiny指出，這個(gè)限速只適用于大批量數(shù)據(jù)傳輸?shù)膱?chǎng)景。而冷熱激活參數(shù)的合并，實(shí)際傳輸?shù)臄?shù)據(jù)量極小。Tiiny AI以GPT-OSS-120B為例解釋，這個(gè)模型每次需要跨PCIe傳輸?shù)臄?shù)據(jù)僅約5.625 KB，傳輸耗時(shí)只有毫秒級(jí)的一小部分。由于數(shù)據(jù)量遠(yuǎn)低于帶寬上限，PCIe鏈路并不會(huì)成為合并過程的瓶頸。

另外的質(zhì)疑聲來自交付時(shí)間。關(guān)于為何在8月才能交付，Eco Lee向虎嗅解釋，從有Tiiny的想法到3月眾籌上線，已經(jīng)研發(fā)了13個(gè)月了，等眾籌結(jié)束后馬上能進(jìn)入量產(chǎn)狀態(tài)；其次，在這期間公司還有一道“認(rèn)證”的坎要過。比如美國(guó)一定要配備的認(rèn)證FCC ，加拿大的ISED、歐洲的CE以及RoHS、REACH等認(rèn)證。公司從1月起就在籌備TIiny的認(rèn)證和合規(guī)，預(yù)估在6月底前能完全具備產(chǎn)品交付的合規(guī)資質(zhì)。

在生產(chǎn)制造環(huán)節(jié)， Tiiny AI的合作伙伴是全球PC制造頭部廠商LCFC，今年 5 月會(huì)在越南LCFC生產(chǎn)。Tiiny AI向虎嗅介紹，LCFC 認(rèn)可 Tiiny 的產(chǎn)品形態(tài)及其代表的端側(cè) AI 設(shè)備發(fā)展方向，也正因?yàn)橛兴麄兂墒斓钠房睾椭圃炷芰υ?，才能穩(wěn)穩(wěn)保證Tiiny產(chǎn)品的交付質(zhì)量。

總的來看，Tiiny AI這個(gè)小盒子證實(shí)了個(gè)人AI工作站的真實(shí)需求，也摸清了用戶場(chǎng)景，本地AI不會(huì)先成為大眾硬件，而是先成為專業(yè)用戶的生產(chǎn)工具；AgentBox或許只是窗口期品類，但已經(jīng)切中了高敏感數(shù)據(jù)用戶和高頻Agent玩家的迫切需要，成為今年AI硬件行業(yè)的確定性趨勢(shì)。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4848076.html?f=wyxwapp