這款口袋大小的手持設(shè)備能夠運(yùn)行1200億參數(shù)的大型語(yǔ)言模型（LLM）。美國(guó)深度科技初創(chuàng)公司Tiiny AI近日發(fā)布了Tiiny AI Pocket Lab（袖珍AI實(shí)驗(yàn)室），該設(shè)備已獲得吉尼斯世界紀(jì)錄官方認(rèn)證，成為全球最小的個(gè)人AI超級(jí)計(jì)算機(jī)。

這款超級(jí)計(jì)算機(jī)外形酷似移動(dòng)電源，采用口袋尺寸設(shè)計(jì)，能夠本地運(yùn)行1200億參數(shù)的LLM，無(wú)需依賴云端連接、服務(wù)器或高端GPU。Tiiny AI希望通過(guò)該設(shè)備降低超級(jí)計(jì)算機(jī)對(duì)云端和GPU的依賴，同時(shí)讓普通用戶也能獲得數(shù)據(jù)中心級(jí)別的算力。這款于12月10日發(fā)布的AI Pocket Lab，還為應(yīng)對(duì)可持續(xù)發(fā)展問(wèn)題、不斷上漲的能源成本以及基于云的AI基礎(chǔ)設(shè)施帶來(lái)的隱私風(fēng)險(xiǎn)提供了可行的替代方案。

公司市場(chǎng)拓展總監(jiān)薩馬爾·博杰在官方新聞稿中表示："云端AI帶來(lái)了顯著進(jìn)步，但也造成了依賴性、脆弱性和可持續(xù)發(fā)展挑戰(zhàn)。我們相信智能不應(yīng)屬于數(shù)據(jù)中心，而應(yīng)屬于每個(gè)人。Tiiny AI Pocket Lab正是將大模型能力從云端遷移到每個(gè)個(gè)人設(shè)備的第一步，讓先進(jìn)AI真正實(shí)現(xiàn)可及性、私密性與個(gè)性化。"

多樣化的應(yīng)用場(chǎng)景

AI Pocket Lab旨在滿足所有可能的個(gè)人AI使用場(chǎng)景，服務(wù)各類(lèi)專業(yè)人士，包括創(chuàng)作者、開(kāi)發(fā)者、研究人員和學(xué)生。用戶無(wú)需聯(lián)網(wǎng)即可實(shí)現(xiàn)多步驟推理、深度上下文理解、智能體工作流、內(nèi)容生成以及敏感信息的安全處理。

該設(shè)備采用銀行級(jí)加密技術(shù)將用戶數(shù)據(jù)、偏好和文檔存儲(chǔ)在本地，相比基于云的AI系統(tǒng)具備長(zhǎng)期記憶功能和更強(qiáng)的隱私保護(hù)能力。Tiiny AI Pocket Lab專為最實(shí)用的個(gè)人AI場(chǎng)景設(shè)計(jì)，可運(yùn)行100億至1000億參數(shù)的模型，覆蓋超過(guò)80%的實(shí)際任務(wù)需求。

它甚至可擴(kuò)展至1200億參數(shù)模型，為復(fù)雜推理和多步驟分析提供GPT-4級(jí)別的智能水平——所有這些功能都保持?jǐn)?shù)據(jù)完全離線，安全存儲(chǔ)于設(shè)備之中。

強(qiáng)大的技術(shù)規(guī)格

這款超級(jí)計(jì)算設(shè)備配備ARMv9.2架構(gòu)的12核CPU，提供65W功率容量。與傳統(tǒng)依賴GPU的系統(tǒng)相比，它通常僅需極小部分的能耗和碳足跡即可實(shí)現(xiàn)大模型性能。

Tiiny AI Pocket Lab依賴兩項(xiàng)關(guān)鍵技術(shù)實(shí)現(xiàn)大型AI模型在小型設(shè)備上運(yùn)行：其一是TurboSparse技術(shù)，通過(guò)僅激活所需神經(jīng)元來(lái)提升效率，同時(shí)保持模型智能完整性；其二是Powerinfer開(kāi)源引擎（在GitHub上獲得超8000星標(biāo)），可將AI工作負(fù)載分配到CPU和NPU上，在顯著降低功耗的同時(shí)提升性能。

這些技術(shù)進(jìn)步共同使Pocket Lab能夠在緊湊的低功耗形態(tài)下提供GPU級(jí)別的AI性能。

開(kāi)源生態(tài)系統(tǒng)

Tiiny AI還提供即用型開(kāi)源生態(tài)系統(tǒng)。Pocket Lab支持一鍵安裝Llama、Qwen、DeepSeek、Mistral、Phi和GPT-OSS等熱門(mén)開(kāi)源模型，并可輕松配置OpenManus、ComfyUI、Flowise和SillyTavern等AI智能體。

用戶還將獲得定期更新，包括官方的無(wú)線硬件升級(jí)服務(wù)。這些功能預(yù)計(jì)將于2026年1月在CES消費(fèi)電子展上正式亮相。

如果朋友們喜歡，敬請(qǐng)關(guān)注“知新了了”！