樹莓派新款A(yù)I HAT+ 2 擴(kuò)展板：升級神經(jīng)加速與內(nèi)存，賦能樹莓派 5 的生成式 AI 任務(wù)

樹莓派近期推出新款 AI HAT+ 2 擴(kuò)展板，這是其首款專為樹莓派 5 平臺打造、適配生成式 AI 任務(wù)的硬件附加板（HAT）產(chǎn)品。

The Raspberry Pi AI HAT +2.

該產(chǎn)品在初代 AI HAT 及 AI HAT + 的設(shè)計(jì)基礎(chǔ)上迭代升級，搭載高性能神經(jīng)網(wǎng)絡(luò)加速器并強(qiáng)化系統(tǒng)集成能力，可滿足傳統(tǒng)計(jì)算機(jī)視覺推理之外的更多應(yīng)用場景需求。

AI HAT+ 2 的架構(gòu)與核心性能

樹莓派 AI HAT+ 2 為全尺寸 HAT + 規(guī)格，完美兼容樹莓派 5，板載Hailo-10H 神經(jīng)網(wǎng)絡(luò)加速器。該加速器的 8 位整數(shù)（INT8）推理算力可達(dá) 40 萬億次運(yùn)算每秒（TOPS），相較基于海洛 - 8 的前代 AI HAT+（算力最高 26 TOPS）實(shí)現(xiàn)大幅提升。憑借更強(qiáng)的計(jì)算能力，這款擴(kuò)展板成為運(yùn)行基于 Transformer 架構(gòu)和擴(kuò)散式模型的理想選擇，這類模型對持續(xù)吞吐量的要求遠(yuǎn)高于早期的邊緣 AI 任務(wù)。

Hailo-10H 加速器通過樹莓派 5 的 HAT + 接口，以第二代 PCIe x1 總線與主機(jī)相連。這種直連方式規(guī)避了 USB 接口加速器的帶寬瓶頸，實(shí)現(xiàn)主機(jī)內(nèi)存與神經(jīng)處理單元之間的低延遲數(shù)據(jù)傳輸。同時(shí)，擴(kuò)展板內(nèi)置板載電源調(diào)節(jié)模塊，可在樹莓派 5 的功耗限制范圍內(nèi)，為加速器的峰值負(fù)載提供穩(wěn)定供電。

樹莓派 AI HAT +2 配備了 8 GB 專用板載內(nèi)存，因此能夠支持比以往更大的模型。

Hailo-10H 在初代基礎(chǔ)上優(yōu)化了片上內(nèi)存資源，提升了數(shù)據(jù)流調(diào)度的靈活性，推理過程中，大模型的部分計(jì)算模塊可常駐加速器中。加之 8GB 板載內(nèi)存的加持，樹莓派官方表示，該擴(kuò)展板可支持參數(shù)量最高達(dá) 60 億的大語言模型（LLM）和視覺語言模型（VLM）。

在硬件兼容性上，這款擴(kuò)展板與樹莓派標(biāo)準(zhǔn)機(jī)箱、散熱配件完全適配，且隨板附贈專用散熱片。樹莓派官方建議，若需長時(shí)間高負(fù)載運(yùn)行，搭配主動式散熱器使用。

軟件層面，AI HAT+ 2 全面兼容樹莓派官方系統(tǒng) Raspberry Pi OS，同時(shí)可無縫對接海洛全套軟件棧，包括模型編譯工具與運(yùn)行時(shí)庫。

為生成式AI 打造的邊緣加速方案

生成式 AI 模型與傳統(tǒng)推理任務(wù)在模型結(jié)構(gòu)和資源需求上存在顯著差異。多數(shù)生成式 AI 模型基于 Transformer 架構(gòu)構(gòu)建，依賴反復(fù)的矩陣運(yùn)算、注意力機(jī)制，且擁有龐大的參數(shù)量；與功能固定的計(jì)算機(jī)視覺處理流程不同，生成式模型往往需要對同一數(shù)據(jù)結(jié)構(gòu)進(jìn)行迭代運(yùn)算，因此內(nèi)存局部性與調(diào)度效率成為關(guān)鍵性能指標(biāo)。

在資源受限的邊緣設(shè)備中，通用 CPU 難以在合理的功耗范圍內(nèi)，為生成式 AI 任務(wù)提供可用的運(yùn)算性能。而專用神經(jīng)加速器通過搭載針對低精度運(yùn)算（通常為 8 位整數(shù)或混合精度）優(yōu)化的并行計(jì)算陣列，可有效解決這一問題；同時(shí)，加速器依托緊耦合內(nèi)存和確定性數(shù)據(jù)流，減少高能耗、高延遲的外部內(nèi)存訪問，進(jìn)一步提升運(yùn)算效率。

邊緣部署場景中，模型的適配靈活性也是重要考量因素。需對生成式 AI 模型進(jìn)行量化與編譯，使其適配加速器的執(zhí)行邏輯，同時(shí)保證輸出效果不會出現(xiàn)不可接受的衰減。這對編譯器的成熟度、工具鏈的完善度提出了更高要求，尤其針對快速迭代的生成式 AI 任務(wù)而言，更是如此。

解鎖樹莓派全新應(yīng)用場景

AI HAT+ 2 的推出，讓樹莓派得以支持此前超出其平臺實(shí)際性能上限的應(yīng)用。當(dāng)大模型能在端側(cè)實(shí)現(xiàn)低延遲推理后，本地文本生成、語音轉(zhuǎn)文字預(yù)處理、圖像描述生成、多模態(tài)智能助手等應(yīng)用均具備了落地可行性。對于開發(fā)者而言，這也為打造隱私保護(hù)型、離線運(yùn)行型系統(tǒng)創(chuàng)造了條件，這類系統(tǒng)無需依賴持續(xù)的云端網(wǎng)絡(luò)連接。

目前，樹莓派 AI HAT+ 2 已通過樹莓派官方授權(quán)經(jīng)銷商正式發(fā)售。

EETOP創(chuàng)芯大講堂芯片課程推薦