公眾號記得加星標??，第一時間看推送不會錯過。

為了應對生成式人工智能和基礎模型計算需求的快速增長，IBM 研究院采用了全棧式方法，將人工智能計算能力構建并集成到我們的系統(tǒng)產品中。IBM Spyre 加速器正是基于這種方法而誕生的。

企業(yè)工作負載由復雜的執(zhí)行流程構成，其中會使用各種類型的模型來自動化決策。將人工智能集成到企業(yè)工作負載中意味著在工作負載執(zhí)行的不同階段可能會使用多種不同的人工智能模型。因此，人工智能加速器必須具備無縫的軟件集成、靈活的硬件集成以及企業(yè)級的穩(wěn)健性和可管理性。從人工智能生命周期的角度來看，Spyre 的首要任務是加速推理。除此之外，我們還需要一種能夠集成到多個 IBM 平臺（尤其是 IBM Z 和 Power 系統(tǒng)）的解決方案。Spyre 的設計選擇充分體現(xiàn)了這些考慮因素。

Spyre是 IBM 研究院全新數(shù)據(jù)流架構 AI 加速器概念的成果。雖然 Spyre 是一款針對推理優(yōu)化的加速器，但我們始終秉持一個關鍵原則：它還必須支持 AI 的完整生命周期，包括推理、微調和訓練。我們在設計架構、數(shù)字格式和可編程性時，充分考慮了這種通用性和適應性。這種架構上的“面向未來”設計，將使后續(xù)版本能夠隨著企業(yè)客戶需求的演變，覆蓋推理以外的更多用例。

從底層開始混合精度

Spyre AI 內核專為混合精度 AI 數(shù)學運算而設計。每個 Spyre AI 內核分為兩個“核心單元”（corelet）。每個核心單元包含一個二維 8x8 SIMD 脈動陣列，用于矩陣乘法和卷積等運算；以及兩個一維向量陣列，用于激活/歸一化函數(shù)和量化/反量化運算。二維陣列包含 64 個低精度數(shù)學引擎，負責處理大部分 AI 計算；低精度設計是實現(xiàn)高能效運行的關鍵。二維陣列的 64 個引擎支持低精度 fp16、fp8、int8 和 int4 運算。一維向量陣列包含 fp32 功能，用于執(zhí)行諸如激活函數(shù)等無法用低精度運算精確計算的操作。每個內核的本地存儲器采用兩級可編程 SRAM 暫存微架構。

Spyre 系統(tǒng)級芯片 (SoC) ASIC 包含 32 個活動內核（另有 2 個備用內核以提高良率），這些內核通過雙向環(huán)路互連。該環(huán)路包含一個與內存交叉開關的接口，該交叉開關連接到 16 個 LPDDR5 通道，這些通道以 6.4 Gbps 的速率運行，可為內核提供 204 GB/s 的峰值帶寬。LPDDR5 在低成本下優(yōu)化了容量帶寬比，同時為目標應用提供了足夠的內存帶寬。該交叉開關具有 DMA 和 RDMA 引擎的端口，分別用于在 Spyre 和主機之間以及多個 Spyre 之間通過 PCIe 傳輸數(shù)據(jù)。該 SoC 支持完全流水線化的 DMA/RDMA 傳輸和執(zhí)行，允許這些階段重疊，從而使不同階段的獨立推理能夠并行運行。Spyre SoC 采用標準的 5nm CMOS 工藝實現(xiàn)，包含 256 億個晶體管。

在功率限制范圍內實現(xiàn)適應性性能

Spyre 的設計目標是滿足單個 PCIe 插槽的功耗預算，且無需輔助電源接口。為了降低功耗，我們采用了多電源域策略：芯片上高活動區(qū)域采用 0.55V 的低電壓供電，而對時序要求嚴格且活動較低的區(qū)域則采用 0.75V 的高電壓供電。在平臺特定的功耗預算下運行，動態(tài)電源管理對于各種 AI 模型發(fā)揮最佳性能至關重要。與以往的解決方案不同，Spyre 引入了一種新穎的雙環(huán)電源管理控制機制，該機制能夠通過軟件控制，將峰值功耗調節(jié)到兩個不同的設定點和兩個不同的時間常數(shù)。這種機制的性能優(yōu)于單環(huán)電源管理方案。

Spyre SoC 集成于一張單槽 PCIe 卡中，并配備 8 個雙通道 LPDDR5 內存模塊和電源管理控制回路電路。多張 Spyre 卡通過 PCIe 交換機通信，組成一個本地組，實現(xiàn)低延遲的互聯(lián)互通，從而支持多卡協(xié)同工作，聚合內存帶寬，提升生成式 AI 模型的性能。在 IBM Z 或 LinuxONE 系統(tǒng)中最多可部署 48 張這樣的卡，在 IBM Power 系統(tǒng)中最多可部署 16 張，以擴展 AI 功能。

芯片之外

Spyre 軟件棧對于整個加速器解決方案至關重要。我們與多家軟件公司建立了合作關系，旨在簡化與 IBM 基于 Red Hat Linux 的企業(yè)軟件棧的集成。Spyre軟件棧包含編譯器、運行時環(huán)境、設備驅動程序和固件，從推理服務器和深度學習框架開始，用于啟動推理作業(yè)。我們的主要框架是 PyTorch 2.x，其架構旨在簡化加速器集成。使用 PyTorch 2.x 構建的應用程序幾乎無需任何軟件更改即可在 Spyre 系統(tǒng)上運行。

Spyre 采用獨特的可編程數(shù)據(jù)流微架構和適當?shù)恼麛?shù)和浮點數(shù)格式，實現(xiàn)了企業(yè) AI 所需的推理效率、性能水平和靈活性。

（來源：編譯自IBM）

*免責聲明：本文由作者原創(chuàng)。文章內容系作者個人觀點，半導體行業(yè)觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業(yè)觀察對該觀點贊同或支持，如果有任何異議，歡迎聯(lián)系半導體行業(yè)觀察。

今天是《半導體行業(yè)觀察》為您分享的第4325期內容，歡迎關注。

加星標??第一時間看推送

求推薦