SK 海力士近期發(fā)表一篇 IEEE 論文，提出一種全新架構(gòu)：在同一中介層（interposer）上，將高帶寬內(nèi)存（HBM）的速度與高帶寬閃存（HBF）的容量相結(jié)合，并直連 GPU，用以加速 AI 大模型與智能體的推理處理。

目前的 GPU，以及即將推出的英偉達(dá) Rubin 架構(gòu)，均通過(guò)中介層連接 HBM，為 GPU 核心提供高速、高帶寬的數(shù)據(jù)供給。但隨著 AI 大語(yǔ)言模型（LLM）規(guī)模不斷擴(kuò)大，HBM 容量不足的問(wèn)題愈發(fā)突出，數(shù)據(jù)不得不從速度更慢的本地 SSD 中調(diào)取，顯著拉長(zhǎng)了推理耗時(shí)。

HBF 的訪問(wèn)速度雖慢于 HBM，但遠(yuǎn)快于普通本地 SSD，且容量更大。SK 海力士的H3 設(shè)計(jì)將其與 HBM 置于同一片中介層上，可讓 HBF 充當(dāng) HBM 的高速緩存，大幅縮短超大模型的處理時(shí)間。

我們可以這樣理解這一思路：

框圖展示HBM、HBF 與 GPU 基于中介層的互聯(lián)結(jié)構(gòu)

未來(lái)幾代 HBM 會(huì)繼續(xù)提升容量與帶寬，但遠(yuǎn)水難解近渴，無(wú)法及時(shí)解決當(dāng)前推理延遲問(wèn)題 —— 這會(huì)讓 GPU 陷入顯存瓶頸（memory-bound），持續(xù)等待數(shù)據(jù)。

該論文指出，H3 架構(gòu)非常適合解決推理過(guò)程中KV 緩存環(huán)節(jié)的痛點(diǎn)。AI 模型推理時(shí)，會(huì)將上下文記憶序列（詞元與向量）以鍵值（KV）緩存的形式存放在 HBM 中。H3 論文提到：

“最新的 Llama 4 大模型支持最長(zhǎng)達(dá)

1000 萬(wàn)詞元

的序列長(zhǎng)度。

這一規(guī)模需要高達(dá)5.4TB 的緩存，“僅存儲(chǔ)這些數(shù)據(jù)就需要數(shù)十張 GPU”。

英偉達(dá)的 ICMSP 軟件可將 KV 緩存擴(kuò)展至本地 NVMe SSD，相比 HBM 容量耗盡后重新計(jì)算詞元與向量，能顯著加快處理速度。

而 HBF 的優(yōu)勢(shì)在于：將 KV 緩存部署在更靠近 GPU的位置，省去 SSD 經(jīng)由 PCIe 總線的傳輸延遲，提供比本地 SSD 更低的延遲、更高的帶寬訪問(wèn)能力。

論文總結(jié)了HBF 的預(yù)期優(yōu)缺點(diǎn)：

優(yōu)勢(shì)：

1.容量最高可達(dá) HBM 的16 倍

2.帶寬與 HBM 接近

劣勢(shì)：

1.訪問(wèn)速度更慢（納秒級(jí) vs 微秒級(jí)）

2.寫入壽命更低

3.功耗最高比 HBM 高4 倍

由于 HBF 寫入壽命有限（僅約10 萬(wàn)次擦寫循環(huán)），它最適合讀密集型負(fù)載。H3 論文摘要明確指出：

“搭載 H3 的系統(tǒng)，在相同 GPU 數(shù)量下，能比純 HBM 系統(tǒng)同時(shí)處理更多請(qǐng)求，使其非常適合 LLM 推理中的

大規(guī)模只讀場(chǎng)景

，尤其是使用

共享預(yù)計(jì)算鍵值緩存

的場(chǎng)景。

緩存增強(qiáng)生成（CAG）就是典型的這類負(fù)載：

“當(dāng)大語(yǔ)言模型接收到查詢時(shí)，會(huì)讀取龐大的共享預(yù)計(jì)算 KV 緩存，完成計(jì)算后輸出結(jié)果。換言之，共享預(yù)計(jì)算 KV 緩存本質(zhì)就是

只讀

的。

論文中的示意圖展示了完整設(shè)計(jì)：

·D2D：裸片間直連傳輸

·HBM 與 HBF 控制器分別位于各自的基底裸片上

·模型權(quán)重與共享預(yù)計(jì)算 KV 緩存存放在HBF

·生成式 KV 緩存及其他數(shù)據(jù)存放在HBM

為彌補(bǔ) NAND 閃存延遲較高的問(wèn)題，設(shè)計(jì)在 HBM 基底裸片中集成了延遲隱藏緩存（LHB），本質(zhì)是一種預(yù)取緩沖。

H3 設(shè)計(jì)思路：GPU 邊緣（周邊）搭載 HBM 堆疊，GPU 與 HBM 均置于中介層上（對(duì)應(yīng)圖 a）；HBM 與 HBF 以菊花鏈方式連接。

“在 HBM 基底裸片內(nèi)部，通過(guò)地址解碼器與路由單元將內(nèi)存訪問(wèn)分為兩路：一路訪問(wèn) HBM，另一路訪問(wèn) HBF。如此一來(lái)，GPU 可

通過(guò)

HBM 基底裸片直接訪問(wèn) HBF

簡(jiǎn)單說(shuō)：HBM 與 HBF 共同作為 GPU 的主存。示意圖中的全局統(tǒng)一編址方案顯示：

“GPU 主機(jī)使用統(tǒng)一地址空間，劃分不同區(qū)域分別訪問(wèn) HBM 與 HBF?！?/blockquote>
性能測(cè)試數(shù)據(jù)

SK 海力士 H3 架構(gòu)仿真測(cè)試環(huán)境：英偉達(dá) Blackwell GPU（B200）+ 8 顆 HBM3E 堆疊 + 8 顆 HBF 堆疊。

性能對(duì)比純 HBM 方案：

·100 萬(wàn)詞元場(chǎng)景：吞吐量提升1.25 倍

·1000 萬(wàn)詞元場(chǎng)景：吞吐量提升6.14 倍

能效表現(xiàn)：相比僅配備 8 顆 HBM、無(wú) HBF 的 Blackwell GPU，每瓦性能提升 2.69 倍。

在 1000 萬(wàn)詞元 KV 緩存測(cè)試中：HBM+HBF 方案可同時(shí)處理的查詢數(shù)（批次大?。?，是純 HBM 方案的18.8 倍。原本需要 32 張 GPU+HBM 才能完成的負(fù)載，借助 HBF 僅需2 張 GPU即可實(shí)現(xiàn)，大幅降低功耗。

文末摘要（論文官方摘要）

大語(yǔ)言模型（LLM）推理需要海量?jī)?nèi)存來(lái)處理長(zhǎng)序列，而高帶寬內(nèi)存（HBM）的容量限制帶來(lái)了巨大挑戰(zhàn)。高帶寬閃存（HBF）是一種基于 NAND 閃存的新型存儲(chǔ)器件，擁有接近 HBM 的帶寬與遠(yuǎn)超 HBM 的容量，但同時(shí)存在訪問(wèn)延遲更高、寫入壽命更短、功耗更大等缺點(diǎn)。

本文提出H3 混合架構(gòu)，旨在充分發(fā)揮 HBM 與 HBF 各自的優(yōu)勢(shì)：將只讀數(shù)據(jù)存放在 HBF，其他數(shù)據(jù)存放在 HBM。

搭載 H3 的系統(tǒng)，在相同 GPU 數(shù)量下可處理更多并發(fā)請(qǐng)求，非常適合 LLM 推理中大規(guī)模只讀場(chǎng)景，尤其是使用共享預(yù)計(jì)算鍵值緩存的場(chǎng)景。

仿真結(jié)果表明：采用 H3 的 GPU 系統(tǒng)，每瓦吞吐量最高提升 2.69 倍，驗(yàn)證了 H3 在處理超大只讀數(shù)據(jù) LLM 推理時(shí)的高性價(jià)比。

西門子EDA直播報(bào)名(4月2日）