SK海力士在報(bào)告中指出，新架構(gòu)特別適合人工智能推理。

SK海力士發(fā)布了一種以高帶寬閃存（HBF）為核心的新型半導(dǎo)體架構(gòu)概念。HBF是一種堆疊多個(gè)NAND閃存芯片的存儲(chǔ)技術(shù)。據(jù)韓京新聞報(bào)道，該公司最近在電氣電子工程師協(xié)會(huì)（IEEE）上發(fā)表的一篇論文中詳細(xì)闡述了這一名為“H3”的概念。H3指的是一種混合架構(gòu)，它將HBM和HBF集成到單一設(shè)計(jì)中。

正如報(bào)告指出的那樣，H3 架構(gòu)將 HBM 和 HBF 都放置在負(fù)責(zé)計(jì)算的 GPU 旁邊，而目前的 AI 芯片（包括 NVIDIA 計(jì)劃于今年下半年發(fā)布的 Rubin 平臺(tái)）中，只有 HBM 被放置在 GPU 旁邊。

為了評(píng)估H3設(shè)計(jì)的可行性，SK海力士進(jìn)行了仿真測(cè)試。在這些測(cè)試中，該公司配置了8個(gè)第五代HBM（HBM3E）堆棧和8個(gè)HBF堆棧，并搭配NVIDIA最新的GPU Blackwell（B200）。正如報(bào)告所強(qiáng)調(diào)的，仿真結(jié)果表明，與僅依賴HBM的配置相比，每瓦性能提升高達(dá)2.69倍。

采用 HBF 的 H3 架構(gòu)或可提升 AI 推理性能

值得注意的是，正如報(bào)告所指出的，H3架構(gòu)被認(rèn)為特別適合人工智能推理，而人工智能推理正日益成為一個(gè)重要的領(lǐng)域。推理指的是模型進(jìn)行推理并生成響應(yīng)的能力，而這一過(guò)程的核心要素是KV緩存，它會(huì)在用戶交互期間臨時(shí)存儲(chǔ)對(duì)話上下文。

報(bào)告解釋說(shuō)，隨著人工智能模型日趨復(fù)雜，KV緩存的需求不斷增長(zhǎng)，給HBM和GPU帶來(lái)了巨大壓力，可能限制整體計(jì)算效率。通過(guò)部署HBF作為額外的高容量存儲(chǔ)層來(lái)吸收KV緩存，GPU和HBM可以擺脫存儲(chǔ)開銷，專注于高速處理和生成新的輸出。

SK海力士還模擬了HBF處理高達(dá)1000萬(wàn)個(gè)令牌的海量KV緩存的場(chǎng)景。報(bào)告顯示，模擬結(jié)果表明，與僅使用HBM的配置相比，該系統(tǒng)處理并發(fā)查詢（批處理大?。┑哪芰μ嵘烁哌_(dá)18.8倍。以前需要32個(gè)GPU才能完成的工作負(fù)載，現(xiàn)在只需兩個(gè)GPU即可完成，從而顯著提高了能效。

HBF商業(yè)化面臨的技術(shù)挑戰(zhàn)

通過(guò)這份報(bào)告，該公司強(qiáng)調(diào)了HBF作為下一代人工智能存儲(chǔ)解決方案的潛力。然而，正如報(bào)告所指出的，在商業(yè)化之前仍存在一些挑戰(zhàn)。盡管NAND閃存具有高存儲(chǔ)密度，但其寫入速度相對(duì)較慢，尤其是在添加或修改數(shù)據(jù)時(shí)，仍然是一個(gè)關(guān)鍵的限制因素。

即使HBF主要用于混合架構(gòu)中的讀取密集型工作負(fù)載，寫入性能對(duì)于KV緩存應(yīng)用也變得越來(lái)越重要。報(bào)告指出，克服這一限制需要更先進(jìn)的設(shè)計(jì)，包括顯著提升HBF堆棧底部基極芯片的控制器性能。

盡管如此，隨著HBF在人工智能內(nèi)存領(lǐng)域發(fā)展勢(shì)頭強(qiáng)勁，標(biāo)準(zhǔn)化工作也在不斷加強(qiáng)。據(jù)Sisa Journal報(bào)道，三星電子和SK海力士已與SanDisk簽署諒解備忘錄（MOU），共同推進(jìn)HBF標(biāo)準(zhǔn)化，并正通過(guò)聯(lián)合聯(lián)盟推進(jìn)相關(guān)工作。兩家公司都在積極研發(fā)HBF產(chǎn)品，目標(biāo)是在2027年實(shí)現(xiàn)商業(yè)化。

此前，韓國(guó)科學(xué)技術(shù)院（KAIST）電氣工程學(xué)院金正浩教授（HBF領(lǐng)域的主要倡導(dǎo)者）稱，12年后，高帶寬閃存（HBF）市場(chǎng)可能會(huì)比高帶寬存儲(chǔ)器（HBM）市場(chǎng)更大。他設(shè)想高帶寬內(nèi)存 ( HBM ) 作為 GPU 加速器的高速數(shù)據(jù)緩存層，并由一層 HBF 為其提供數(shù)據(jù)，而速度較慢但容量更高的聯(lián)網(wǎng) SSD 存儲(chǔ)則為 HBF 層提供數(shù)據(jù)。

英偉達(dá)發(fā)布了推理上下文內(nèi)存存儲(chǔ)平臺(tái) (ICMSP )，該平臺(tái)利用其 Dynamo 和 NIXL 軟件為存儲(chǔ)在 KV 緩存中的 AI 推理令牌提供托管內(nèi)存空間，該緩存覆蓋 HBM 和 BlueField-4 連接的 SSD。直觀來(lái)看，同樣的雙層軟件架構(gòu)可以擴(kuò)展到覆蓋 HBM-HBF-BlueField-4 連接的 SSD 的三層結(jié)構(gòu)。 聯(lián)網(wǎng)的外部存儲(chǔ)設(shè)備將連接到 BlueField-4 SSD 層，并擁有通往 GPU 的清晰路徑，無(wú)需經(jīng)過(guò)主機(jī) X86 處理器及其 DRAM。金正浩教授還討論了一款容量為512GB、帶寬為1.638TB/s的HBF單元。該容量相當(dāng)于2TB（250GB）的3D NAND芯片，例如SK海力士采用其321層三串3D NAND技術(shù)制造的芯片。我們只需堆疊兩個(gè)這樣的芯片即可制造出一個(gè)512GB容量的HBF芯片。這樣的雙層芯片總共包含 642 層 3D NAND，分為六個(gè)組件串，并且需要進(jìn)行制造，使得上層不會(huì)使下層變形。

未來(lái)，GPU等算力卡將可能形成更明確的訓(xùn)練和推理分工，進(jìn)一步降低 AI 推理門檻。同時(shí)，HBF的出現(xiàn)，也促使存儲(chǔ)廠商加速技術(shù)創(chuàng)新，研發(fā)周期從十幾年縮短到 3-5 年。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請(qǐng)聯(lián)系后臺(tái)。