（本文編譯自Electronic Design）

DeepSeek R1的問世在人工智能領(lǐng)域引發(fā)巨大震動，這不僅源于其卓越的性能表現(xiàn)，更在于其研發(fā)規(guī)模的空前體量。這款擁有6710億參數(shù)的開源語言模型，訓練過程耗費超20萬億個tokens，動用了數(shù)以萬計的英偉達H100圖形處理器（GPU），直觀印證了大語言模型（LLMs）領(lǐng)域?qū)?shù)據(jù)的海量需求。

H100 GPU之所以能承載如此龐大的數(shù)據(jù)吞吐量，核心在于其搭載的第三代高帶寬內(nèi)存（HBM3）。每顆H100 SXM GPU配備80GB容量的HBM3內(nèi)存，可提供3.35TB/s的帶寬。盡管這相較于前代產(chǎn)品已是質(zhì)的飛躍，但內(nèi)存容量與帶寬的增長速度，仍難以跟上人工智能模型指數(shù)級擴張的步伐。

以英偉達前一代A100 GPU為例，其最初配備40GB容量的第二代高帶寬內(nèi)存（HBM2），帶寬為1.55TB/s，H100的顯存容量與帶寬實現(xiàn)了翻倍提升。然而在過去兩年，人工智能模型的規(guī)模增長超過百倍，內(nèi)存技術(shù)的迭代速度被遠遠甩在身后。

這一差距凸顯出人工智能發(fā)展進程中的核心瓶頸：傳統(tǒng)存儲技術(shù)已無法滿足現(xiàn)代人工智能訓練對帶寬與容量的雙重需求。海量數(shù)據(jù)集需要被高速調(diào)取和處理，若內(nèi)存容量不足、性能滯后，人工智能計算資源的效能將大打折扣。

高帶寬內(nèi)存應運而生

高帶寬內(nèi)存（HBM）的出現(xiàn)正是為了破解這一難題（見下表）。通過垂直堆疊存儲芯片，并借助超寬高速接口實現(xiàn)互聯(lián)，相比傳統(tǒng)存儲架構(gòu)，HBM在性能與容量上實現(xiàn)了跨越式突破，迅速成為承載先進人工智能工作負載的首選存儲方案。

表1：HBM在容量與性能上實現(xiàn)雙重躍升

HBM內(nèi)存的演進歷程令人矚目。其初代產(chǎn)品的數(shù)據(jù)傳輸速率為1Gb/s，單個3D堆疊體最多集成8顆16Gb的存儲芯片。而作為第三代高帶寬內(nèi)存（HBM3）增強版的HBM3e，其數(shù)據(jù)傳輸速率提升至9.6Gb/s，器件可支持堆疊16顆32Gb的存儲芯片，單器件總?cè)萘窟_到64GB。

為解決人工智能訓練、高性能計算（HPC）及其他高負載應用場景下的內(nèi)存瓶頸，行業(yè)對下一代高帶寬內(nèi)存產(chǎn)品HBM4的問世翹首以盼。近期，固態(tài)技術(shù)協(xié)會（JEDEC）正式發(fā)布HBM4內(nèi)存標準，預示著行業(yè)將迎來又一次重大技術(shù)突破。

JEDEC已就高達6.4Gb/s的速率等級達成初步協(xié)議。此外，HBM4采用2048位寬的接口設計，帶寬是前代HBM產(chǎn)品的兩倍，這使得在相同數(shù)據(jù)傳輸速率下，HBM4的內(nèi)存帶寬較初代HBM3翻倍，同時比HBM3e標準支持的帶寬高出33%。這意味著數(shù)據(jù)存取與處理速度將大幅提升，助力人工智能模型實現(xiàn)前所未有的高效訓練與運行。

HBM4還集成了先進的可靠性、可用性與可維護性（RAS）功能。這一點在由數(shù)千顆圖形處理器組成的大規(guī)模并行計算架構(gòu)中至關(guān)重要，此類系統(tǒng)平均每數(shù)小時就可能發(fā)生一次硬件故障。更高的可靠性是保障系統(tǒng)性能穩(wěn)定、最大限度縮短停機時間的關(guān)鍵所在。

要充分釋放HBM4的性能潛力，高性能的內(nèi)存控制器不可或缺。目前市面上主流的控制器產(chǎn)品均支持JEDEC制定的6.4Gb/s標準，可與第三方或客戶定制的物理層（PHY）解決方案搭配，構(gòu)建完整的HBM4內(nèi)存子系統(tǒng)。

HBM4的應用挑戰(zhàn)

HBM4的落地應用面臨諸多新挑戰(zhàn)。首要難題是如何在更高速率下應對數(shù)據(jù)并行處理的復雜性。新一代HBM4控制器內(nèi)置更精密的重排序邏輯，通過優(yōu)化輸出的HBM事務與輸入的HBM讀取數(shù)據(jù)，確保高帶寬數(shù)據(jù)接口在功耗可控的前提下始終保持高效利用狀態(tài)。

另一項挑戰(zhàn)在于熱管理。隨著性能的提升，HBM內(nèi)存控制器必須警惕熱熱點（thermal hotspot）的產(chǎn)生風險。對此，下一代HBM4控制器專門設計了相應機制，允許主機系統(tǒng)讀取存儲裸片的溫度狀態(tài)，從而幫助系統(tǒng)在熱參數(shù)范圍內(nèi)實現(xiàn)高效統(tǒng)籌管理。

生成式人工智能時代正加速到來，性能更先進、數(shù)據(jù)需求量更大的模型將不斷涌現(xiàn)，內(nèi)存帶寬的重要性再怎么強調(diào)都不為過。推動下一代人工智能發(fā)展，需要進一步挖掘HBM4乃至更先進內(nèi)存產(chǎn)品的性能潛力。芯片設計人員正著眼未來，勾勒人工智能革命的發(fā)展藍圖，助力科研與開發(fā)人員不斷突破技術(shù)邊界，探索更多創(chuàng)新可能。