AMD正將內(nèi)存重新定位為AI時代數(shù)據(jù)中心的核心瓶頸，認(rèn)為其已成為制約系統(tǒng)性能與能耗的關(guān)鍵因素。

AMD在近期發(fā)布的一篇官方博客中指出，隨著模型規(guī)模持續(xù)擴(kuò)大、推理任務(wù)日趨密集，現(xiàn)代AI工作負(fù)載正在暴露傳統(tǒng)服務(wù)器內(nèi)存架構(gòu)的局限性。這一制約越來越體現(xiàn)在物理層面：數(shù)據(jù)的搬運效率，而非單純的計算能力，正在成為影響系統(tǒng)整體效率的主導(dǎo)因素。

"這個問題很難量化，因為內(nèi)存架構(gòu)種類繁多，"Moor Insights & Strategy副總裁兼首席分析師Matt Kimball表示，"HBM、DDR、SRAM和LPDDR各有不同。"

常見內(nèi)存類型簡介

SRAM（靜態(tài)隨機(jī)存取內(nèi)存）：速度極快、延遲極低的片上內(nèi)存（例如緩存）。效率高但容量有限，成本較高。

HBM（高帶寬內(nèi)存）：通過堆疊結(jié)構(gòu)實現(xiàn)超大帶寬，效率較強(qiáng)，廣泛應(yīng)用于GPU及AI加速器。

LPDDR（低功耗雙倍數(shù)據(jù)率內(nèi)存）：專為低功耗場景優(yōu)化，長期用于移動設(shè)備，如今逐步向特定服務(wù)器工作負(fù)載延伸。

DDR（雙倍數(shù)據(jù)率動態(tài)內(nèi)存）：標(biāo)準(zhǔn)服務(wù)器內(nèi)存，容量大、通用性強(qiáng)，但相較新型方案效率較低。

Kimball進(jìn)一步梳理了一套大致的效率層級：SRAM性能最強(qiáng)，其次是HBM和LPDDR，DDR通用性最高但效率相對最低。各類內(nèi)存各司其職，直接比較并不精確，但在方向上具有參考價值。

這一判斷與AMD的立場高度吻合——內(nèi)存已成為驅(qū)動AI系統(tǒng)性能與能耗的重要因素。

"內(nèi)存越來越成為關(guān)鍵組件，對性能和功耗都構(gòu)成實質(zhì)性的一階約束，"Kimball說，"隨著模型規(guī)模擴(kuò)大、推理持續(xù)化趨勢加深，快速高效地搬運和訪問數(shù)據(jù)，與原始算力同等重要。"

AMD為何力推LPDDR5X進(jìn)入服務(wù)器市場

AMD博客的核心主題是LPDDR5X。AMD將其定位為在AI和云計算環(huán)境中提升每瓦性能的解決方案。LPDDR此前主要用于移動和客戶端設(shè)備，在服務(wù)器領(lǐng)域的應(yīng)用受限于容量、可維護(hù)性及生態(tài)系統(tǒng)成熟度等問題。AMD表示，這些限制正逐步緩解，為其在數(shù)據(jù)中心的廣泛應(yīng)用打開了空間。

LPDDR5X的工作電壓低于DDR5，可有效降低內(nèi)存子系統(tǒng)的功耗，在供電和散熱條件受限的環(huán)境中優(yōu)勢明顯。在機(jī)架規(guī)模下，這些節(jié)省會不斷積累。隨著功耗預(yù)算持續(xù)攀升、散熱成為瓶頸，內(nèi)存效率的邊際改善可轉(zhuǎn)化為可觀的總擁有成本收益。

向混合內(nèi)存架構(gòu)轉(zhuǎn)型

這篇博客折射出業(yè)界更廣泛的轉(zhuǎn)變趨勢——從標(biāo)準(zhǔn)化DIMM（雙列直插內(nèi)存模塊）走向針對特定工作負(fù)載的內(nèi)存架構(gòu)。

"我并不認(rèn)為這是一個小眾方向，"Kimball說，"LPDDR在某種程度上是市場更大范圍轉(zhuǎn)型的組成部分，背后是工作負(fù)載專屬內(nèi)存架構(gòu)的興起，也就是'為正確的工作負(fù)載選配正確的內(nèi)存'。"

運營商正越來越多地將HBM、LPDDR、SRAM和池化內(nèi)存混合使用，以匹配不同工作負(fù)載的需求。"傳統(tǒng)的'一刀切'DIMM模式正在讓位于我們所看到的這種混合形態(tài)——HBM、DDR、LPDDR、SRAM，乃至池化內(nèi)存，"他說，"每一種都針對不同的工作負(fù)載進(jìn)行了優(yōu)化。"

AMD將AI推理視為這一趨勢的核心驅(qū)動力。推理的不同階段對帶寬、延遲和功耗有著截然不同的需求。

"HBM非常適合在預(yù)填充階段以并行方式輸送大量數(shù)據(jù)，而SRAM則主導(dǎo)解碼階段——實現(xiàn)真正快速的、基于Token的逐Token生成，"Kimball說。

由此形成的是一個更加異構(gòu)但也更加高效的內(nèi)存棧。

尚未解決的問題：可靠性、可維護(hù)性與生態(tài)系統(tǒng)

LPDDR在服務(wù)器端的普及障礙，不僅是技術(shù)層面的，更是運營層面的。與傳統(tǒng)DIMM不同，LPDDR通常采用焊接方式安裝，這限制了可維護(hù)性，也在生產(chǎn)環(huán)境中引發(fā)了可靠性方面的顧慮。AMD著重介紹了SOCAMM（小型壓縮附接內(nèi)存模塊）等新興封裝形式，認(rèn)為其有望在效率與可替換性之間取得平衡。

"LPDDR在規(guī)模化部署中確實能帶來顯著的效率提升，"Kimball表示，"這里說的不只是單個機(jī)架，而是'成規(guī)模的機(jī)架群'——功耗和散熱都是固定約束的場景。"

但權(quán)衡取舍依然存在。"可靠性、可維護(hù)性以及生態(tài)系統(tǒng)成熟度仍然至關(guān)重要，"他說，"這也是SOCAMM等封裝形式的價值所在——它們試圖在效率與生產(chǎn)基礎(chǔ)設(shè)施的現(xiàn)實需求之間架起橋梁。"

這些差距目前尚未完全彌合。"滯后確實存在，"Kimball坦言。

尚處早期，但方向明確

AMD的這篇博客并未提出全新概念，而是對AI基礎(chǔ)設(shè)施領(lǐng)域已有趨勢的系統(tǒng)性梳理。

"我最大的感觸在于，內(nèi)存架構(gòu)的異構(gòu)化是真實存在的，并且正在向企業(yè)AI領(lǐng)域加速滲透，"Kimball說，"但我們?nèi)蕴幱谠缙陔A段，我認(rèn)為未來會逐步走向整合。"

對于運營商而言，內(nèi)存正從一個固定組件，演變?yōu)橹鲃訁⑴c系統(tǒng)設(shè)計的核心變量。AMD力推LPDDR5X，正是這一轉(zhuǎn)變的具體體現(xiàn)。從更宏觀的視角來看，統(tǒng)一化的服務(wù)器設(shè)計正在讓位于針對特定工作負(fù)載、功耗限制和性能目標(biāo)量身定制的系統(tǒng)方案。

在AI時代，系統(tǒng)搬運數(shù)據(jù)的效率，或許最終將決定其算力的發(fā)揮上限。

Q&A

Q1：AI數(shù)據(jù)中心為什么說內(nèi)存比算力更重要？

A：隨著AI模型規(guī)模擴(kuò)大和推理任務(wù)持續(xù)化，數(shù)據(jù)搬運效率成為制約系統(tǒng)性能的核心因素。AMD指出，快速高效地訪問和移動數(shù)據(jù)，與原始算力同等重要，內(nèi)存已對性能和功耗形成實質(zhì)性約束，成為AI數(shù)據(jù)中心的新瓶頸。

Q2：LPDDR5X在服務(wù)器中有什么優(yōu)勢和局限性？

A：LPDDR5X工作電壓低于DDR5，可降低內(nèi)存子系統(tǒng)功耗，在供電和散熱受限的環(huán)境中優(yōu)勢明顯，規(guī)模化部署后總擁有成本收益顯著。但其通常采用焊接安裝方式，限制了可維護(hù)性，在可靠性、生態(tài)系統(tǒng)成熟度方面仍存在不足，SOCAMM等新封裝形式正嘗試解決這些問題。

Q3：AI推理的不同階段對內(nèi)存類型有什么不同需求？

A：AI推理分為預(yù)填充和解碼兩個主要階段，需求差異明顯。預(yù)填充階段需要并行輸送大量數(shù)據(jù)，HBM憑借超大帶寬更為適合；解碼階段則需要快速逐Token生成，對延遲要求極高，SRAM因其超低延遲特性占據(jù)主導(dǎo)地位。這也是混合內(nèi)存架構(gòu)興起的核心驅(qū)動力之一。