過(guò)去一年，全世界的科技公司都在搶購(gòu)AI芯片，至今供不應(yīng)求。

英偉達(dá)的產(chǎn)能上不來(lái)，很大程度上是因?yàn)镠BM（高帶寬內(nèi)存）不夠用了。每一塊H100芯片，都會(huì)用到6顆HBM。當(dāng)下，SK海力士、三星供應(yīng)了90%的HBM，并且技術(shù)領(lǐng)先美光整整一個(gè)代際。

這給了韓國(guó)人一個(gè)史無(wú)前例的機(jī)會(huì)。

三星京畿道內(nèi)存工廠

眾所周知，內(nèi)存市場(chǎng)一直保持著三足鼎立的格局。其中，韓國(guó)人一家獨(dú)大：三星與SK海力士?jī)杉夜?，就占去七成市?chǎng)。但排名第三的美光，仍保有20%以上的市占。雙方打得你來(lái)我往，各有勝負(fù)。

這樣的局面，韓國(guó)人大抵是不滿意的。上世紀(jì)80年代，日本曾攻下了9成以上的存儲(chǔ)器市場(chǎng)；這種壓倒性壟斷，才是韓國(guó)半導(dǎo)體的終極夢(mèng)想。

因此在2024年初，韓國(guó)政府將HBM定為國(guó)家戰(zhàn)略技術(shù)，并為HBM供應(yīng)商提供稅收優(yōu)惠，準(zhǔn)備再一次發(fā)起沖鋒。

如今，距離韓國(guó)人的夢(mèng)想照進(jìn)現(xiàn)實(shí)，似乎只有一步之遙了。

馮·諾依曼的“陷阱”

韓國(guó)人之所以能等來(lái)又一次機(jī)會(huì)，很大程度上得感謝“計(jì)算機(jī)之父”馮·諾依曼。

1945年，全球第一臺(tái)計(jì)算機(jī)ENIAC問(wèn)世在即，馮·諾依曼聯(lián)合同事發(fā)表論文，闡述了一種全新的計(jì)算機(jī)體系架構(gòu)。其中最大的突破在于“存算分離”——這是邏輯運(yùn)算單元第一次從存儲(chǔ)單元中被剝離出來(lái)。

如果把計(jì)算機(jī)內(nèi)部想象成后廚，那么存儲(chǔ)器就是倉(cāng)庫(kù)管理員，而邏輯芯片就是主廚。

最初，“炒菜”和“管倉(cāng)庫(kù)”的工作，其實(shí)都是由同一塊芯片來(lái)完成的；隨著“存算分離”的概念被提出之后，計(jì)算機(jī)才開(kāi)始設(shè)立多個(gè)“崗位”，并分別“招募人才”。

拆分出來(lái)的邏輯芯片，最終演變成了如今的CPU與GPU。

這么做的好處顯而易見(jiàn)：存儲(chǔ)和邏輯芯片各司其職，如流水線一般絲滑，高效且靈活，很快獲得了初代計(jì)算機(jī)設(shè)計(jì)者的青睞，并一路延續(xù)至今，經(jīng)久不衰。

這就是如今大名鼎鼎的馮·諾依曼架構(gòu)。

然而，“計(jì)算機(jī)之父”馮·諾依曼在設(shè)計(jì)這套架構(gòu)時(shí)，無(wú)意間埋下了一顆“炸彈”。

馮·諾依曼架構(gòu)如果想要效率最大化，實(shí)際有一個(gè)隱含的前提：

即存儲(chǔ)器到邏輯芯片的數(shù)據(jù)傳輸速度，必須大于或等于，邏輯芯片的運(yùn)算速度。翻譯成人話就是，倉(cāng)庫(kù)管理員將食材送到后廚的速度，必須比主廚烹飪的速度快。

然而，現(xiàn)實(shí)中的科技樹(shù)，卻走上了一條截然相反的道路。

存儲(chǔ)器明顯跟不上邏輯芯片的迭代速度。以CPU為例，早在上世紀(jì)80年代，這種性能失衡已無(wú)法忽視。到21世紀(jì)前，CPU和存儲(chǔ)器之間的性能差距已經(jīng)在以每年50%的速率持續(xù)增長(zhǎng)。

這就導(dǎo)致，決定一塊芯片算力上限的，不是邏輯芯片的算力，而是內(nèi)存的傳輸速度。廚師已經(jīng)嚴(yán)重溢出，倉(cāng)管能送多少食材，決定了后廚能出多少菜。

這就是現(xiàn)在常說(shuō)的“內(nèi)存墻”，即馮·諾依曼所留下的陷阱。

上個(gè)世紀(jì)，有人曾試著嘗試改變現(xiàn)狀，一批全新的芯片架構(gòu)展露了頭角。然而，蚍蜉難以撼樹(shù)，相較于圍繞馮·諾依曼架構(gòu)建立的生態(tài)帝國(guó)——包括編程語(yǔ)言、開(kāi)發(fā)工具、操作系統(tǒng)等帶來(lái)的好處，那一點(diǎn)性能提升，不值一提。

直到人工智能浪潮洶涌而至。

新的火種

以深度學(xué)習(xí)為基石的人工智能，對(duì)算力有著近乎病態(tài)的需求。

OpenAI就曾做過(guò)一筆測(cè)算：從2012年的AlexNet模型到2017年谷歌的AlphaGoZero，算力消耗足足翻了30萬(wàn)倍。隨著Transformer問(wèn)世，“大力出奇跡”已然成為人工智能行業(yè)的底層邏輯，幾乎所有科技公司都困于算力不足。

作為阻撓算力進(jìn)步的“罪魁禍?zhǔn)住保T·諾依曼架構(gòu)很快被推上了風(fēng)口浪尖。

AMD是最先意識(shí)到問(wèn)題嚴(yán)重性的科技巨頭之一。對(duì)此，它采用了一種非常“簡(jiǎn)單粗暴”的解決方案——把存儲(chǔ)器放到離邏輯芯片更近的地方。我把“倉(cāng)庫(kù)”建得離“后廚”近一點(diǎn)，送貨速度不就提上來(lái)了么？

2015年，AMD推出了首款非馮·諾依曼架構(gòu)的產(chǎn)品

但在當(dāng)年，AMD這套方案存在一個(gè)致命缺陷。

過(guò)去，存儲(chǔ)通常都通過(guò)插槽“外掛”在GPU封裝之外，相當(dāng)于把倉(cāng)庫(kù)建在郊區(qū)。

然而，AMD為了縮短兩者的距離，打算將存儲(chǔ)器移到和GPU同一封裝內(nèi)的同一塊載板上。但載板面積十分有限，如同寸土寸金的中心城區(qū)。傳統(tǒng)的內(nèi)存往往面積又很大，仿佛一個(gè)特大型倉(cāng)庫(kù)，中心城區(qū)顯然建不下。

至此，HBM開(kāi)始登上歷史舞臺(tái)：它使用了縱向堆疊小型DRAM裸片的方式。

我們可以把HBM想象成一座高達(dá)12層的超小型倉(cāng)庫(kù)。由于倉(cāng)庫(kù)面積小，占地需求大大降低，可以順理成章地搬進(jìn)中心城區(qū)；與此同時(shí)，從1樓到12樓，每一層都能存儲(chǔ)數(shù)據(jù)，所以實(shí)際性能并沒(méi)有縮水。

當(dāng)下，HBM的表面積，只有傳統(tǒng)內(nèi)存的6%。這項(xiàng)新技術(shù)，讓AMD的技術(shù)方案得以成功落地。

于是，AMD向太平洋對(duì)岸的SK海力士伸出了橄欖枝。

2015年，AMD推出GPU Fiji，在一塊芯片載板上排布了4顆HBM，給了業(yè)內(nèi)一個(gè)小小震撼。而搭載Fiji的高端顯卡Radeon R9 Fury X，當(dāng)年在紙面算力上，也第一次超過(guò)了英偉達(dá)同代的Kepler系列。

雖然從后續(xù)市場(chǎng)表現(xiàn)來(lái)看，F(xiàn)iji是一個(gè)失敗的作品，但沒(méi)有妨礙HBM的驚鴻一瞥，攪亂一池春水。

少數(shù)人的游戲

當(dāng)全球科技公司都開(kāi)始押注人工智能，撞開(kāi)了“內(nèi)存墻”的HBM，也順勢(shì)走上時(shí)代舞臺(tái)的中心。

然而，只有少數(shù)人，能從HBM浪潮中分走蛋糕。當(dāng)下，HBM即將跨入第四代，牌桌卻始終湊不齊四個(gè)人。截至2023年，有能力生產(chǎn)HBM的廠商仍然只有三家：SK海力士、三星、美光。遺憾的是，這個(gè)局面大概率還將保持很久。

三巨頭雖然也壟斷了傳統(tǒng)內(nèi)存，但在市場(chǎng)景氣時(shí)，二、三線廠商也能跟著喝上肉湯?？稍贖BM領(lǐng)域，其余廠商別說(shuō)喝湯，連桌都上不了。

過(guò)高的技術(shù)門檻，是造成這種局面的重要原因。

前文曾提到，HBM是一座高樓層的小型倉(cāng)庫(kù)；如何實(shí)現(xiàn)高樓層的設(shè)計(jì)，這背后可大有學(xué)問(wèn)。

目前業(yè)內(nèi)采用的技術(shù)叫TSV（硅通孔），是當(dāng)前唯一的垂直電互聯(lián)技術(shù)。通過(guò)蝕刻和電鍍，TSV貫穿堆疊的DRAM裸片，實(shí)現(xiàn)各層的通信互聯(lián)，可以想象成給大樓安裝電梯。

由于HBM的面積實(shí)在太小了，導(dǎo)致對(duì)TSV工藝的精度有著極其嚴(yán)苛的要求。其操作難度，不亞于用電鉆給米粒鉆孔。而且，HBM還不止需要“鉆一個(gè)孔”：隨著大樓越造越高，HBM對(duì)TSV的需求量也會(huì)相應(yīng)增加。

三巨頭在TSV技術(shù)上的積累最為深厚，足以輕易甩開(kāi)云云小廠，穩(wěn)坐山頭。

原因之二，是HBM打破了傳統(tǒng)內(nèi)存IDM的模式，需要依靠外援，自己說(shuō)了不算。

IDM模式是指，從設(shè)計(jì)、制造到封裝全部由內(nèi)存廠商一手包辦。過(guò)去，三星等內(nèi)存廠商之所以敢發(fā)動(dòng)價(jià)格戰(zhàn)，正是因?yàn)檎莆樟苏麄€(gè)制造流程，可以最大程度擠壓利潤(rùn)空間。

但到了HBM，設(shè)計(jì)、制造還是自己做，可封裝這一環(huán)節(jié)，就必須依賴晶圓代工廠。

HBM畢竟不是一塊獨(dú)立的內(nèi)存，需要安裝到邏輯芯片旁邊。這個(gè)過(guò)程涉及到更精細(xì)的操作、更精密的設(shè)備，以及更昂貴的材料，只能求助于先進(jìn)封裝技術(shù)。當(dāng)下，只有臺(tái)積電的先進(jìn)封裝技術(shù)達(dá)標(biāo)，三巨頭都是它的客戶。

臺(tái)積電的先進(jìn)封裝技術(shù)CoWoS

只是臺(tái)積電的產(chǎn)能相當(dāng)有限，僧多粥少，三巨頭都不夠用；新玩家想入局，還得看臺(tái)積電樂(lè)不樂(lè)意帶上你。

極高的技術(shù)門檻，以及對(duì)臺(tái)積電先進(jìn)封裝產(chǎn)能的依賴，HBM大概率只能是少數(shù)人的游戲。也正是因?yàn)檫@些特點(diǎn)，讓HBM戰(zhàn)爭(zhēng)的打法，注定與過(guò)去的內(nèi)存戰(zhàn)爭(zhēng)迥然不同。

重塑游戲規(guī)則

眾所周知，傳統(tǒng)內(nèi)存的競(jìng)爭(zhēng)往往圍繞價(jià)格戰(zhàn)展開(kāi)。因?yàn)閭鹘y(tǒng)內(nèi)存是個(gè)高度標(biāo)準(zhǔn)化的產(chǎn)品，各家之間性能差距并不大。往往誰(shuí)的價(jià)格更低，誰(shuí)就能拿到更多訂單。

但對(duì)HBM來(lái)說(shuō)，技術(shù)迭代更快的一方才握有主動(dòng)權(quán)。

因?yàn)镠BM主要用于AI芯片，其主要賣點(diǎn)就是性能。一塊強(qiáng)大的AI芯片，能大幅縮短訓(xùn)練模型的時(shí)間。對(duì)科技公司而言，只要能盡早將大模型推向市場(chǎng)，多花些“刀樂(lè)兒”又何妨？

因此在過(guò)去幾年，內(nèi)存廠商一直在圍繞技術(shù)內(nèi)卷。

2016年，三星能在HBM市場(chǎng)反超SK海力士，正是因?yàn)槁氏攘慨a(chǎn)了新一代的HBM 2，在技術(shù)上跑在了前頭。

英偉達(dá)的V100芯片，使用了三星的HBM 2

另一方面，抱上一個(gè)夠粗的大腿，同樣也很重要。

因?yàn)橛心芰ιa(chǎn)AI芯片的科技公司，全世界數(shù)來(lái)數(shù)去就那么幾家，對(duì)大客戶的依賴度很高。過(guò)去幾年，SK海力士、三星、美光圍繞HBM的比拼，實(shí)際比的就是誰(shuí)抱的大腿更粗。

SK海力士下場(chǎng)最早，一出道就綁定了頗有野心的AMD?？上MD的芯片銷量不佳，連累SK海力士的HBM一度叫好不叫座。

相比之下，三星就相當(dāng)“雞賊”，憑借著率先量產(chǎn)的HBM2，成功抱上了英偉達(dá)的大腿，反超了SK海力士。

然而在2021年，SK海力士率先量產(chǎn)了HBM 3，成功將英偉達(dá)拉攏到自己的陣營(yíng)中。如今全球瘋搶的AI芯片H100，用的就是SK海力士的HBM。新大腿加持下，SK海力士徹底奠定了“HBM一哥”的地位。

SK海力士供應(yīng)了H100的HBM

與韓國(guó)人相比，美光運(yùn)氣最差，攤上了英特爾。

2016年，美光和英特爾押注了另一條技術(shù)路線。蒙頭研發(fā)了數(shù)年，美光才意識(shí)到選錯(cuò)了路線。此時(shí)，美光已經(jīng)落后韓國(guó)對(duì)手整整兩個(gè)代際。

目前，SK海力士包攬了HBM整體供應(yīng)的50%，隔壁的三星拿下了40%，美光僅有10%。

受到HBM業(yè)務(wù)的拉動(dòng)，去年三季度SK海力士在內(nèi)存市場(chǎng)的份額暴漲至34.3%，距離超越三星僅有一步之遙。要知道，三星已經(jīng)在內(nèi)存市場(chǎng)Top 1的位置坐了30多年了。

然而，拼迭代速度、拼大腿，新的打法，意味著更大的變數(shù)。三大廠商，目前看似分出了一二三名，實(shí)則各有底牌，正緩緩露出冰山一角。

三巨頭的底牌

作為HBM的發(fā)明人、如今的第一名，SK海力士最大的底牌，顯然是遙遙領(lǐng)先的技術(shù)力。

為了徹底殺死比賽，SK海力士準(zhǔn)備直接顛覆HBM的設(shè)計(jì)思路。它計(jì)劃于2026年量產(chǎn)HBM 4，準(zhǔn)備把HBM直接安在GPU頂部，走向真正的3D架構(gòu)。也就是說(shuō)，SK海力士準(zhǔn)備直接將倉(cāng)庫(kù)建在后廚樓上。

乍一看，HBM 4的設(shè)計(jì)思路似乎并不驚艷。

畢竟HBM的設(shè)計(jì)初衷，就是為了縮短倉(cāng)庫(kù)與后廚的距離；那么干脆把倉(cāng)庫(kù)搬到后廚樓上，似乎是個(gè)很自然的選擇。然而，現(xiàn)實(shí)情況卻沒(méi)那么簡(jiǎn)單。

此前，各大內(nèi)存廠商之所以沒(méi)采用這一設(shè)計(jì)，是因?yàn)檫t遲解決不了散熱：

把HBM裝到GPU頂部之后，數(shù)據(jù)傳輸?shù)乃俣却_實(shí)是更快了，但芯片功耗也會(huì)大幅上升，產(chǎn)生更多的熱能。如果不能及時(shí)散熱，將大大降低芯片工作效率，造成性能損耗，頗有種拆東墻補(bǔ)西墻的意味。

因此，如果想實(shí)現(xiàn)HBM 4的設(shè)計(jì)，必須得找到更好的散熱方案。

目前來(lái)看，SK海力士或許找到了突破口；一旦成功落地，無(wú)疑是對(duì)友商的降維打擊。

SK海力士位于京畿道的工廠

當(dāng)然，SK海力士的模式也有缺陷——過(guò)于依賴臺(tái)積電了。

前文曾提到，HBM技術(shù)高度綁定臺(tái)積電的先進(jìn)封裝。但在當(dāng)下，臺(tái)積電的產(chǎn)能遠(yuǎn)遠(yuǎn)跟不上市場(chǎng)的需求，這就給三星留出了二度彎道超車的空間。

三星不僅是存儲(chǔ)器市場(chǎng)的最大卷王，同時(shí)也是全球第二大晶圓代工廠。臺(tái)積電有的，三星基本都有，包括先進(jìn)封裝，只是水平稍微差了些。

早在2018年，三星就推出了對(duì)標(biāo)臺(tái)積電的I-Cube技術(shù)，2021年時(shí)已經(jīng)發(fā)展到第四代。

目前來(lái)看，三星的I-Cube技術(shù)顯然是不及臺(tái)積電的CoWoS，畢竟連三星自己都不用。但在臺(tái)積電產(chǎn)能明顯供不應(yīng)求的當(dāng)下，I-Cube技術(shù)就成了三星拉攏生意的武器。

SK海力士的老搭檔AMD，就沒(méi)能抵抗住“產(chǎn)能的誘惑”，更改了陣營(yíng)。英偉達(dá)據(jù)說(shuō)也有意試水，畢竟臺(tái)積電的先進(jìn)封裝增產(chǎn)有限，啟用三星有助于分散供應(yīng)風(fēng)險(xiǎn)。

三星的存儲(chǔ)工廠

韓國(guó)人各有各的張良計(jì)，美國(guó)人有什么過(guò)橋梯？

說(shuō)實(shí)話，到目前為止，美光在HBM的戰(zhàn)場(chǎng)上，一直處于被動(dòng)挨打、從未翻身的局面。經(jīng)過(guò)近幾年的追趕，美光總算望見(jiàn)了先頭部隊(duì)的背影，但也僅僅只能跟在韓國(guó)人身后“撿漏”。

距離韓國(guó)人“一統(tǒng)內(nèi)存江山”的終極理想，似乎只差最后一步了。

不過(guò)，這顯然是美國(guó)人所不樂(lè)于見(jiàn)到的。目前，HBM的大客戶們，大多來(lái)自美國(guó)。美光雖然落后，卻未必會(huì)完全出局。最新爆料顯示，英偉達(dá)剛向美光預(yù)訂了一批HBM 3。

此前，韓國(guó)人之所以能在內(nèi)存市場(chǎng)“百戰(zhàn)百勝”，是因?yàn)楦?jìng)爭(zhēng)的規(guī)則極其明確：即拼產(chǎn)能、成本。內(nèi)卷向來(lái)是韓國(guó)人的“舒適區(qū)”，畢竟他們血管里流的都是美式咖啡。

然而，HBM是一個(gè)不那么“東亞”的產(chǎn)業(yè)。它面臨著極其嚴(yán)苛的技術(shù)競(jìng)爭(zhēng)，以及隨時(shí)搖擺的大客戶。更多的變數(shù)，讓韓國(guó)人始終無(wú)法穩(wěn)穩(wěn)占據(jù)鐵王座。更何況，另一股東方的神秘力量，也在虎視眈眈。

長(zhǎng)夜漫漫，韓國(guó)人仍然無(wú)法安睡。

參考文章：

[1] HBM市場(chǎng)研究報(bào)告（2023.12），TrendForce

[2] HBM 成高端GPU標(biāo)配，充分受益于AI服務(wù)器需求增長(zhǎng)，廣發(fā)證券

[3] HBM詞條，Semiwiki

[4] HBM會(huì)替代DDR，成為計(jì)算機(jī)內(nèi)存嗎？EET

[5] HBM4 in Development, Organizers Eyeing Even Wider 2048-Bit Interface，Anandtech

[6] SK Hynix, Samsung's fight for HBM lead set to escalate on AI boom，the Korea Economic Daily

[7] HBM Issues In AI Systems，SemiEngineering

[8] 馮諾依曼體系結(jié)構(gòu)，CSDN

[9] 性能之殤：從馮·諾依曼瓶頸談起，機(jī)器之心

[10] HBM促使DRAM從傳統(tǒng)的2D加速走向3D，方正證券

編輯：陳彬

視覺(jué)設(shè)計(jì)：疏睿

責(zé)任編輯：陳彬