文：王智遠(yuǎn) | ID:Z201440

剛剛，我看了高盛發(fā)布的一份報(bào)告。

發(fā)布時(shí)間是1月20日。名字比較長(zhǎng)，叫 《Inference Cost Curve: Comparing AI Compute Solutions (GPUs vs. ASICs)》（中文直譯：《推理成本曲線：AI 計(jì)算方案對(duì)比（GPU vs. ASIC）》）。

核心觀點(diǎn)是，隨著谷歌和博通（Broadcom）的最新一代 TPU v7 芯片量產(chǎn)，它單位算力的推理成本居然暴降了 70%。

01

這 70% 降幅，到底意味著啥？要只看硬件參數(shù)，估計(jì)有人會(huì)覺得「不就是芯片常規(guī)升級(jí)嘛」。

但高盛想表達(dá)的核心是，這 70% 的降幅，本質(zhì)上，要在物理規(guī)則層面打破行業(yè)原有邏輯了。

這話該怎么理解？要掰扯清楚，我得先把「推理」和「訓(xùn)練」這兩個(gè)詞拆開來講明白。

過去兩年，AI 行業(yè)都處在「造車」的階段，說白了，訓(xùn)練大模型。誰的引擎，也就是算力，夠強(qiáng)，誰就能最先造出「布加迪」這種頂級(jí)模型。

那時(shí)，英偉達(dá)的H100/H200 是獨(dú)有的選擇，哪怕貴到離譜，大家也得咬牙買，就因?yàn)樗乃俣茸羁臁?/p>

但現(xiàn)在不一樣了，車基本造好了，該進(jìn)入「跑車接客」的階段了，也就是做模型推理。這時(shí)，老板們最關(guān)心：每跑一公里要燒多少油。

高盛這份報(bào)告的犀利之處就在這，它不再聊這車能跑多快，反倒死磕 「推理成本」。

那問題來了，這70% 的成本，到底是怎么「省」出來的？

平常芯片升級(jí)，性能能提升 20%-30%，就已經(jīng)算把牙膏擠爆了。TPU v7 憑啥能一下子把成本砍 70%？高盛分析師給出的答案，是靠「系統(tǒng)工程能力的絕對(duì)碾壓」

我打個(gè)比方：

英偉達(dá)的 GPU像一輛裝了 V12 發(fā)動(dòng)機(jī)的超級(jí)跑車，為了追極致速度，壓根不在乎油耗，散熱大得離譜，還得配最好的變速箱和傳動(dòng)系統(tǒng)，處處堆頂配。

但谷歌的 TPU v7像一列精心設(shè)計(jì)的高鐵，單節(jié)車廂的動(dòng)力可能比不過超跑，但它把幾十節(jié)車廂連在一起，就不一樣了。

單看最高速度，高鐵是稍遜超跑一籌，但如果要運(yùn)送 1000 名乘客，也就是處理海量 Token，高鐵的人均能耗，直接把超跑按在地上摩擦。

所以，具體來說，這 70%的成本紅利，來自三個(gè)維度：

一是數(shù)據(jù)傳輸徹底不堵車了，芯片之間傳數(shù)據(jù)，基本不用等，等待時(shí)間幾乎為零；二是封裝做得更緊湊，把計(jì)算模塊和內(nèi)存挨得特別近，信號(hào)在傳輸過程中的損耗就少多了。

還有一點(diǎn)，架構(gòu)更專一了。

ASIC 專用芯片直接砍掉了顯卡里為了玩 3A 大作留的冗余功能，硅片上的每一寸地方，都只用來算 AI 的數(shù)學(xué)題，半點(diǎn)兒浪費(fèi)都沒有。

高盛還說，TPU v7 的絕對(duì)成本，已經(jīng)和英偉達(dá) GB200 NVL72 基本持平了。

這又意味著啥？以前客戶選 TPU，說白了「窮，買不起英偉達(dá)」，純屬無奈的妥協(xié)；現(xiàn)在大家心里都會(huì)想 「既然 TPU 和英偉達(dá)差不多貴，甚至還更便宜，我為啥還要忍著英偉達(dá)的高溢價(jià)，還有動(dòng)不動(dòng)就缺貨的糟心事？

當(dāng)「性價(jià)比」這個(gè)天平開始往 TPU 這邊傾斜，企業(yè)的商業(yè)決策就會(huì)發(fā)生質(zhì)的變化。

像 Meta、微軟這樣的科技巨頭，推理成本本來就占了運(yùn)營成本的大頭，要能用 TPU 把這塊成本砍掉 70%，那直接就是凈利潤的暴漲啊。

所以說，這 70% 的降幅，是ASIC（專用芯片）向 GPU（通用芯片）正式宣戰(zhàn)的號(hào)角。

它徹底證明了：在 AI 商業(yè)化的下半場(chǎng)，走「專精特新」路線的定制化方案，完全有能力在經(jīng)濟(jì)性上干翻「大而全」的通用霸主，這是整個(gè)芯片行業(yè)的大逆轉(zhuǎn)。

02

如果說 TPU v7 能降本 70%，只是實(shí)驗(yàn)室里的紙面數(shù)據(jù)，那 Anthropic 砸出的 210 億美金大單，就是把這串?dāng)?shù)字砸進(jìn)現(xiàn)實(shí)的「驚雷」。

沒錯(cuò)，你沒看走眼，210 億美金。這概念有多夸張？

2024 年一整年，全球一半 AI 初創(chuàng)公司融到的錢湊一塊兒，剛夠下這一個(gè)單，而且這單不是一次性掏錢。

據(jù)高盛的報(bào)告和市場(chǎng)一手消息，這份采購單覆蓋 2025 年底開始，一直到 2026 年甚至更久的定制芯片（ASIC）采購周期。

很多人第一反應(yīng)：Anthropic 哪來這么多錢燒？別急，別忘了它背后的大金主：谷歌、亞馬遜。

尤其是谷歌，本身就是 Anthropic 的二股東，這筆錢簡(jiǎn)直是左手倒右手。谷歌把錢投給 Anthropic，Anthropic 轉(zhuǎn)頭通過博通（Broadcom），把這筆錢換成了定制的 TPU 算力。

為啥要這么折騰？說白了，Anthropic 早就看清 AI 商業(yè)化的最終走向了。

以前聊起大模型公司，大家都覺得這幫人是「算法天才」，但你真扒開他們的賬本看看就知道，這幫人本質(zhì)上都是英偉達(dá)的打工仔。

融來的錢，80% 都砸給了老黃變成芯片訂單，還得排隊(duì)等貨、看人家臉色，硬生生扛著超高的溢價(jià)。哪個(gè)資本機(jī)構(gòu)受得了？

所以，Anthropic 敢砸出這 210 億，沖著三件事來：

第一，完成從「租房」到「買地」的質(zhì)的飛躍。買英偉達(dá)的芯片，跟租精裝修的豪宅似的，雖說能拎包入住，但租金也就是芯片的毛利，高得離譜。

高盛算過了，要想在 AI 賽道長(zhǎng)期做下去，自建定制芯片（ASIC）的方案，長(zhǎng)遠(yuǎn)來看能比買通用 GPU 省出一大半成本；Anthropic 就是不想再交這冤枉房租了，它要建屬于自己的「算力城堡」

第二，把「算力主權(quán)」攥在自己手里，要這份確定性。

你品品，在這個(gè)行業(yè)里，比芯片貴更可怕的，是有錢都買不到。英偉達(dá)產(chǎn)能就那么點(diǎn)，老黃肯定先緊著大客戶來，還得平衡各方的利益。

但定制 TPU 這套方案，是 Anthropic 和博通、谷歌單獨(dú)開的「小灶」。什么時(shí)候交貨、要什么配置參數(shù)、要多少量，全由自己說了算。

AI 行業(yè)拼時(shí)間窗口，這時(shí)候這份「確定性」，比單純的「性價(jià)比」值錢多了。

要說第三點(diǎn)，智遠(yuǎn)認(rèn)為，是想把軟硬一體做到極致。

這就跟蘋果做 M 系列芯片一個(gè)道理，英偉達(dá) GPU 像個(gè)「全能廚師」，雖說啥菜都能炒，但樣樣都會(huì)的代價(jià)，效率肯定有損耗。

Anthropic 這批定制芯片，從電路設(shè)計(jì)的那一刻開始，就為自家 Claude 模型量身定做的。

算法需要多大的內(nèi)存帶寬，芯片就配多粗的「水管」；模型需要什么樣的計(jì)算矩陣，芯片就留好對(duì)應(yīng)的「車位」這種量身定做的鞋，肯定比英偉達(dá)那種「均碼」的鞋，穿起來跑得快、還省力。

所以，你別看 210 億美金是個(gè)天文數(shù)字，在高盛的成本曲線里，這說不定是 Anthropic 做過最劃算的一筆買賣。

而這筆生意，也放出了一個(gè)特別危險(xiǎn)的信號(hào)：

大模型行業(yè)陣營，正在加速分化；有錢、有技術(shù)、還有巨頭撐腰的 「大戶人家」，正靠著定制化算力，把和普通玩家的差距越拉越大。

03

高盛報(bào)告里，博通的地位高得很。 為啥？因?yàn)樵贏I芯片的新戰(zhàn)場(chǎng)上，博通完成了身份躍遷：從單純的「芯片設(shè)計(jì)公司」，變成了「AI軍火商的總裝廠」。

現(xiàn)在博通，成了各大科技廠的「白手套」+「代工廠」。看這幾個(gè)例子就懂了：

谷歌TPU v7的核心互聯(lián)技術(shù)，是博通做的；亞馬遜Trainium，博通參與了設(shè)計(jì)；Anthropic那210億的大單，據(jù)說也是找博通定制的。

它的商業(yè)模式可比英偉達(dá)雞賊多了，英偉達(dá)賣整卡賺高毛利，但風(fēng)險(xiǎn)也大；博通走「NRE + 量產(chǎn)分成」路子。

啥是NRE？

定制研發(fā)費(fèi)。大廠找博通做定制芯片，得先付一筆巨額研發(fā)費(fèi)，不管最后芯片成不成，這筆錢博通先揣兜里。要是做成能量產(chǎn)了，每賣一顆芯片，博通還能再抽成。

這就意味著，博通無論成敗都穩(wěn)收錢，英偉達(dá)卻得把芯片賣出去才能賺錢。

經(jīng)濟(jì)下行時(shí)，誰的生意更穩(wěn)，一眼就能看出來。 大廠為啥離不了博通？因?yàn)楝F(xiàn)在的AI芯片，拼「連接」的本事。

TPU v7除了制程，最核心的是博通的光互連技術(shù)和CoWoS封裝能力；簡(jiǎn)單說，博通攥著獨(dú)門技術(shù)，能把幾百個(gè)芯片像搭積木似的高效堆在一起，還不發(fā)熱、傳數(shù)據(jù)不堵車。

這種技術(shù)壁壘，比單純做個(gè)GPU高多了。

更狠的是，博通不光賣硬件，還賣全套解決方案。 Meta、微軟這些想做自研芯片的大廠，最大的難題是不懂硬件。

博通直接拍胸脯，沒關(guān)系，你們只管說模型參數(shù)就行，剩下的電路設(shè)計(jì)、封裝、測(cè)試，甚至幫著跟臺(tái)積電砍價(jià)，我全包了；它直接把芯片設(shè)計(jì)的門檻，從需要專業(yè)博士團(tuán)隊(duì)，降到了只要有錢就能做。

這一下就帶火了整個(gè)ASIC定制芯片市場(chǎng)，每多一家公司做定制芯片，博通就多一份收入，它是自己把蛋糕做大，再在每一塊蛋糕上都咬一口。

英偉達(dá)雖說實(shí)力強(qiáng)，但現(xiàn)在的市值里，摻了太多「永遠(yuǎn)高速增長(zhǎng)」的預(yù)期，一旦增長(zhǎng)慢下來，股價(jià)很可能暴跌。

博通就不一樣了，它的客戶遍布蘋果、谷歌、亞馬遜，就連英偉達(dá)自己，都得找博通供貨，收入來源特別分散，抗風(fēng)險(xiǎn)能力拉滿。

高盛最看重「確定性」，AI行業(yè)從之前的狂熱，慢慢走向理性的過程中，英偉達(dá)可能會(huì)因?yàn)闃I(yè)績(jī)波動(dòng)，股價(jià)跟著震蕩；但博通這種賺「過路費(fèi)」的，業(yè)績(jī)穩(wěn)得像印鈔機(jī)。

所以啊，當(dāng)所有人都盯著英偉達(dá)股價(jià)時(shí)，聰明錢早就悄悄流向博通了。

04

說到這，可能有人會(huì)問，這套ASIC崛起、算力大幅降本的邏輯，對(duì)中國到底意味著什么？

答案很明確，「制裁」反倒倒逼出了中國版的ASIC加速潮。不少人覺得中國AI被卡脖子，因?yàn)槟貌坏接ミ_(dá)的芯片，但換個(gè)角度想，這反倒逼著我們提前走上了谷歌、亞馬遜那條路。

既然買不到最強(qiáng)的通用GPU，那就只能死磕專用芯片。

你看華為昇騰，還有字節(jié)、騰訊、百度，都在悄悄招兵買馬做自研芯片，邏輯跟Anthropic完全一樣：既然通用芯片買不到、也買不起，那干脆為自己的模型量身定做。

高盛報(bào)告里TPU v7降本70%的事兒，在中國正以更激進(jìn)的節(jié)奏上演，畢竟對(duì)中國企業(yè)來說，這是能不能活下去的生存題。

這里面的投資機(jī)會(huì)也很清晰，國內(nèi)AI芯片設(shè)計(jì)公司，正迎來黃金窗口期，比如：寒武紀(jì)、海光，還有那些沒上市的獨(dú)角獸，只要性能能達(dá)到英偉達(dá)的八成，價(jià)格再砍一半，大廠們肯定會(huì)搶著要。

不過有個(gè)扎心的現(xiàn)實(shí)：

中國不缺英偉達(dá)式的企業(yè)，更缺博通這樣的角色。咱們能做出設(shè)計(jì)得還不錯(cuò)的計(jì)算芯片，差不多對(duì)標(biāo)GPU、TPU那種，但在先進(jìn)封裝、光互連、Chiplet芯粒這些技術(shù)上，跟博通、臺(tái)積電還有不小的代差。

高盛為啥力挺博通？

它攥著把芯片「拼起來」還不堵車的核心技術(shù)。這對(duì)我們來說，也很明確，單純做計(jì)算芯片的公司只會(huì)越卷越兇。

而掌握「連接技術(shù)」和「封裝技術(shù)」的上游企業(yè)，才是中國版的「博通」，也是整個(gè)產(chǎn)業(yè)鏈里最穩(wěn)的「賣鏟子的人」，比如：做光模塊的光迅科技，做先進(jìn)封裝的通富微電、長(zhǎng)電科技。

機(jī)會(huì)就藏在先進(jìn)封裝（像CoWoS、Chiplet）和高速光互聯(lián)這兩條產(chǎn)業(yè)鏈里，這些都是剛需基建，不管最后哪家芯片勝出，都離不開。

而且國內(nèi)應(yīng)用層爆發(fā)，大概率會(huì)比美國更猛。

要是博通、ASIC真能把推理成本壓到現(xiàn)在的十分之一，對(duì)咱們這種手握海量數(shù)據(jù)、應(yīng)用場(chǎng)景的公司來說，絕對(duì)是天大的利好。

你可以想象下，調(diào)用一次大模型的成本，從5分錢降到5厘錢，那些因?yàn)槌杀咎卟桓疑钣肁I的行業(yè)，比如：短劇、游戲、電商、教育，肯定會(huì)瞬間爆發(fā)。

所以，別總盯著做大模型的「卷王」，他們現(xiàn)在還在虧錢呢，不如多關(guān)注能把AI低成本落地的「場(chǎng)景玩家」。

不過，最后我也得潑盆冷水。中國廠商有個(gè)通病，哪個(gè)賽道火，就一擁而上搞低價(jià)內(nèi)卷，到最后把利潤壓得薄如紙，還把技術(shù)做爛了。

美國的ASIC是巨頭帶著博通搞高端定制，可要是國內(nèi)都扎堆去造低端ASIC芯片，最后，大概率又是一地雞毛。

真正的機(jī)會(huì)，只屬于有核心壁壘的公司；要么，有獨(dú)家的模型算法；要么，有獨(dú)家的芯片架構(gòu)、要么有獨(dú)家的封裝技術(shù)，就像博通。

只會(huì)組裝顯卡的二道販子，在這個(gè)時(shí)代活不過三集。