27億美元天價(jià)回歸！

谷歌最貴「叛徒」、

Transformer作者揭秘AGI下一步

來(lái)源：新智元

【導(dǎo)讀】在A(yíng)I熱潮中，大模型最「渴求」的究竟是什么？是算力、是存儲(chǔ)，還是復(fù)雜的網(wǎng)絡(luò)互聯(lián)？在Hot Chips 2025 上，Transformer發(fā)明者之一、谷歌Gemini聯(lián)合負(fù)責(zé)人Noam Shazeer給出了答案。

大模型需要什么？

在硅谷舉行的科技盛會(huì)Hot Chips 2025首日的主題演講上，谷歌DeepMind的Noam Shazeer回答了這一問(wèn)題，發(fā)表了題為《下一階段AI的預(yù)測(cè)》的主題演講。

除了是Transformer論文《Attention Is All You Need》的作者之一，他還推動(dòng)了許多技術(shù)創(chuàng)新，例如顯著提升谷歌搜索中的拼寫(xiě)校正功能。

早在2017年，他就發(fā)明了Transformer模型，至今已深耕LLM領(lǐng)域十年。

后來(lái)，他開(kāi)發(fā)了一款聊天機(jī)器人，但谷歌拒絕發(fā)布這項(xiàng)成果，這也促使他選擇離職，創(chuàng)辦了Character.AI。

不久之后，谷歌意識(shí)到自身短板，最終以27億美元的高價(jià)與Character.AI達(dá)成合作。

如今，Noam已回歸谷歌，擔(dān)任Gemini項(xiàng)目的聯(lián)合負(fù)責(zé)人。

正如他所展示的，大語(yǔ)言模型可以借助硬件等各方面資源的提升，不斷改善性能與準(zhǔn)確性。

AI下一階段

算力，算力，還是算力

Noam Shazeer主要分享了LLM的需求、個(gè)人的LLM研究之路以及硬件與LLM的關(guān)系。

他強(qiáng)調(diào)幾點(diǎn)關(guān)鍵內(nèi)容。

首先，Noam認(rèn)為語(yǔ)言建模是當(dāng)前最重要的研究領(lǐng)域。

他在演講中用一張幻燈片專(zhuān)門(mén)闡釋了這一點(diǎn)，可見(jiàn)他對(duì)該話(huà)題熱情之高。

然后他談到了「LLM到底需要什么」(What LLMs want)。

他更關(guān)注的是：更多的FLOPS意味著更好的性能。

這非常重要，因?yàn)殡S著參數(shù)的增加、深度的增加、非線(xiàn)性以及信息流的增加，LLM的規(guī)模也隨之增加。

這可能需要更多的計(jì)算資源。更多的優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)也有助于創(chuàng)建更好的LLM。

他還談到了2015年時(shí)，在32個(gè)GPU上訓(xùn)練是一件大事；但十年后，可能需要數(shù)十萬(wàn)個(gè)GPU。

另一個(gè)有趣的小細(xì)節(jié)是，他說(shuō)在2018年，谷歌為AI構(gòu)建了計(jì)算節(jié)點(diǎn)。

這是一件大事，因?yàn)樵诖酥埃雀韫こ處熗ǔＴ谝磺€(gè)CPU上運(yùn)行工作負(fù)載。但隨后它們會(huì)變慢，另作他用，比如爬取網(wǎng)絡(luò)。

擁有專(zhuān)門(mén)用于深度學(xué)習(xí)/ AI工作負(fù)載的大型機(jī)器，使得性能有了巨大的提升。

接著是芯片會(huì)議上的一大亮點(diǎn)，即LLM對(duì)硬件的需求。

從這張幻燈片中，可以看到一個(gè)有趣的觀(guān)點(diǎn)

更多的計(jì)算能力、內(nèi)存容量、內(nèi)存帶寬和更多的網(wǎng)絡(luò)帶寬，對(duì)于推動(dòng)未來(lái)AI模型的進(jìn)步都至關(guān)重要。

在「所有層級(jí)」上，這不僅僅是DDR5的容量和帶寬，還包括HBM和芯片上的SRAM。

降低精度以幫助更好地利用這四個(gè)方面，在很多情況下也被視為好事。

確定性有助于更好地編程。

演講的信息歸結(jié)為：在集群中擁有更大、更快的設(shè)備將導(dǎo)致LLM的增益。

這對(duì)谷歌和其他一些公司來(lái)說(shuō)可能是個(gè)好消息。

大模型要什么硬件？

Noam是典型的「反向跨界者」：作為AI研究者，他對(duì)硬件充滿(mǎn)好奇，總想知道這些機(jī)器如何運(yùn)作。

在Mesh-TensorFlow項(xiàng)目中，他對(duì)TPU的底層網(wǎng)絡(luò)結(jié)構(gòu)產(chǎn)生了極大興趣。

論文鏈接：https://arxiv.org/abs/1811.02084

他提出了很多讓人耳目一新的問(wèn)題：

你們的芯片居然是環(huán)形網(wǎng)絡(luò)結(jié)構(gòu)？

那數(shù)據(jù)包在里面怎么跑？

怎么映射到神經(jīng)網(wǎng)絡(luò)的張量計(jì)算里？

這種好奇心最終促成了谷歌在軟硬件協(xié)同設(shè)計(jì)上的諸多突破。

在這次演講中，Noam Shazeer深入剖析了LLM到底需要什么硬件。

AI需要的硬件支持：不止GPU

毫無(wú)疑問(wèn)，算力是LLM最需要的因素。

當(dāng)大家說(shuō)「LLM想要什么」時(shí)，實(shí)際上也是在問(wèn)：

為了讓AI更聰明，我們的硬件系統(tǒng)需要如何變化？

Noam的答案清晰直接：越多越好，越大越好。

1.更多算力（More FLOPs）

算力越多越好，最好是數(shù)以千萬(wàn)億次的浮點(diǎn)運(yùn)算能力（petaflops）。它直接決定你能訓(xùn)練多大的模型，用多大的batch，覆蓋多少訓(xùn)練數(shù)據(jù)。

2.更大內(nèi)存容量&更高內(nèi)存帶寬

Noam指出，內(nèi)存帶寬如果不足，會(huì)限制模型結(jié)構(gòu)的靈活性，比如不能輕易加非線(xiàn)性層。而更高的帶寬=更細(xì)粒度的控制。

內(nèi)存包括：片上存儲(chǔ)（on-chip SRAM）、高帶寬內(nèi)存（HBM）、顯存或DRAM等其他中高速緩存

內(nèi)存容量方面，直接決定了：

能塞下多大的模型；

在推理時(shí)，能保留多少中間狀態(tài)（比如長(zhǎng)上下文、緩存、注意力頭等）。

3.網(wǎng)絡(luò)帶寬（Network Bandwidth）

這個(gè)是很多人忽視但至關(guān)重要的一項(xiàng)。

因?yàn)闊o(wú)論是訓(xùn)練還是推理，LLM幾乎一定會(huì)：模型被分到多個(gè)芯片，數(shù)據(jù)在它們之間來(lái)回傳遞。

舉個(gè)例子，大家現(xiàn)在都在追求「長(zhǎng)思維鏈」（long chain of thought），也就是說(shuō)模型要花更長(zhǎng)的時(shí)間「思考」才能得出更強(qiáng)的答案。

可這也意味著每一步推理要更快完成，否則響應(yīng)就變慢了。

這時(shí)候，瓶頸往往就在于你是否能迅速訪(fǎng)問(wèn)完所有模型參數(shù)——

不只是芯片上的那一份，而是分布在一整塊計(jì)算網(wǎng)格中的所有部分。

因此，Noam總結(jié)說(shuō)：

想推理得快，核心問(wèn)題就是——你這一群芯片， 總共能提供多少內(nèi)存帶寬？

AI加速發(fā)展，人類(lèi)路在何方？

他補(bǔ)充了一些其他對(duì)硬件設(shè)計(jì)的「愿望清單」。

1.低精度（Low Precision）

在傳統(tǒng)科學(xué)計(jì)算中，精度至關(guān)重要。

但在LLM中，模型本身就具有一定「模糊性」，低位數(shù)往往影響不大。

因此，低精度換算力完全合理，能用8-bit、甚至4-bit來(lái)?yè)Q更多FLOPs，值得如此做。

行業(yè)確實(shí)在嘗試越來(lái)越低的精度格式（FP8、INT4、二進(jìn)制等）——只要能保持收斂，越低越好。

當(dāng)然，不能犧牲可重復(fù)性。

核心挑戰(zhàn)是「訓(xùn)練時(shí)精度夠用」「推理時(shí)誤差夠小」。

2.可復(fù)現(xiàn)性（Determinism）

Noam認(rèn)為這是關(guān)鍵，因?yàn)?strong>機(jī)器學(xué)習(xí)實(shí)驗(yàn)的失敗率本就很高。

很多時(shí)候你都不知道，某個(gè)結(jié)果失敗，是因?yàn)槟Ｐ徒Y(jié)構(gòu)不對(duì)，數(shù)據(jù)有問(wèn)題，還是你代碼里有bug。

如果每次訓(xùn)練都跑出不同結(jié)果，那連「調(diào)試」都無(wú)從下手。

他回憶早期在Google Brain做異步訓(xùn)練的時(shí)候，經(jīng)常出現(xiàn)「這次跑通了，下次又崩了」的情況，工程體驗(yàn)極差。

所以，他給硬件設(shè)計(jì)者的建議是：

除非你能給我10倍性能，否則請(qǐng)不要犧牲可重復(fù)性。

3.運(yùn)算溢出與精度損失問(wèn)題

有現(xiàn)場(chǎng)觀(guān)眾提問(wèn)：低精度運(yùn)算經(jīng)常會(huì)溢出或出現(xiàn)不穩(wěn)定，怎么處理？

Noam回答：

確保accumulator（累加器）使用更高精度；

或者進(jìn)行裁剪（clipping），不要讓數(shù)值爆掉；

最差的方案是「數(shù)值回繞」（wrap around）。

主持人Cliff補(bǔ)充了一句俏皮話(huà)：

我們要的是，加載checkpoint后，機(jī)器要按原樣崩掉 ——

這才算真正的可重復(fù)性。

Waymo工程師提出的一個(gè)刁鉆問(wèn)題：如果今天起硬件就不再進(jìn)步，我們還能搞出通用人工智能（AGI）嗎？

Noam給出意外但堅(jiān)定的回答：可以。

他指出，AI會(huì)加速自身發(fā)展，推動(dòng)軟件、系統(tǒng)設(shè)計(jì)持續(xù)進(jìn)化，即使硬件原地不動(dòng)，我們也能靠軟件層面的革新繼續(xù)進(jìn)步。

當(dāng)然——他話(huà)鋒一轉(zhuǎn)：不過(guò)如果你能繼續(xù)搞出更好的硬件，自然更好。

如果AGI真的到來(lái)，人類(lèi)又該何去何從？

AI是拯救還是終結(jié)人類(lèi)？

在算力和數(shù)據(jù)的驅(qū)動(dòng)下，AI不斷向更復(fù)雜的領(lǐng)域進(jìn)發(fā)。

「只要投喂足夠的數(shù)據(jù)和算力，就有可能學(xué)習(xí)并揭示宇宙的內(nèi)在結(jié)構(gòu)?！?/strong>

在最近的訪(fǎng)談中，微軟AI的CEO Mustafa Suleyman如此說(shuō)。

他指出，當(dāng)前的LLM（大語(yǔ)言模型）還只是「單步預(yù)測(cè)引擎」，尚處于A(yíng)I發(fā)展的早期階段。

但隨著持久記憶和長(zhǎng)期預(yù)測(cè)能力的加入，LLM將有望發(fā)展為具備完整規(guī)劃能力的「行動(dòng)型AI」：

不僅能像人類(lèi)一樣制定復(fù)雜計(jì)劃，還能持續(xù)執(zhí)行任務(wù)。

這一飛躍可能在2026年底前實(shí)現(xiàn)。

Suleyman用「breathtaking」（驚艷）來(lái)形容這一未來(lái)，并強(qiáng)調(diào)，我們還只是剛剛起步，一切都將很快發(fā)生深刻變化。

25歲豪賭未來(lái)AI，如今預(yù)測(cè)AI失業(yè)潮

時(shí)間回到2010年，智能手機(jī)才剛剛普及、應(yīng)用商店尚在萌芽，AI更像是科幻小說(shuō)的陳詞濫調(diào)，而非嚴(yán)肅的科學(xué)課題，即使是頂尖學(xué)者也對(duì)此不屑一顧。

當(dāng)時(shí)年僅25歲的Mustafa Suleyman與兩位「勇敢而有遠(yuǎn)見(jiàn)的」聯(lián)合創(chuàng)始人Demis Hassabis和Shane Legg，卻篤信一個(gè)革命性的理念：

如果能創(chuàng)造出真正理解人類(lèi)的智能，那將是改善人類(lèi)狀況的最佳機(jī)會(huì)。

Suleyman尖銳地指出，歷史上充滿(mǎn)了帶來(lái)「凈傷害」的發(fā)明。

因此，在A(yíng)I這項(xiàng)「有史以來(lái)最強(qiáng)大的通用技術(shù)」面前，從價(jià)值觀(guān)出發(fā)，將人類(lèi)福祉置于首位，不是一句空洞的口號(hào)，而是一個(gè)必須時(shí)刻堅(jiān)守的起點(diǎn)。

但Suleyman直言，在未來(lái)20年內(nèi)，將面臨大規(guī)模的失業(yè)潮。

今天許多白領(lǐng)從事的「認(rèn)知上的體力勞動(dòng)」，如數(shù)據(jù)錄入、郵件處理等，將被AI高效替代。

他直言，這些恐懼「非常真實(shí)」，并強(qiáng)調(diào)政府必須強(qiáng)力介入，通過(guò)稅收等再分配機(jī)制來(lái)緩沖這一社會(huì)巨變。

在此基礎(chǔ)上，他提出了自己著作《即將到來(lái)的浪潮》中的核心概念——「遏制困境」（The Containment Problem）。

他指出，技術(shù)的趨勢(shì)是讓權(quán)力被小型化、集中化，并以極低的成本普及給每個(gè)人。

當(dāng)AI成為一個(gè)可以代表你打電話(huà)、寫(xiě)代碼、執(zhí)行計(jì)劃的智能體時(shí)，每個(gè)人執(zhí)行自己想法的成本和時(shí)間都將趨近于零。

這將帶來(lái)巨大的創(chuàng)造力爆發(fā)，但同時(shí)也埋下了沖突的種子。

「如果我能點(diǎn)擊一個(gè)按鈕執(zhí)行我瘋狂的想法，你也能，那將引起大量的沖突。」

「摩擦對(duì)于維持和平與穩(wěn)定很重要，」Suleyman一針見(jiàn)血地指出。當(dāng)執(zhí)行一件事情的阻力（摩擦）消失時(shí)，混亂就可能接踵而至。

如何「遏制」這種以零邊際成本擴(kuò)散的力量，是我們時(shí)代最嚴(yán)峻的考驗(yàn)。

何時(shí)應(yīng)該「拔掉電源」

在所有對(duì)AI的擔(dān)憂(yōu)中，最令人恐懼的莫過(guò)于「失控」。

對(duì)此，Suleyman明確劃出了四條不可逾越的紅線(xiàn)。

一旦一個(gè)AI同時(shí)具備以下能力，它將成為一個(gè)需要「軍事級(jí)別干預(yù)」才能阻止的系統(tǒng)：

1. 遞歸式自我改進(jìn)（能修改自己的核心代碼）

2. 自主設(shè)定目標(biāo)

3. 獲取自身資源

4. 在世界上自主行動(dòng)

這引出了一個(gè)關(guān)鍵問(wèn)題：我們能「拔掉電源」嗎？

答案是肯定的，因?yàn)锳I存在于物理的數(shù)據(jù)中心里。

但真正的挑戰(zhàn)在于，我們?nèi)绾巫R(shí)別那個(gè)時(shí)刻的到來(lái)，以及如何集體做出關(guān)停的決定。

重新定義「你的飯碗」

對(duì)于A(yíng)I引發(fā)的失業(yè)恐慌，Suleyman提供了一個(gè)更為烏托邦的視角。

他引用瑞典的理念——「我們不關(guān)心工作崗位，我們關(guān)心工人」，并將其推向極致。

他認(rèn)為，社會(huì)的任務(wù)不應(yīng)是為人們創(chuàng)造「飯碗」，而是創(chuàng)造一個(gè)和平、支持性的環(huán)境，讓人們找到自己的激情，過(guò)上充實(shí)的生活。

「我夢(mèng)想一個(gè)人們可以自己選擇做什么并擁有真正自由的世界?！?/p>

他相信，如果技術(shù)應(yīng)用得當(dāng)，產(chǎn)生的巨大價(jià)值足以讓社會(huì)資助人們?nèi)プ非筮@些真正有意義的事情。

這將釋放巨大的創(chuàng)造力，但也會(huì)帶來(lái)深刻的存在主義問(wèn)題：「我是誰(shuí)？我為什么在這里？」

參考資料：

https://youtu.be/v0beJQZQIGA

https://youtu.be/tQ5wO1lznCQ

https://www.servethehome.com/thank-you-for-the-supercomputers-google-predictions-for-the-next-phase-of-ai-at-hot-chips-2025/

為偉大思想而生！

AI+時(shí)代，互聯(lián)網(wǎng)思想（wanging0123)，

第一必讀自媒體