責(zé)編 | 王啟隆

出品 | CSDN（ID：CSDNnews）

投稿或?qū)で髨?bào)道 | zhanghy@csdn.net

所有人都仰望星空、談?wù)撝ㄓ萌斯ぶ悄埽ˋGI）何時(shí)降臨的時(shí)代里，我們或許更應(yīng)關(guān)注那些低頭鑄造火箭的人。

OpenAI 的聯(lián)合創(chuàng)始人兼前總裁Greg Brockman近日在 AI.Enigineer 上進(jìn)行了一場(chǎng)對(duì)話分享，期間還邀請(qǐng)到英偉達(dá) CEO黃仁勛和他進(jìn)行了一段連線問(wèn)答。

對(duì)話的主線，并非一個(gè)英雄的成長(zhǎng)史，亦遠(yuǎn)不止是 ChatGPT 或 GPT-5 發(fā)布瞬間的狂熱與混亂，而是一條貫穿 70 年計(jì)算機(jī)歷史的、從個(gè)人魔法到工業(yè)革命的演進(jìn)脈絡(luò)：一個(gè)因點(diǎn)擊排序按鈕感受到“魔法”而投身編程的少年黑客，如何成長(zhǎng)為駕馭十萬(wàn) GPU 集群、與黃仁勛商討下一代 AI 基礎(chǔ)設(shè)施的工業(yè)巨擘？

這并非一個(gè)簡(jiǎn)單的線性成長(zhǎng)故事。在 Greg Brockman 對(duì)自己過(guò)往經(jīng)歷的敘述中，我們能看到兩個(gè)世界的重疊與碰撞：

• 一個(gè)是“游牧民族”的世界：信奉第一性原理，蔑視陳規(guī)。為了一個(gè)客戶，可以在 24 小時(shí)內(nèi)攻克銀行需要 9 個(gè)月的技術(shù)對(duì)接。這是 Stripe 崛起的秘密，也是硅谷精神的原始圖騰——相信憑借超凡的意志和智力，個(gè)體的創(chuàng)造力可以戰(zhàn)勝任何系統(tǒng)性的僵化。

• 另一個(gè)是“農(nóng)耕文明”的世界：在這里，你需要耕耘十萬(wàn)塊 GPU 的龐大集群，需要建立“檢查點(diǎn)”與“可靠性”的秩序，需要調(diào)和“研究”與“工程”兩種截然不同的文化。最大的敵人不再是外部規(guī)則，而是系統(tǒng)自身的復(fù)雜性。任何一個(gè)環(huán)節(jié)的崩潰，都足以讓整個(gè)帝國(guó)停擺。

Greg Brockman 的故事始于一個(gè)少年因?qū)崿F(xiàn)表格排序而感受到的純粹“魔法”，終于駕馭人類有史以來(lái)最復(fù)雜的計(jì)算系統(tǒng)。在這場(chǎng)對(duì)話中，幾個(gè)看似尋常卻極具分量的座右銘也浮出水面：

• 關(guān)于動(dòng)機(jī)：“忘掉那一百年的宏大愿景吧，我只想創(chuàng)造。” 驅(qū)動(dòng)他的并非遙遠(yuǎn)的理論，而是將腦中想法變?yōu)楝F(xiàn)實(shí)世界可用之物的即時(shí)反饋，這或許是所有偉大工程師的共同原點(diǎn)。

• 關(guān)于合作：“技術(shù)上的謙遜至關(guān)重要。” 當(dāng)工程師闖入研究員的領(lǐng)地，傳統(tǒng)的邊界和接口不再可靠。你必須假設(shè)自己遺漏了某些信息，在徹底理解“為什么”之前，不要輕易動(dòng)手。

• 關(guān)于未來(lái)：“我們正處在一個(gè)基礎(chǔ)研究回歸的時(shí)代。” 當(dāng)所有人都以為通往 AGI 的道路只剩下“造更大的計(jì)算機(jī)”，他卻指出，在規(guī)模的極限處，算法瓶頸重回舞臺(tái)中央。這意味著，人類的巧思再次變得比算力本身更關(guān)鍵。

• 關(guān)于編碼：“模型會(huì)比你更在乎測(cè)試。” AI 正以一種奇特的方式，倒逼人類重拾那些因圖省事而丟掉的、最優(yōu)秀的軟件工程實(shí)踐。為了讓 AI 更好地工作，我們必須構(gòu)建更清晰、更模塊化的代碼，諷刺的是，這本就是我們?cè)摓樽约鹤龅氖隆?/p>

這些迷思，標(biāo)示出一個(gè)行業(yè)幾乎必然會(huì)遇到的沖突、困惑與機(jī)會(huì)。它關(guān)乎我們所有人：當(dāng)創(chuàng)造的工具變得如此強(qiáng)大，我們?cè)撊绾沃匦滤伎肌皠?chuàng)造”本身？

以下為對(duì)話全文，由 CSDN 精編整理。

從數(shù)學(xué)夢(mèng)到編程魔法

主持人：我們今天打算按時(shí)間順序聊一聊。很多人都提交了問(wèn)題，我已經(jīng)幫你整理歸類好了，所以我們就直接開(kāi)始吧。

我對(duì)你做了一番深入研究，我管這叫“人物深度挖掘”，因?yàn)槲覀冄芯康氖且粋�(gè)活生生的人。你從小就接觸戲劇，還學(xué)了化學(xué)和數(shù)學(xué)，后來(lái)因?yàn)閷?xiě)了一個(gè)日程安排應(yīng)用而踏入了編程的大門。但究竟是什么真正點(diǎn)燃了你對(duì)編程的熱愛(ài)？你為什么會(huì)成為大家眼中的那個(gè)“編程狂人”？

Greg Brockman（以下簡(jiǎn)稱 Greg）：有意思的是，我小時(shí)候一直以為自己長(zhǎng)大會(huì)成為一名數(shù)學(xué)家。我讀過(guò)很多數(shù)學(xué)家的故事，比如伽羅瓦和高斯，他們思考的都是能影響未來(lái)一百年、兩百年甚至三百年的問(wèn)題。我當(dāng)時(shí)覺(jué)得，這正是我想要做的。如果我提出的任何理論在我有生之年就被應(yīng)用了，那說(shuō)明它還不夠長(zhǎng)遠(yuǎn)，不夠抽象。

高中畢業(yè)后，我寫(xiě)了一本化學(xué)教科書(shū)，寄給我一個(gè)在數(shù)學(xué)領(lǐng)域做過(guò)類似事情的朋友看。

他說(shuō)：“這書(shū)不可能有出版社要的。你要么自費(fèi)出版——” 我一想，天啊，那得花多少功夫和本錢啊，“ —— 要么，你就建個(gè)網(wǎng)站�！�

我心想：“行吧，看來(lái)我得學(xué)學(xué)怎么做網(wǎng)站了。”

于是，我真的就跑去 W3Schools 網(wǎng)站，從頭學(xué)完了他們的 PHP 教程。

我還記得我做的第一個(gè)東西，是一個(gè)給表格排序的小插件。我腦子里已經(jīng)有了清晰的畫(huà)面，想著它該是什么樣。我還記得，當(dāng)我點(diǎn)擊表頭，整個(gè)表格真的就按照那一列排序了，跟我預(yù)想的完全一樣。那一刻，我感覺(jué)就像見(jiàn)證了魔法。我心想：“這東西也太酷了�！�

因?yàn)閿?shù)學(xué)這東西，是你絞盡腦汁想通一個(gè)問(wèn)題，理解了它，然后用一種晦澀難懂的方式記錄下來(lái)，稱之為“證明”。之后，可能全世界只有三個(gè)人會(huì)關(guān)心它。

但在編程世界里，你也是用一種晦澀難懂的方式把它寫(xiě)下來(lái)，我們稱之為“程序”。然后，可能也只有三個(gè)人會(huì)去讀你的代碼、關(guān)心你的程序，但所有人都能享受到它帶來(lái)的好處。沒(méi)有人需要理解其中的細(xì)節(jié)。你腦海中的想法，就這么變成了現(xiàn)實(shí)世界里真實(shí)存在的東西。那一刻我就認(rèn)定，這才是我真正想做的事。忘掉那一百年的宏大愿景吧，我只想創(chuàng)造。

結(jié)緣 Stripe：輟學(xué)背后的故事與第一性原理

主持人：而你的確只想創(chuàng)造。你在這方面是如此出色，以至于還在上大學(xué)的時(shí)候，不知怎么地，Stripe（人稱“美國(guó)支付寶”的軟件）就給你發(fā)了一封“陌生人”郵件。這背后有什么故事嗎？他們是怎么找到你的？又是什么說(shuō)服了你輟學(xué)加入他們？

Greg：我和 Stripe 的創(chuàng)始人有一些共同的朋友——當(dāng)時(shí)那還是個(gè)只有三個(gè)人的“大公司”。他們按照慣例，去問(wèn)哈佛的朋友，校園里有誰(shuí)值得聊聊，可能可以招募。我的名字就被人提起了。然后他們又去問(wèn)了麻省理工的朋友，因?yàn)槲耶?dāng)時(shí)已經(jīng)從哈佛輟學(xué)，轉(zhuǎn)去了麻省理工。所以，我占了個(gè)便宜，在兩邊都拿到了“推薦票”。

我還記得見(jiàn)到 Patrick（Stripe 的聯(lián)合創(chuàng)始人）的那天，我剛下飛機(jī)，天色已晚，外面還下著暴雨。我一到，我們就開(kāi)始聊代碼。就在那一刻，我心里想：“這正是我一直以來(lái)想找的、想與之共事的人�！� 于是，我最終從麻省理工輟學(xué)，飛了過(guò)去，從此就一直待在了這里。

主持人：如你所知，我們?cè)谠L談中穿插了一些嘉賓提問(wèn)。這里有一位名叫 Matthew Brockman 的嘉賓提問(wèn)。

Greg：我好像聽(tīng)過(guò)這個(gè)名字（這里是開(kāi)玩笑，Matthew 其實(shí)就是 Greg 的親兄弟，在 2023 年 OpenAI 宮斗的時(shí)候，Matt 在推特上聲援了 Greg 并亮相）。

Shawn：他是 Julius AI 的首席執(zhí)行官。他問(wèn)：“你覺(jué)得我們的父母什么時(shí)候才會(huì)放棄讓你完成學(xué)位的夢(mèng)想？或許哈佛或者北達(dá)科他大學(xué)會(huì)愿意讓你回去念完？”

Greg：唉，他們永遠(yuǎn)不會(huì)放棄的。

當(dāng)時(shí)確實(shí)很難。不管你要去哪，當(dāng)你告訴父母你要離開(kāi)哈佛時(shí)，這坎都不好過(guò)。當(dāng)你告訴他們你要徹底輟學(xué)時(shí)，那更是難上加難。但值得稱贊的是，盡管他們覺(jué)得很難接受，但還是對(duì)我說(shuō)：“我們相信你。你所處的位置，一定讓你看到了、理解了一些我們隔著大半個(gè)國(guó)家難以看到的東西�！�

但后來(lái)，我在 Stripe 做得不錯(cuò)，也確實(shí)學(xué)到了東西——而且事實(shí)證明這是一家真正的公司，不是我為了無(wú)所事事而輟學(xué)——我想他們也就慢慢接受了這個(gè)現(xiàn)實(shí)。

主持人：我想他們一定為你感到非常驕傲。所以，你見(jiàn)證了 Stripe 從 4 名員工發(fā)展到 250 人，并最終成為公司的第一位首席技術(shù)官。我最近發(fā)現(xiàn)一件事，可能 Hacker News 上的網(wǎng)友們都不知道，那就是傳說(shuō)中的“科里森安裝法”（Collison installation）其實(shí)只發(fā)生過(guò)屈指可數(shù)的幾次，它在 Stripe 內(nèi)部并不是一個(gè)常規(guī)操作。

Greg：我覺(jué)得確實(shí)如此。但這個(gè)故事卻在各種傳說(shuō)中流傳了下來(lái)……

主持人：這成了一個(gè)都市傳奇，因?yàn)樗鼘?shí)在太酷了。那種為了客戶可以做到極致的感覺(jué)。那么，關(guān)于早期的 Stripe，大家還有哪些誤解？我們借這個(gè)機(jī)會(huì)澄清一下？

Greg：我覺(jué)得大家并不了解當(dāng)初有多艱難。

首先，我們把所有客戶都加了 Gchat 好友，隨時(shí)和他們保持著聯(lián)系。所以，即便你不是真的坐在他們身邊看著他們操作，也做到了僅次于此的程度。

我記得有一次，我們意識(shí)到當(dāng)時(shí)使用的支付后端根本無(wú)法支撐業(yè)務(wù)的擴(kuò)張。我們必須接入富國(guó)銀行（Wells Fargo）的系統(tǒng)。我們談妥了合作，但接下來(lái)需要進(jìn)行技術(shù)對(duì)接。對(duì)方告訴我們：“嗯，這個(gè)技術(shù)對(duì)接需要九個(gè)月，因?yàn)槲覀円幌蚨际沁@個(gè)流程�！� 我們當(dāng)時(shí)就想：“這太瘋狂了。我們是創(chuàng)業(yè)公司，怎么可能干等九個(gè)月�！�

于是，我們?cè)?24 小時(shí)內(nèi)，就把這事兒搞定了，基本上是把它當(dāng)作大學(xué)里的一項(xiàng)課題作業(yè)來(lái)攻克的。我負(fù)責(zé)實(shí)現(xiàn)所有功能，John 從測(cè)試腳本的頂端開(kāi)始，一項(xiàng)項(xiàng)地測(cè)試，然后告訴我“這個(gè)壞了”，Darragh 則從底端開(kāi)始往上推進(jìn)。到了第二天早上，我們和對(duì)方的認(rèn)證人員連線，發(fā)了幾個(gè)測(cè)試請(qǐng)求，結(jié)果報(bào)錯(cuò)了。那個(gè)人說(shuō)：“好的，那我們下周再約吧�！� 因?yàn)樗麄兯械目蛻舳际沁@么辦事的：出了錯(cuò)，你顯然得把它交給你的開(kāi)發(fā)團(tuán)隊(duì)去處理。

但我們說(shuō)：“別，別，別，肯定是系統(tǒng)里有什么小毛病。” Patrick 就在那兒跟她東拉西扯，拖延時(shí)間，而我在這邊拼命地修改代碼。我們來(lái)回試了大概五次，還是失敗了。但幸運(yùn)的是，她人很好，愿意把時(shí)間改到兩小時(shí)后，那一次我們終于通過(guò)了。回過(guò)頭看，你才意識(shí)到，那一瞬間你完成的，是正常情況下六周的開(kāi)發(fā)工作量，就是因?yàn)槟銢](méi)有接受其他組織習(xí)以為常的那套武斷的限制。

主持人：你覺(jué)得在大多數(shù)工作中，都存在很多類似的機(jī)會(huì)嗎？你如何建議其他人也能做到那么快，或者說(shuō)砍掉那么多不必要的流程？

Greg：我的想法是，如果你能從第一性原理出發(fā)去思考，你就能找到哪些環(huán)節(jié)是必須放慢速度、必須按部就班的。這樣的環(huán)節(jié)是存在的�！皠e管那些限制，只管去做”這個(gè)原則并非百分之百正確。關(guān)鍵在于，你要識(shí)別出那些不必要的開(kāi)銷，它們的存在可能是為了應(yīng)對(duì)一些早已過(guò)時(shí)、或者根本不適用于你具體情況的限制。這一點(diǎn)在今天這個(gè) AI 極大提升生產(chǎn)力的世界里，尤其適用。

主持人：是啊，不行就直接讓 Codex 來(lái)一段代碼，何樂(lè)而不為呢？

獨(dú)立研究、從自學(xué)到頓悟

主持人：關(guān)于你加入 OpenAI 之前的生活，還有最后一件事，那就是“獨(dú)立研究”。我發(fā)現(xiàn)這是你從高中起就反復(fù)出現(xiàn)的一個(gè)主題。你參加過(guò) Recurse Center（一個(gè)編程靜修中心）嗎？

Greg：是的，我去過(guò)。

主持人：還有你的學(xué)術(shù)休假，你反復(fù)地進(jìn)行獨(dú)立研究。你認(rèn)為是什么讓獨(dú)立研究如此高效？我覺(jué)得很多人在這方面做得并不好，甚至?xí)速M(fèi)掉一整年。你有什么秘訣嗎？

Greg：這是我成長(zhǎng)過(guò)程中的一個(gè)關(guān)鍵部分。六年級(jí)時(shí)，我爸教了我代數(shù)。七年級(jí)我到中學(xué)報(bào)到，那是第一次分快慢班學(xué)數(shù)學(xué)——當(dāng)時(shí)是初級(jí)代數(shù)。我們找到老師問(wèn)：“他能不能跳過(guò)這門課，直接去上八年級(jí)的課程？”

那位老師用一種居高臨下的眼神看著我和我媽說(shuō)：“每個(gè)家長(zhǎng)都覺(jué)得自己的孩子是天才�！� 結(jié)果在她班上待了一個(gè)月后——我上課根本不聽(tīng)講，就在后面玩計(jì)算器游戲——她想通過(guò)叫我上黑板答題來(lái)難住我，但我每次都全答對(duì)了。她只好說(shuō)：“好吧，算我輸了。你的孩子確實(shí)應(yīng)該去上高年級(jí)的課�！�

但到了八年級(jí)，我們中學(xué)已經(jīng)沒(méi)有更高級(jí)的數(shù)學(xué)課了。我當(dāng)時(shí)又沒(méi)有車，所以只能上網(wǎng)絡(luò)課程。就在那一年里，我學(xué)完了高中三年的數(shù)學(xué)內(nèi)容。

所以對(duì)我來(lái)說(shuō)，很重要的一點(diǎn)是，當(dāng)你對(duì)自己想做的事情有發(fā)自內(nèi)心的熱情時(shí)，你同樣可以打破常規(guī)的限制。你可以在一年內(nèi)學(xué)完三年的數(shù)學(xué)，而且這種優(yōu)勢(shì)是會(huì)復(fù)利的。第二年，我進(jìn)了高中，很快就學(xué)完了高中的數(shù)學(xué)。所以在高二、高三那兩年，我已經(jīng)沒(méi)有數(shù)學(xué)課可上了。那時(shí)我有了車，就可以去北達(dá)科他大學(xué)，隨便選我想上的課。

這種經(jīng)歷不斷累積，也影響了我學(xué)習(xí)編程的方式，基本上就是靠自學(xué)——不斷地創(chuàng)造，不斷地在真實(shí)世界里體驗(yàn)。所以我的建議是，如果你有機(jī)會(huì)去探索，并且你真的享受你所熱衷的事情，那就深入地鉆研下去。順便說(shuō)一句，這個(gè)過(guò)程并不總是充滿樂(lè)趣，你很容易會(huì)感到無(wú)聊。但只要你堅(jiān)持挺過(guò)那些坎，回報(bào)絕對(duì)是值得的。

主持人：你也是通過(guò)自學(xué)進(jìn)入機(jī)器學(xué)習(xí)領(lǐng)域的，那也是你人生中的一個(gè)重要階段。那段時(shí)間有什么特別的亮點(diǎn)嗎？好像你還和杰弗里·辛頓（Geoffrey Hinton）聊過(guò)。

Greg：是的，我和他聊過(guò)。

主持人：那次交流對(duì)你有什么幫助？或者說(shuō)，在你成為一名機(jī)器學(xué)習(xí)從業(yè)者的道路上，什么對(duì)你幫助最大？

Greg：我剛開(kāi)始接觸時(shí)，還在 Stripe 工作。當(dāng)時(shí)我經(jīng)常在 Hacker News 上看關(guān)于深度學(xué)習(xí)的文章，感覺(jué)每天都有一個(gè)“深度學(xué)習(xí)賦能某某領(lǐng)域”的帖子。那是 2013、2014 年的時(shí)候，我很好奇：“深度學(xué)習(xí)到底是什么？” 我認(rèn)識(shí)這個(gè)領(lǐng)域里的一個(gè)人，就去找他聊。他又把我介紹給更多的人，那些人又把我介紹給更多的人。讓我驚訝的是，我發(fā)現(xiàn)自己不斷被介紹給我大學(xué)里那些最聰明的朋友們。

我當(dāng)時(shí)就想：“有意思，這些頂尖的人才最終都匯集到了這個(gè)領(lǐng)域。這背后到底發(fā)生了什么？” 我開(kāi)始意識(shí)到，一股真正的力量正在形成。人們真的在讓這些系統(tǒng)做一些計(jì)算機(jī)以前完全做不到的、實(shí)質(zhì)性的新事情。我心想：“就是這個(gè)了。”

離開(kāi) Stripe 后，我知道自己想在 AI 領(lǐng)域做點(diǎn)什么，比如創(chuàng)辦一家 AI 公司，但我不太清楚自己該如何貢獻(xiàn)，或者我的技能在哪些方面能派上用場(chǎng)。當(dāng)時(shí)我人在紐約，就想：“要不我組裝一臺(tái) GPU 工作站，去參加一些 Kaggle 競(jìng)賽試試看�！� 于是我上 Newegg 網(wǎng)站，買了幾塊 Titan X 顯卡。親手組裝那臺(tái)機(jī)器的感覺(jué)真的太酷了。你們還能找到我 2015 年發(fā)的一條推文，當(dāng)我按下開(kāi)機(jī)鍵，看到滿眼的綠光和所有風(fēng)扇飛轉(zhuǎn)起來(lái)的時(shí)候，我心想：“這才是計(jì)算機(jī)該有的樣子。”

主持人：那么，是什么讓你確信通用人工智能（AGI）是可能實(shí)現(xiàn)的呢？你曾一度對(duì)此感到幻滅，你試著寫(xiě)過(guò)一個(gè)聊天機(jī)器人，但失敗了。是什么讓你最終決定全身心投入其中？

Greg：對(duì)我而言，這段心路歷程的一部分，源于閱讀艾倫·圖靈 1950 年發(fā)表的論文《計(jì)算機(jī)器與智能》。也就是提出圖靈測(cè)試的那篇。

最讓我著迷的是，在論文開(kāi)頭，他提出了圖靈測(cè)試——關(guān)于“機(jī)器能否思考？”“它是否智能？”的核心思想。如果你無(wú)法分辨你是在和一臺(tái)機(jī)器對(duì)話，還是在和另一個(gè)人對(duì)話，那你就可以說(shuō)它是智能的。這很好理解。

但論文中有一個(gè)觀點(diǎn)，雖然沒(méi)有在流行文化中廣為流傳，但對(duì)我來(lái)說(shuō)卻極其震撼。他說(shuō)：“那么，你該如何編程來(lái)實(shí)現(xiàn)這個(gè)目標(biāo)呢？你永遠(yuǎn)不可能寫(xiě)下所有的規(guī)則。但是，如果你能制造一個(gè) ‘兒童機(jī)器’，讓它像人類小孩一樣學(xué)習(xí)呢？然后你只需施加獎(jiǎng)勵(lì)和懲罰，砰的一聲，它就能通過(guò)測(cè)試了�！�

我當(dāng)時(shí)想：“這才是我們必須去創(chuàng)造的那種技術(shù)�！�作為程序員，你必須理解一切，必須洞悉解決問(wèn)題的全部規(guī)則。但如果機(jī)器能夠理解并解決連你自己都無(wú)法解決的問(wèn)題呢？這感覺(jué)才是最根本的，這感覺(jué)才是解決人類重大問(wèn)題的真正途徑。

我大概是在 2008 年左右讀到這篇文章的，然后我去找我的教授，一位自然語(yǔ)言處理（NLP）領(lǐng)域的教授，問(wèn)他我能不能跟他做點(diǎn)研究。他說(shuō)：“可以啊，這些是語(yǔ)法分析樹(shù)，你拿去看看�！�

我心想：“好吧，這可不是圖靈說(shuō)的那回事。”

主持人：這就像 WordNet 詞典之類的……

Greg：完全就是那一套。沒(méi)錯(cuò)。所以，那段時(shí)間確實(shí)是我的“失意低谷”。

但深度學(xué)習(xí)的神奇之處在于，它在 2012 年的 AlexNet 上真正展現(xiàn)出了喜人的成果，在 ImageNet 競(jìng)賽中一舉擊敗了所有對(duì)手。突然之間，你有了一臺(tái)通用的學(xué)習(xí)機(jī)器。雖然它在設(shè)計(jì)上帶有一點(diǎn)卷積網(wǎng)絡(luò)的先驗(yàn)知識(shí)，但它勝過(guò)了計(jì)算機(jī)視覺(jué)領(lǐng)域過(guò)去四十年的研究積累，勝過(guò)了那些試圖盡可能寫(xiě)下所有規(guī)則的人。

接著，人們說(shuō)：“好吧，它在視覺(jué)領(lǐng)域行得通，但在我的領(lǐng)域絕對(duì)不行。它在機(jī)器翻譯、在自然語(yǔ)言處理、在這樣那樣的領(lǐng)域，永遠(yuǎn)都不可能成功�！� 但緊接著，它在所有這些領(lǐng)域都開(kāi)始做到最好。一夜之間，不同學(xué)科部門之間的壁壘被推倒了。我當(dāng)時(shí)就想：“這才是圖靈所說(shuō)的那種東西。”

所以對(duì)我來(lái)說(shuō)，光是看到這項(xiàng)技術(shù)的“類型簽名”（type signature）……順便說(shuō)一句，這項(xiàng)技術(shù)并不新。神經(jīng)網(wǎng)絡(luò)……如果你去讀麥卡洛克-皮茨在 1943 年左右發(fā)表的關(guān)于神經(jīng)元的論文……

主持人：我剛才還讓他給大家留點(diǎn)作業(yè)呢。

Greg：好的，作業(yè)來(lái)了，同學(xué)們記一下。你會(huì)發(fā)現(xiàn)，那篇論文里的插圖，和你現(xiàn)在看到的那些描繪神經(jīng)元層級(jí)的圖片，看起來(lái)幾乎一模一樣。你就會(huì)意識(shí)到，我們現(xiàn)在做的事情，背后有著非常深刻的根基。你還能找到一篇 90 年代的論文，探討是什么導(dǎo)致了深度學(xué)習(xí)的寒冬。文章說(shuō)，那些搞神經(jīng)網(wǎng)絡(luò)的人根本沒(méi)什么新點(diǎn)子，“他們唯一的想法就是造更大的計(jì)算機(jī)�！� 我當(dāng)時(shí)想：“沒(méi)錯(cuò)！這正是我們?cè)撟龅��！?/strong>

所以，所有這些因素加在一起，讓我感覺(jué)我們某種程度上是在延續(xù)一段長(zhǎng)達(dá)七十年的歷史浪潮。從很多方面來(lái)說(shuō)，整個(gè)計(jì)算機(jī)行業(yè)的發(fā)展，都是在為這一刻做準(zhǔn)備：創(chuàng)造出能夠執(zhí)行我們現(xiàn)在才剛剛觸及皮毛的那些任務(wù)的機(jī)器；能夠解決人類無(wú)法解決的新問(wèn)題；能夠在日常生活中輔助我們；讓我們不再需要用這兩根“肉條”（手指）打字，而是能擁有一個(gè)像人一樣交互的對(duì)象，讓機(jī)器更貼近你，而不是你必須去學(xué)習(xí)匯編語(yǔ)言之類的東西來(lái)遷就它。所以對(duì)我來(lái)說(shuō)，感覺(jué)所有的條件都已成熟，現(xiàn)在我們只需要去創(chuàng)造。

主持人：我很喜歡你一直回歸的這個(gè)主題：我們只需要去創(chuàng)造。

研究與工程：OpenAI 的雙引擎，當(dāng)工程師遇上研究員

主持人：2022 年，你寫(xiě)了一篇文章說(shuō)“是時(shí)候成為一名機(jī)器學(xué)習(xí)工程師了”。我有一個(gè)朋友，就是讀了那篇文章后，給你發(fā)了郵件，然后加入了 OpenAI。你說(shuō)過(guò)，偉大的工程師能夠和偉大的研究員一樣，為未來(lái)的進(jìn)步做出同等級(jí)別的貢獻(xiàn)。這個(gè)觀點(diǎn)今天還成立嗎？我覺(jué)得很多工程師看著那些拿著數(shù)百萬(wàn)美元薪水的研究員，會(huì)想：我怎么才能做出和他們一樣大的貢獻(xiàn)？

Greg：我認(rèn)為這個(gè)觀點(diǎn)絕對(duì)成立，甚至比以往任何時(shí)候都更加正確。如果你回顧一下 2012 年以來(lái)深度學(xué)習(xí)研究的各個(gè)階段，你會(huì)發(fā)現(xiàn)，最開(kāi)始確實(shí)是那些擁有博士學(xué)位的科研人員提出想法并進(jìn)行驗(yàn)證。當(dāng)然，其中也有工程工作。如果你仔細(xì)看 AlexNet 本身，它的核心就是一項(xiàng)工程成就：在 GPU 上實(shí)現(xiàn)了高效的卷積核運(yùn)算。

有個(gè)趣聞，當(dāng)時(shí)和 Alex Krizhevsky 在同一個(gè)實(shí)驗(yàn)室的人其實(shí)都替他感到惋惜，他們覺(jué)得：“他搞出了一些快速卷積核，但只是用在一個(gè)無(wú)關(guān)緊要的圖像數(shù)據(jù)集上�！� 但事實(shí)證明，你只需要把這個(gè)技術(shù)應(yīng)用到 ImageNet 上，它就會(huì)大放異彩。所以，是卓越的工程能力與“用它做什么”的洞見(jiàn)相結(jié)合，才創(chuàng)造了奇跡。

我認(rèn)為，今天依然如此、甚至愈發(fā)如此的是，現(xiàn)在所需的工程能力，早已不只是編寫(xiě)幾個(gè)計(jì)算核心那么簡(jiǎn)單了。它關(guān)乎構(gòu)建一個(gè)龐大的系統(tǒng)，關(guān)乎擴(kuò)展到十萬(wàn)塊 GPU 的規(guī)模，關(guān)乎搭建一個(gè)能以各種方式調(diào)度資源的、極其復(fù)雜的強(qiáng)化學(xué)習(xí)系統(tǒng)。如果你沒(méi)有好的想法，那你就像是擱淺的船，寸步難行。但如果你沒(méi)有強(qiáng)大的工程能力，那再好的想法也無(wú)法誕生于世，無(wú)法看到天日。你必須讓這兩者和諧地結(jié)合在一起。

主持人：我覺(jué)得 Ilya Sutskever 和 Alex Krizhevsky 的合作關(guān)系，正是這種“研究-工程”伙伴關(guān)系的縮影，而這也成為了后來(lái) OpenAI 的理念。

Greg：完全正確。如果你觀察 OpenAI 的運(yùn)作方式，就會(huì)發(fā)現(xiàn)從一開(kāi)始，我們就秉持著一種精神：工程和研究同等重要，并且要像伙伴一樣并肩協(xié)作。這是我們每天都在努力實(shí)踐的事情。

主持人：在訪談里出其不意地提問(wèn)是我的明確目標(biāo)。所以，關(guān)于工程和研究的關(guān)系，OpenAI 在早期有哪些做得不好的地方，而現(xiàn)在又改進(jìn)了呢？

Greg：嗯，關(guān)于工程和研究的關(guān)系，我的看法是，你永遠(yuǎn)無(wú)法一勞永逸地解決它。你只是解決了當(dāng)前層面的問(wèn)題，然后又會(huì)進(jìn)入下一個(gè)更復(fù)雜的層面。我注意到，我們遇到的問(wèn)題，基本上和所有其他實(shí)驗(yàn)室遇到過(guò)的一樣；只是我們可能走得更遠(yuǎn)一些，或者問(wèn)題的變體略有不同。所以，我覺(jué)得這里面有某種非常根本性的規(guī)律。

在最早期，我能清楚地看到，來(lái)自工程界的人和來(lái)自研究界的人，對(duì)系統(tǒng)約束的思考方式完全不同。

作為工程師，你會(huì)想：“嘿，既然我們約定好了接口，你就不該關(guān)心接口背后是什么。這是我們說(shuō)好的，我可以用任何我喜歡的方式去實(shí)現(xiàn)它�！�

而作為研究員，你會(huì)想：“如果系統(tǒng)里任何一個(gè)地方有bug，我得到的只會(huì)是性能的輕微下降，而不會(huì)收到一個(gè)異常，也不會(huì)有任何線索告訴我問(wèn)題出在哪。所以，我有責(zé)任去理解所有的一切。接口根本不重要，除非它堅(jiān)如磐石，我永遠(yuǎn)不需要去思考它——而這是一個(gè)非常高的標(biāo)準(zhǔn)——否則，我就必須對(duì)這段代碼負(fù)責(zé)�！�

這就會(huì)導(dǎo)致摩擦，因?yàn)檫@樣一來(lái)，你們到底要怎么合作呢？我很早就看到過(guò)一個(gè)項(xiàng)目，工程背景的人寫(xiě)了代碼，然后研究背景的人會(huì)對(duì)每一行代碼展開(kāi)激烈的辯論。我當(dāng)時(shí)就想，這項(xiàng)目永遠(yuǎn)也推進(jìn)不下去了，速度會(huì)慢得要死。

后來(lái)，我們采取的方式是……我當(dāng)時(shí)直接參與了那個(gè)項(xiàng)目，我會(huì)一次性提出五個(gè)想法。研究那邊的人會(huì)說(shuō)：“這四個(gè)不行�！� 我就說(shuō)：“太好了，我就是想知道這個(gè)�！� 我們真正意識(shí)到，并且我也會(huì)告訴那些從工程界加入OpenAI的人，最關(guān)鍵的一點(diǎn)是“技術(shù)上的謙遜”。你之所以被招進(jìn)來(lái)，是因?yàn)槟銚碛兄匾募寄�，但這和傳統(tǒng)的互聯(lián)網(wǎng)創(chuàng)業(yè)公司是完全不同的環(huán)境。弄清楚你的直覺(jué)何時(shí)適用，何時(shí)應(yīng)該拋諸腦后，是極其困難的。

所以，最重要的事情就是，進(jìn)來(lái)之后，要真正地、真正地去傾聽(tīng)，并且假設(shè)在你徹底理解“為什么”之前，你一定遺漏了某些信息。到了那個(gè)時(shí)候，好的，你再去做出改變，去修改架構(gòu)，去重構(gòu)抽象。但那種帶著謙遜，去真正閱讀、傾聽(tīng)和理解的態(tài)度，是一個(gè)至關(guān)重要的決定因素。

研究與工程：OpenAI 的雙引擎，當(dāng)工程師遇上研究員

主持人：接下來(lái)，我們來(lái)聊聊 OpenAI 近期幾次重磅發(fā)布的幕后故事。 有一件很有意思的事，就是規(guī)模擴(kuò)張（Scaling）。在不同的數(shù)量級(jí)上，所有東西都會(huì)出問(wèn)題。ChatGPT 發(fā)布時(shí)，你們?cè)?5 天內(nèi)獲得了一百萬(wàn)用戶。而今年，GPT-4o 的圖像生成功能發(fā)布時(shí)，你們?cè)? 5 天內(nèi)獲得了一億用戶。這兩個(gè)時(shí)期相比，感覺(jué)有什么不同？

Greg：從很多方面來(lái)看，這兩個(gè)時(shí)刻都驚人地相似。ChatGPT 當(dāng)時(shí)本來(lái)只是一個(gè)低調(diào)的研究預(yù)覽版。我們很平靜地把它發(fā)布了出去，然后突然之間，所有系統(tǒng)都宕機(jī)了。我們某種程度上預(yù)料到 ChatGPT 會(huì)非常受歡迎，但我們以為需要等到 GPT-4 發(fā)布才能達(dá)到那個(gè)熱度。

主持人：你們內(nèi)部當(dāng)時(shí)已經(jīng)用上 GPT-4 了，所以對(duì) 3.5 沒(méi)那么驚艷了。

Greg：完全正確。這也是這個(gè)領(lǐng)域的另一個(gè)特點(diǎn)：你的認(rèn)知更新得太快了。你剛看到一個(gè)魔法般的奇跡，心想：“天啊，這是我見(jiàn)過(guò)最厲害的東西了�！� 緊接著你就會(huì)抱怨：“嗯，它怎么還不能幫我合并 10 個(gè)代碼合并請(qǐng)求（PR）？”

圖像生成功能發(fā)布的那一刻也非常相似，它同樣備受喜愛(ài)，廣受歡迎，病毒式傳播的方式讓各項(xiàng)數(shù)據(jù)都突破了天際。在這兩次發(fā)布中，我們內(nèi)部其實(shí)都做了一件我們極力避免的事情，那就是從研究項(xiàng)目中調(diào)撥了大量的計(jì)算資源，因?yàn)檫@相當(dāng)于抵押未來(lái)來(lái)保證當(dāng)下的系統(tǒng)運(yùn)轉(zhuǎn)。但如果你真的能滿足并跟上用戶的需求，那么當(dāng)然，人們就能體驗(yàn)到那種魔力，我認(rèn)為在那種時(shí)刻，最大化這種體驗(yàn)是非常值得和重要的事情。

所以我想，我們始終秉持著同樣的精神：真正服務(wù)用戶，真正推動(dòng)技術(shù)，去做那些前所未見(jiàn)的、實(shí)質(zhì)性的新東西。然后，無(wú)論需要付出什么代價(jià)，我們都會(huì)把它們推向世界，讓它們?nèi)〉贸晒Α?/p>

主持人：難以置信，太了不起了。關(guān)于 GPT-4 發(fā)布會(huì)。我聽(tīng)說(shuō)那個(gè)玩笑網(wǎng)站是你太太畫(huà)的？

Greg：是真的。算是個(gè)有趣的小彩蛋。我的字寫(xiě)得太爛了，連我們自己的 AI 都識(shí)別不出來(lái)該拿它怎么辦。

主持人：你當(dāng)時(shí)有一些即興發(fā)揮嗎？我聽(tīng)說(shuō)有。

Greg：那條波浪線嗎？是的。通常，我做這類演示時(shí)，都會(huì)提前測(cè)試好大概的流程。但我一直很討厭那種只要你打錯(cuò)一個(gè)字符，整個(gè)演示就進(jìn)行不下去的設(shè)計(jì)。我不喜歡做那樣的演示。我希望它有一定的容錯(cuò)性。所以，最終實(shí)際展示的內(nèi)容總會(huì)有些變化。

主持人：對(duì)我來(lái)說(shuō)，那是我覺(jué)得全世界第一次見(jiàn)識(shí)到所謂的“氛圍編程”（vibe coding）�，F(xiàn)在這已經(jīng)成了一個(gè)流行詞了。你對(duì)“氛圍編程”有什么看法？

Greg：“氛圍編程”作為一種賦能的機(jī)制，非常了不起，它在某種程度上也代表了未來(lái)的趨勢(shì)。至于“氛圍編程”具體是什么，我認(rèn)為它會(huì)隨著時(shí)間而改變。

我覺(jué)得，即便你看看像 Codex 這樣的工具，在某種程度上，我們的愿景是，當(dāng)你開(kāi)始擁有真正能工作的智能體時(shí)，你擁有的將不只是一個(gè)副本，不是十個(gè)，而是一百、一千、一萬(wàn)甚至十萬(wàn)個(gè)這樣的東西在運(yùn)行。你會(huì)更希望像對(duì)待同事一樣對(duì)待它們。你希望它們?cè)谠贫�，處理各種事務(wù)，能夠接入各種各樣的東西。即便你睡著了，筆記本合上了，它依然在工作。

我對(duì)未來(lái)的預(yù)測(cè)是，當(dāng)前這種在交互循環(huán)中進(jìn)行的“氛圍編程”會(huì)越來(lái)越多，但智能體（agentic）的應(yīng)用也會(huì)真正地介入并超越它。所有這一切，最終都將促成更多系統(tǒng)的誕生。

我認(rèn)為另一個(gè)非常有趣的點(diǎn)是，很多“氛圍編程”的演示和那些酷炫的東西，比如制作一個(gè)玩笑網(wǎng)站，都是從零開(kāi)始創(chuàng)建一個(gè)應(yīng)用。但我認(rèn)為，真正具有革新性和顛覆性的，并且已經(jīng)開(kāi)始發(fā)生的，是能夠改造現(xiàn)有應(yīng)用并深入其中的能力。太多公司都坐擁龐大的遺留代碼庫(kù)，而進(jìn)行遷移、更新庫(kù)、把你那古老的 COBOL 語(yǔ)言換成別的，是如此的困難。而且說(shuō)實(shí)話，這對(duì)人類來(lái)說(shuō)一點(diǎn)也不好玩。我想，我們正開(kāi)始擁有能夠真正解決這些問(wèn)題的 AI 了。

我喜歡“氛圍感編程”的起點(diǎn)——那種“隨手創(chuàng)造酷炫應(yīng)用”的感覺(jué)——但它正開(kāi)始變得更像是嚴(yán)肅的軟件工程。并且會(huì)更進(jìn)一步，讓一個(gè)公司能夠以快得多的速度前進(jìn)，這正是我認(rèn)為我們前進(jìn)的方向。

主持人：提到 Codex，我聽(tīng)說(shuō)它在某種程度上像是你的“親兒子”。在直播中，你也談了很多關(guān)于讓代碼模塊化、文檔清晰等等好的實(shí)踐。你認(rèn)為 Codex 會(huì)如何改變我們編碼的方式？

Greg：說(shuō)它是我的“親兒子”絕對(duì)是夸張了。我們有一個(gè)非常了不起的團(tuán)隊(duì)，我只是在盡力支持他們和他們的愿景，但這個(gè)方向?qū)ξ襾?lái)說(shuō)，是如此引人入勝和不可思議。

主持人：那么，Codex 會(huì)如何改變我們編碼的方式？

Greg：我觀察到的最有趣的一點(diǎn)是，當(dāng)你意識(shí)到代碼庫(kù)的組織方式?jīng)Q定了你能從 Codex 中獲得多少助益時(shí)。我們現(xiàn)有的所有代碼庫(kù)，在某種程度上都是為了匹配人類的長(zhǎng)處而構(gòu)建的。但如果你反過(guò)來(lái)，讓它們?nèi)テヅ淠Ｐ偷拈L(zhǎng)處——模型的特點(diǎn)非常偏科，它們能處理的多樣性遠(yuǎn)超人類，但目前在連接深層思想方面還不如人類——你就能從它們身上獲得更多。

你可能想要做的，是創(chuàng)建更小、經(jīng)過(guò)充分測(cè)試的模塊，這些模塊的測(cè)試可以非常快速地運(yùn)行。然后，填充細(xì)節(jié)的工作，模型會(huì)自己完成，它還會(huì)自己運(yùn)行測(cè)試。而這些不同組件之間的連接，也就是架構(gòu)圖的設(shè)計(jì)，其實(shí)是相當(dāng)容易的。真正困難的，往往是填充所有細(xì)節(jié)。

如果你這么做，我所描述的聽(tīng)起來(lái)也很像優(yōu)秀的軟件工程實(shí)踐。但有時(shí)候，因?yàn)槿祟惸軌蛟谀X海中容納更復(fù)雜的概念抽象，我們就不這么做了。編寫(xiě)和完善這些測(cè)試需要大量工作。但模型運(yùn)行這些測(cè)試的次數(shù)，會(huì)比你多一百倍、一千倍，所以它會(huì)比你更在意這些。

所以，在某些方面，我們想要前進(jìn)的方向是，為更初級(jí)的開(kāi)發(fā)者構(gòu)建我們的代碼庫(kù)，以便真正地從這些模型中獲得最大收益。當(dāng)然，隨著模型能力的提升，這種組織代碼庫(kù)的方式是否會(huì)保持不變，這將是一個(gè)非常有趣的看點(diǎn)。我個(gè)人傾向于認(rèn)為，這是個(gè)很好的思路，因?yàn)樗俅闻c那些為了人類可維護(hù)性而應(yīng)該做的事情不謀而合。但對(duì)我來(lái)說(shuō)，對(duì)于軟件工程的未來(lái)，最令人興奮的思考是：我們過(guò)去為了圖省事而“偷工減料”的那些實(shí)踐，有哪些是現(xiàn)在為了最大化系統(tǒng)效能而必須重新拾起的？

主持人：你能大致估計(jì)一下，你們內(nèi)部使用 Codex 帶來(lái)的生產(chǎn)力提升有多少嗎？

Greg：我不清楚最新的數(shù)據(jù)。但我們肯定有百分之十幾的代碼合并請(qǐng)求（PR）是完全由 Codex 編寫(xiě)的，這看起來(lái)非常酷。但它也不是我們內(nèi)部使用的唯一系統(tǒng)，而且對(duì)我來(lái)說(shuō)，它仍處于非常、非常早期的階段。看到一些外部的指標(biāo)也很令人興奮。我記得在過(guò)去一天里，公共的 GitHub 倉(cāng)庫(kù)里有 24000 個(gè)由它完成的合并請(qǐng)求被接受了。所以，這一切都才剛剛開(kāi)始。

主持人：隨著我們執(zhí)行的任務(wù)越來(lái)越耗時(shí)、占用GPU越來(lái)越多，這些硬件本身也變得不可靠。它們經(jīng)常出故障，這是眾所周知的。這也導(dǎo)致了訓(xùn)練失敗。你提到過(guò)，有時(shí)候可以簡(jiǎn)單地重啟一次訓(xùn)練，這沒(méi)問(wèn)題。但當(dāng)你需要訓(xùn)練長(zhǎng)周期的智能體時(shí)，你該如何處理這個(gè)問(wèn)題？你不可能把一個(gè)已經(jīng)進(jìn)行到一半、而且可能是非確定性的任務(wù)軌跡直接重啟。

Greg：這里有一系列問(wèn)題，你解決了當(dāng)前層面的，然后把模型變得更強(qiáng)大，接著你又得重新解決它們。是的，當(dāng)任務(wù)執(zhí)行時(shí)間很短，比如 30 秒，你基本不用擔(dān)心這個(gè)問(wèn)題。但如果任務(wù)要持續(xù)數(shù)天，那這個(gè)問(wèn)題就變得至關(guān)重要了，你必須開(kāi)始思考如何給狀態(tài)做快照以及諸如此類的一系列事情。

簡(jiǎn)而言之，這些訓(xùn)練系統(tǒng)就像一個(gè)不斷攀登的復(fù)雜性階梯。幾年前，我們關(guān)心的只是做好傳統(tǒng)的預(yù)訓(xùn)練，而那是非常容易做檢查點(diǎn)（checkpoint）的。即便如此，這事也不簡(jiǎn)單。如果你從偶爾做一次檢查點(diǎn)，變成想在每一步都做檢查點(diǎn)，那你就要非常深入地思考如何避免數(shù)據(jù)復(fù)制、阻塞等各種問(wèn)題。

然后，對(duì)于像這些更復(fù)雜的強(qiáng)化學(xué)習(xí)（RL）系統(tǒng)，檢查點(diǎn)的概念依然存在，比如，你可能需要為緩存做檢查點(diǎn)，這樣就不用重新計(jì)算所有東西。我們系統(tǒng)的一個(gè)好處是，語(yǔ)言模型的狀態(tài)是高度明確的，它是可以被存儲(chǔ)和處理的。但如果你接入的工具有其自身的狀態(tài)，那些可能就無(wú)法重啟和恢復(fù)了。所以，如果你把整個(gè)系統(tǒng)端到端地來(lái)看，就必須思考檢查點(diǎn)的設(shè)計(jì)。

另外還有一個(gè)問(wèn)題是，也許這根本不重要。也許重啟系統(tǒng)，你的圖表上出現(xiàn)一點(diǎn)小小的波動(dòng)，也完全沒(méi)關(guān)系，因?yàn)檫@些模型很聰明，它們能處理好這種情況。

黃仁勛一問(wèn)：未來(lái) AI 基礎(chǔ)設(shè)施的藍(lán)圖

主持人：接下來(lái)，我想我們有一位來(lái)自巴黎的特邀嘉賓打來(lái)的電話提問(wèn)。

黃仁勛：你好，Greg，我是黃仁勛。我真希望我能親自到場(chǎng)向你提問(wèn)。我的一個(gè)問(wèn)題是，在這個(gè)新世界里，數(shù)據(jù)中心和 AI 基礎(chǔ)設(shè)施的工作負(fù)載將變得極其多樣化。一方面，智能體在進(jìn)行深度研究——它們?cè)谒伎肌⑼评�、�?guī)劃，并與其他智能體協(xié)作，它們需要處理大量?jī)?nèi)存和長(zhǎng)上下文。而另一方面，你又希望其中一些智能體能以盡可能快的速度思考。

所以，你該如何創(chuàng)建一個(gè) AI 基礎(chǔ)設(shè)施，既能針對(duì)那些需要大量預(yù)填充（pre-fill）和大量解碼（decode）、或者介于兩者之間的工作負(fù)載進(jìn)行優(yōu)化？又能同時(shí)支持我個(gè)人非常興奮的另一類工作負(fù)載：那些多模態(tài)的、能看能聽(tīng)的 AI，它們就像你的 R2-D2 機(jī)器人，你的私人伴侶，永遠(yuǎn)在線，隨時(shí)待命。所以這兩類工作負(fù)載——一類是計(jì)算量極大、可能耗時(shí)很長(zhǎng)，另一類又要求極低的延遲。一個(gè)既要盡可能靈活、性能強(qiáng)大，又要兼顧低延遲和高吞吐的未來(lái) AI 基礎(chǔ)設(shè)施，會(huì)是什么樣子？所有這些都極其復(fù)雜。你是如何思考這個(gè)問(wèn)題的？你認(rèn)為理想的未來(lái) AI 基礎(chǔ)設(shè)施應(yīng)該是什么樣的？

Greg：當(dāng)然是需要大量、大量的 GPU。

主持人：如果我總結(jié)一下，就是黃仁勛想讓你告訴他該造什么樣的芯片。你的夢(mèng)想是什么？但同時(shí)，這里確實(shí)有兩個(gè)核心需求：長(zhǎng)時(shí)間的重度計(jì)算，和“馬上、立刻、現(xiàn)在就要”的實(shí)時(shí)響應(yīng)。

Greg：是的，這非常難，因?yàn)檫@種軟硬件協(xié)同設(shè)計(jì)的問(wèn)題簡(jiǎn)直讓人頭腦發(fā)脹。我本身是軟件背景出身，我們以為自己只是在這里寫(xiě) AGI 的軟件，但后來(lái)你發(fā)現(xiàn)，你還必須去做這些巨大的基礎(chǔ)設(shè)施項(xiàng)目。這并非我們最初的設(shè)想，但最終看來(lái)，這其實(shí)也合乎情理。如果我們打算建造一個(gè)能改變世界的東西，那么是的，它很可能需要人類有史以來(lái)創(chuàng)造過(guò)的最大規(guī)模的物理機(jī)器。這在邏輯上是說(shuō)得通的。

所以，答案有兩種。最直接的答案是，好吧，你需要兩種類型的加速器。一種是為計(jì)算優(yōu)化的，另一種是為延遲優(yōu)化的。給其中一種堆上海量的高帶寬內(nèi)存（HBM），給另一種堆上超強(qiáng)的計(jì)算單元，問(wèn)題就解決了。但這里面一個(gè)真正的難點(diǎn)是預(yù)測(cè)兩者之間的比例。現(xiàn)在你又有了一個(gè)新問(wèn)題要考慮，如果這個(gè)平衡搞錯(cuò)了，你突然就會(huì)發(fā)現(xiàn)自己的一大批設(shè)備變得毫無(wú)用處。這聽(tīng)起來(lái)非�？膳�。

但實(shí)際情況是，這個(gè)領(lǐng)域里沒(méi)有所謂的硬性需求，也沒(méi)有絕對(duì)的約束，大家只是在優(yōu)化一個(gè)巨大的線性規(guī)劃問(wèn)題。所以，是的，如果你給我們的工程師一些資源配比不均衡的硬件，我們總會(huì)想辦法利用起來(lái)，也許過(guò)程會(huì)非常痛苦。一個(gè)例子就是，你已經(jīng)看到整個(gè)領(lǐng)域都在轉(zhuǎn)向“混合專家模型”（MoE）。在某種程度上，“混合專家模型”所做的就是說(shuō)：“好吧，我們有很多 DRAM 內(nèi)存閑置著沒(méi)用，因?yàn)橘Y源配比不對(duì)。那行，我們就用參數(shù)把它們填滿，這幾乎不消耗額外的計(jì)算資源，反而能讓我們獲得額外的機(jī)器學(xué)習(xí)計(jì)算效率�！� 砰，問(wèn)題解決了。

所以我認(rèn)為，一定程度上，即使你搞錯(cuò)了平衡，也不是世界末日。加速器的同質(zhì)化是一個(gè)非常好的默認(rèn)起點(diǎn)。但最終走向?qū)Ｓ眉铀倨饕膊⒎翘旆揭棺T。而且，當(dāng)我們這個(gè)領(lǐng)域的基礎(chǔ)設(shè)施資本支出變得越來(lái)越驚人時(shí)，開(kāi)始針對(duì)某些工作負(fù)載進(jìn)行超優(yōu)化就變得相當(dāng)合理了。但我認(rèn)為，現(xiàn)在下定論還有點(diǎn)為時(shí)過(guò)早，因?yàn)檠芯窟M(jìn)展得太快了，在某種程度上，研究的突破會(huì)主導(dǎo)其他一切。

通往 GPT-6 之路：算法瓶頸的回歸

主持人：我本來(lái)沒(méi)打算問(wèn)這個(gè)，但你剛提到了研究。你能給當(dāng)前 GPT-6 研發(fā)的瓶頸排個(gè)序嗎？計(jì)算資源、數(shù)據(jù)、算法、電力、資金。你覺(jué)得你們?cè)谀姆矫孀钍芟拗疲?/p>

Greg：我覺(jué)得，我們正處在一個(gè)基礎(chǔ)研究回歸的時(shí)代。這一點(diǎn)真的非常了不起，是真正的基礎(chǔ)研究。

曾有一段時(shí)間，感覺(jué)就像是：“好了，我們有了 Transformer，接下來(lái)只管擴(kuò)大規(guī)模就行了�！� 我覺(jué)得這類問(wèn)題非常激動(dòng)人心，你有一個(gè)定義非常清晰的難題，你只想把那個(gè)數(shù)字往右上角推。但從某種智識(shí)層面來(lái)說(shuō)，這又有點(diǎn)不盡如人意。感覺(jué)人生不止于原汁原味的《Attention Is All You Need》那篇論文。

我們開(kāi)始看到的是，我們現(xiàn)在運(yùn)作的規(guī)模，已經(jīng)把計(jì)算和數(shù)據(jù)都推到了極限，以至于算法重新成為了一個(gè)重要的、甚至是決定未來(lái)進(jìn)展的關(guān)鍵瓶頸。所有這些因素都是支撐帳篷的重要支柱，在任何一天，它都可能看起來(lái)朝某個(gè)方向有點(diǎn)傾斜。但從根本上說(shuō)，你希望讓它們都保持平衡。

看到像強(qiáng)化學(xué)習(xí)（RL）這樣的范式崛起，真的非常令人興奮。這是我們多年來(lái)刻意投入的領(lǐng)域。當(dāng)我們訓(xùn)練 GPT-4 時(shí)，一件非常有趣的事是，當(dāng)我們第一次和 GPT-4 對(duì)話時(shí)，我們心想：“這是 AGI 嗎？”它顯然不是 AGI，但又很難說(shuō)清楚為什么。它身上有一種說(shuō)不出的感覺(jué)，它如此流暢自如，但不知怎么地就會(huì)偏離軌道。

我們就覺(jué)得：“好吧，我們必須解決這個(gè)可靠性的問(wèn)題�！�

它從未真正地體驗(yàn)過(guò)這個(gè)世界。它就像一個(gè)讀完了所有書(shū)、或者觀察了整個(gè)世界，但從未親身經(jīng)歷過(guò)的人，只是隔著一塊玻璃在看。對(duì)我來(lái)說(shuō)，那一刻我們就像是頓悟了：“很明顯，我們需要一種不同的范式�！� 然后我們就持續(xù)不斷地在這個(gè)方向上努力，直到我們真正讓它奏效。我認(rèn)為今天依然如此，還有其他一些非常明顯的能力缺失，我們只需要持續(xù)地去攻克，我們終將到達(dá)那里。

主持人：接下來(lái)讓我們繼續(xù)。我們本來(lái)只向黃仁勛要了一個(gè)問(wèn)題，但他是個(gè)“優(yōu)等生”，所以他發(fā)來(lái)了兩個(gè)。讓我們播放第二段視頻。

黃仁勛：我的第二個(gè)問(wèn)題是，未來(lái)幾年，OpenAI 將擁有 AGI，而他們將在 OpenAI 的 AGI之上，構(gòu)建特定領(lǐng)域的智能體。我腦海中會(huì)浮現(xiàn)出一些問(wèn)題，比如，隨著 OpenAI 的 AGI能 力越來(lái)越強(qiáng)，他們的開(kāi)發(fā)工作流會(huì)如何改變？與此同時(shí)，他們?nèi)匀恍枰獮樽约禾囟I(lǐng)域的智能體創(chuàng)建底層的技術(shù)管道、工作流和增長(zhǎng)飛輪。這些智能體當(dāng)然將能夠推理、規(guī)劃、使用工具，并擁有短期和長(zhǎng)期的記憶。但在未來(lái)幾年，這個(gè)開(kāi)發(fā)過(guò)程會(huì)如何演變？

Greg：我認(rèn)為這是一個(gè)非常引人入勝的問(wèn)題，你能找到各種各樣觀點(diǎn)鮮明但又相互矛盾的看法。我的觀點(diǎn)是，首先，一切皆有可能。也許我們會(huì)進(jìn)入一個(gè) AI 能力超強(qiáng)，以至于我們都讓它們來(lái)寫(xiě)所有代碼的世界。也許世界會(huì)是只有天上一個(gè) AI 的形態(tài)，又或者，是你實(shí)際上擁有一大群特定領(lǐng)域的智能體，而這些智能體需要大量專門的工作才能實(shí)現(xiàn)。

各種證據(jù)已經(jīng)開(kāi)始明顯地傾向于一個(gè)由不同模型組成的“百花齊放”的生態(tài)。我認(rèn)為這實(shí)際上非常令人興奮。僅僅從系統(tǒng)角度來(lái)看，就有不同的推理成本，有不同的權(quán)衡取舍。模型蒸餾的效果非常好。所以，能夠利用其他模型的模型，本身就蘊(yùn)含著巨大的能量。

我認(rèn)為這將開(kāi)啟海量的機(jī)會(huì)，因?yàn)槲覀冋谧呦蛞粋�(gè)經(jīng)濟(jì)由 AI 根本性驅(qū)動(dòng)的世界。我們還沒(méi)到那一步，但你已經(jīng)能看到它就在地平線上了。

正是如此。我的意思是，這正是這個(gè)房間里的人們正在構(gòu)建的，這正是你們?cè)谧龅氖虑�。而�?jīng)濟(jì)是一個(gè)非常龐大的東西，它內(nèi)部有極大的多樣性，而且它也不是靜止的。當(dāng)人們思考 AI 能為我們做什么時(shí)，很容易只著眼于我們現(xiàn)在正在做的事情，以及 AI 如何嵌入其中，還有人類與 AI 勞動(dòng)的比例。但那不是重點(diǎn)。重點(diǎn)是，我們?nèi)绾潍@得 10 倍的活動(dòng)，10 倍的經(jīng)濟(jì)產(chǎn)出，10 倍于所有人的福祉？

我認(rèn)為我們前進(jìn)的方向是，模型將變得更加強(qiáng)大，基礎(chǔ)技術(shù)將變得更好，而我們將有更多的事情想用它來(lái)做，同時(shí)，進(jìn)入的門檻將比以往任何時(shí)候都低。像醫(yī)療保健這樣的領(lǐng)域，需要有責(zé)任心的人去深入思考如何把它做好。像教育這樣的領(lǐng)域，涉及多個(gè)利益相關(guān)方——家長(zhǎng)、老師、學(xué)生——每一個(gè)都需要領(lǐng)域?qū)I(yè)知識(shí)，需要仔細(xì)的思考，需要大量的工作。

所以，我認(rèn)為未來(lái)將會(huì)有數(shù)不盡的機(jī)會(huì)讓人們?nèi)?chuàng)造。看到這個(gè)房間里的每一個(gè)人，我感到無(wú)比興奮，因?yàn)檫@正是我們需要的那種能量。

本文編譯 自 AI Engineer

原文 | youtube.com/watch?v=avWhreBUYF0

當(dāng)創(chuàng)造的工具變得如此強(qiáng)大，我們?cè)撊绾沃匦滤伎肌皠?chuàng)造”本身？

Brokman 給出了他的答案。而這個(gè)問(wèn)題，對(duì)于一線的產(chǎn)品經(jīng)理來(lái)說(shuō)，已經(jīng)不是哲學(xué)思辨，而是懸在頭頂?shù)倪_(dá)摩克利斯之劍。如果說(shuō) OpenAI 的這些人負(fù)責(zé)建成引擎，那么如何將這澎湃的動(dòng)力轉(zhuǎn)化為用戶真正需要的產(chǎn)品，則是在另一片更泥濘的戰(zhàn)場(chǎng)上展開(kāi)的“壕溝戰(zhàn)”。

因此，。與一線公司的 AI 產(chǎn)品負(fù)責(zé)人直接對(duì)話，深入探討如何跨越“模型”與“產(chǎn)品”之間的鴻溝，分享他們?cè)?AI 產(chǎn)品化道路上踩過(guò)的坑和總結(jié)的實(shí)戰(zhàn)方法。這不僅是觀點(diǎn)的碰撞，更是一份為你準(zhǔn)備的、來(lái)自探路者前線的 AI 產(chǎn)品地圖，歡迎掃碼預(yù)約：