智東西
編譯 陳駿達(dá)
編輯 Panken

智東西1月23日消息，昨天，由知名媒體人和作家Ashlee Vance主辦的Core Memory播客，發(fā)布了對(duì)OpenAI前研究副總裁Jerry Tworek的深度專訪。今年1月初決定離開(kāi)的OpenAI的Tworek分享了一個(gè)關(guān)鍵洞察：隨著競(jìng)爭(zhēng)加劇與組織急速膨脹，OpenAI正逐漸陷入一種難以再承擔(dān)真正高風(fēng)險(xiǎn)研究的結(jié)構(gòu)性困境，一些前沿創(chuàng)新的研究方向，已經(jīng)難以在OpenAI內(nèi)部推進(jìn)。

在正式進(jìn)入訪談內(nèi)容前，我們有必要了解下Tworek的傳奇履歷。Tworek是OpenAI元老級(jí)成員，2019年便加入該公司。他是OpenAI推理模型o1、o3背后的關(guān)鍵人物，將強(qiáng)化學(xué)習(xí)做到了極致，也讓強(qiáng)化學(xué)習(xí)、推理模型真正進(jìn)入了主流視野。此外，Tworek還在編程和Agent領(lǐng)域頗有建樹(shù)。

今年1月7日，Tworek在X平臺(tái)上分享了自己離職的消息，評(píng)論區(qū)涌入了諸多OpenAI大佬，言語(yǔ)間滿是不舍之情。

這場(chǎng)訪談長(zhǎng)達(dá)70分鐘，實(shí)錄近2萬(wàn)字，智東西梳理出Tworek分享的八大關(guān)鍵洞察：

1、OpenAI的創(chuàng)新困境：成本、增長(zhǎng)壓力等多重因素影響了OpenAI對(duì)風(fēng)險(xiǎn)的“胃口”，同時(shí)該公司尚未找到良好的跨團(tuán)隊(duì)的研究協(xié)作模式。

2、谷歌崛起：與其說(shuō)是谷歌“回歸”，不如說(shuō)是OpenAI自己犯了錯(cuò)誤，沒(méi)能充分把握住自己的領(lǐng)先優(yōu)勢(shì)。OpenAI本應(yīng)該持續(xù)領(lǐng)先。

3、行業(yè)弊?。?/strong>5家頭部AI公司路徑完全趨同，研究員想在主流機(jī)器學(xué)習(xí)范式之外做點(diǎn)不同的事情，幾乎找不到合適的地方，這令人沮喪。

4、人才爭(zhēng)奪戰(zhàn)：人才爭(zhēng)奪戰(zhàn)已演變成一場(chǎng)肥皂劇，有些人頻繁地更換工作，而真正投入到工作的時(shí)間不多。

5、創(chuàng)新引擎：明星AI研究員并不是驅(qū)動(dòng)創(chuàng)新的核心因素，公司本身能否打造個(gè)人責(zé)任感強(qiáng)、允許探索和做大事的環(huán)境，可能更為關(guān)鍵。

6、什么阻礙了創(chuàng)新：阻礙AI Lab研究的因素不是算力短缺，而是缺乏專注。對(duì)OpenAI來(lái)說(shuō)，“集中力量辦大事”已經(jīng)變得有些困難。

7、AGI時(shí)間表：目前AGI仍然缺失關(guān)鍵拼圖，架構(gòu)創(chuàng)新與持續(xù)學(xué)習(xí)是兩大重要方向，但AGI將會(huì)在2029年左右實(shí)現(xiàn)。

8、強(qiáng)化學(xué)習(xí)的回歸：科學(xué)史已經(jīng)反復(fù)證明，好的想法往往會(huì)卷土重來(lái)，判斷一個(gè)想法是否重要并不難，難的是判斷它什么時(shí)候會(huì)變得重要。

以下是訪談內(nèi)容的完整編譯：

一、競(jìng)爭(zhēng)激烈、組織膨脹，OpenAI的創(chuàng)新困境

主持人：你的離職聲明寫(xiě)得很好，充滿感情。你在OpenAI經(jīng)歷了非常重要的一段時(shí)間，見(jiàn)證了巨大的變化。那種感覺(jué)怎么樣？

Jerry Tworek：在OpenAI的每一年，都是一家完全不同的公司。公司本身的高速成長(zhǎng)，以及整個(gè)AI世界的變化。

這種經(jīng)歷我覺(jué)得在人類歷史上都很少見(jiàn)。我很慶幸自己能親身經(jīng)歷這一切。正如我之前說(shuō)的，每一個(gè)階段都完全不同。

主持人：OpenAI在2019年時(shí)大概只有30個(gè)人？現(xiàn)在已經(jīng)是幾千人了吧？

Jerry Tworek：說(shuō)實(shí)話，很難統(tǒng)計(jì)清楚。全球多地辦公室，遍布世界各地。現(xiàn)在幾乎找不到?jīng)]聽(tīng)說(shuō)過(guò)OpenAI的人了。而我剛加入的時(shí)候，只是幾個(gè)小團(tuán)隊(duì)，各自做著自己的研究項(xiàng)目。

但有一件事始終沒(méi)變——OpenAI的野心。從一開(kāi)始就瞄準(zhǔn)AGI，想真正改變世界，并且?guī)?lái)正面的影響。而通過(guò)ChatGPT，把智能和實(shí)用性真正分發(fā)給了全球用戶，我覺(jué)得這是一件非常了不起的事情。

主持人：所以你發(fā)了那條推文之后，是不是全球所有基礎(chǔ)模型實(shí)驗(yàn)室都來(lái)找你了？

Jerry Tworek：確實(shí)有很多。我現(xiàn)在也在思考下一步該做什么。在這個(gè)行業(yè)這么多年，我已經(jīng)認(rèn)識(shí)了很多人。我并不急著做決定。

我已經(jīng)連續(xù)高強(qiáng)度工作很多年了，甚至沒(méi)太多時(shí)間好好和人聊天。現(xiàn)在正好可以慢下來(lái)，想一想：接下來(lái)的七年，我想怎么度過(guò)。但確實(shí)，我正在和很多人交流。

主持人：你在推文里提到，你想做一些在OpenAI沒(méi)法做的研究。能具體說(shuō)說(shuō)嗎？

Jerry Tworek：當(dāng)前，在全球范圍內(nèi)爭(zhēng)奪“最佳AI模型”的競(jìng)爭(zhēng)異常激烈且嚴(yán)苛。想要保持競(jìng)爭(zhēng)力，公司在運(yùn)營(yíng)的多個(gè)層面都面臨著極大的挑戰(zhàn)。

其中一個(gè)核心問(wèn)題在于風(fēng)險(xiǎn)承擔(dān)的意愿：從避免落后的角度出發(fā)，公司自然會(huì)被迫思考，究竟愿意承擔(dān)多大的風(fēng)險(xiǎn)。無(wú)論是用戶增長(zhǎng)指標(biāo)，還是持續(xù)支付高昂的GPU成本，現(xiàn)實(shí)都極其殘酷。

也正因如此，持續(xù)展示實(shí)力、不斷推出最強(qiáng)模型，對(duì)所有人而言都變得至關(guān)重要。這是當(dāng)下幾乎所有主要AI公司共同面臨的處境，而這種壓力無(wú)疑會(huì)影響一家機(jī)構(gòu)對(duì)風(fēng)險(xiǎn)的“胃口”。

另一組同樣難以權(quán)衡的因素來(lái)自組織結(jié)構(gòu)。公司有其組織架構(gòu)圖，而組織架構(gòu)往往在很大程度上決定了你能夠開(kāi)展什么樣的研究：每個(gè)團(tuán)隊(duì)都需要明確的身份認(rèn)同、研究邊界以及其專注解決的問(wèn)題集合。

跨組織的研究往往異常困難，而如何在大規(guī)模條件下高效地組織研究，這個(gè)問(wèn)題可能還沒(méi)有被真正解決。

研究本身偏好活力，甚至可以說(shuō)偏好某種程度的混亂；而大型組織卻需要秩序、結(jié)構(gòu)與清晰的分工。這正是為什么“你最終交付的是你的組織架構(gòu)圖”這一說(shuō)法如此流行：研究工作往往會(huì)演變成那些最適合現(xiàn)有人員配置的項(xiàng)目。

我也正是在這種背景下意識(shí)到，有一些我真正想做的研究方向，并不是OpenAI當(dāng)前的組織架構(gòu)所能支持的。

二、Transformer肯定不是最終形態(tài)，有很多路徑尚未得到系統(tǒng)性實(shí)踐

主持人：我曾在播客里和Mark Chen（OpenAI首席研究官）聊過(guò)這個(gè)問(wèn)題——幾乎所有人都在向他（以及Jakub，OpenAI首席科學(xué)家）提出自己的想法。OpenAI的確有一個(gè)優(yōu)良傳統(tǒng)：愿意承擔(dān)風(fēng)險(xiǎn)，愿意去做一些其他實(shí)驗(yàn)室不敢做的事情。

但現(xiàn)實(shí)是，無(wú)論聚集了多少聰明人，資源已相當(dāng)可觀，這終究是一家資源有限的公司。它必須做出重大的取舍：哪些方向值得投入，哪些現(xiàn)在還無(wú)法承擔(dān)成本。

而真正足夠新穎的路徑，往往恰恰是那種讓人猶豫的方向——我們不知道現(xiàn)在該不該走，也不知道錢(qián)包是否負(fù)擔(dān)得起。

Jerry Tworek：關(guān)于Ilya提出的“研究時(shí)代”這一概念，我不確定它是否像他所描述的那樣非此即彼，但我確信，在AI和機(jī)器學(xué)習(xí)領(lǐng)域，仍然存在大量尚未被充分探索的可能性。

六年前，我們選定了Transformer架構(gòu)，此后人們不斷對(duì)其進(jìn)行Scaling，并且效果顯著。路徑非常清晰：每個(gè)季度訓(xùn)練更大的模型，使用更多計(jì)算資源和數(shù)據(jù)，而進(jìn)步似乎從未真正停滯。

但問(wèn)題在于：這就是全部了嗎？這是最終形態(tài)嗎？我相當(dāng)確定不是。模型仍然可以通過(guò)多種方式改進(jìn)，而其中許多路徑至今尚未被系統(tǒng)性地實(shí)踐。

正如你提到的，我曾在推理和強(qiáng)化學(xué)習(xí)擴(kuò)展方面投入大量工作。在那之前，整個(gè)領(lǐng)域幾乎把所有賭注都押在了Transformer預(yù)訓(xùn)練的Scaling上。

這種方式確實(shí)有效：每一次預(yù)訓(xùn)練都可以打造出更強(qiáng)的模型，其能力都會(huì)全面提升，各項(xiàng)評(píng)測(cè)指標(biāo)也隨之改善。因此，人們很容易得出結(jié)論：只要不斷擴(kuò)展預(yù)訓(xùn)練，模型就會(huì)持續(xù)變好。

但后來(lái)，一些研究者開(kāi)始相信，我們能做的不止于此。他們嘗試證明：如果在語(yǔ)言模型之上，以與預(yù)訓(xùn)練相當(dāng)?shù)挠?jì)算規(guī)模去擴(kuò)展強(qiáng)化學(xué)習(xí)，就能教會(huì)模型一些僅靠預(yù)訓(xùn)練永遠(yuǎn)無(wú)法獲得的能力。

正是由于這種探索，我們今天才擁有了這些能夠自動(dòng)化復(fù)雜任務(wù)、顯著降低計(jì)算與數(shù)據(jù)需求的智能體系統(tǒng)。一旦發(fā)現(xiàn)新的擴(kuò)展路徑，就能解鎖全新的能力，而如果只沿著預(yù)訓(xùn)練的擴(kuò)展定律前進(jìn)，這些能力可能需要極其漫長(zhǎng)的時(shí)間才能出現(xiàn)。

在我看來(lái)，自GPT-4發(fā)布以來(lái)，推理模型代表了一次真正重大的能力躍遷。而我也堅(jiān)信，類似這樣的突破并非孤例。研究者不應(yīng)只滿足于漸進(jìn)式改進(jìn)，更應(yīng)持續(xù)思考如何從根本上改變游戲規(guī)則。

三、頭部AI玩家路徑趨同，這是件令人遺憾的事兒

主持人：去年在NeurIPS上，Ilya提到“我們正在耗盡數(shù)據(jù)”，暗示預(yù)訓(xùn)練終將觸及瓶頸。

Jerry Tworek：我并不認(rèn)為這意味著預(yù)訓(xùn)練即將終結(jié)，它仍然在持續(xù)改進(jìn)，也依然有許多優(yōu)化空間。但預(yù)訓(xùn)練并不是提升模型能力的唯一方式，而且在很多情況下，它提升得非常緩慢。其他方法，或許能更快地推動(dòng)能力躍遷。

主持人：硅谷長(zhǎng)期存在一種有趣的現(xiàn)象：科技公司往往會(huì)提出一些在外界看來(lái)怪異、甚至離經(jīng)叛道的想法，而正是這些想法催生了真正顛覆性的創(chuàng)新。

但一旦某條路徑被證明是成功的，局面就會(huì)迅速反轉(zhuǎn)，形成強(qiáng)烈的共識(shí)，所有人開(kāi)始沿著同一方向競(jìng)賽。

這正是我們當(dāng)前所處的階段。模型競(jìng)賽已經(jīng)持續(xù)了兩三年，幾乎所有主要實(shí)驗(yàn)室都在做同一件事。你認(rèn)為這是個(gè)問(wèn)題嗎？

Jerry Tworek：我對(duì)此感到相當(dāng)、相當(dāng)遺憾，幾乎所有公司都在做和OpenAI一樣的事兒。OpenAI無(wú)疑取得了巨大成功，做對(duì)了更多事兒，引領(lǐng)了擴(kuò)展Transformer的范式，也證明了大規(guī)模模型能夠?yàn)槭澜鐒?chuàng)造真實(shí)而廣泛的價(jià)值。

但如今，有多少公司在做著幾乎一模一樣的事情？競(jìng)爭(zhēng)當(dāng)然有其價(jià)值，但我們現(xiàn)在大概有五家嚴(yán)肅的AI公司，使用幾乎相同的技術(shù)配方，在同一技術(shù)基礎(chǔ)上構(gòu)建略有差異的產(chǎn)品。

也許這是正確的路徑，但我仍然希望看到更多多樣性，模型之間真正的差異，而不僅是微小的調(diào)優(yōu)。

如果你觀察當(dāng)下最頂級(jí)的模型，很少有人能真正分辨它們之間的不同?；蛟S我們應(yīng)該進(jìn)行更多盲測(cè)：讓用戶與不同模型對(duì)話，看看他們是否能分辨出差異。

我懷疑99.9%的用戶做不到。這些模型在體驗(yàn)上極其相似，即便它們來(lái)自不同團(tuán)隊(duì)、采用了略有不同的技術(shù)選擇。在這樣的環(huán)境中，真正的探索在哪里？真正的創(chuàng)新，以及與他人區(qū)分開(kāi)來(lái)的能力，又在哪里？

四、與OpenAI已出現(xiàn)實(shí)質(zhì)性分歧，分開(kāi)比勉強(qiáng)合作更健康

主持人：我問(wèn)一個(gè)有些尖銳的問(wèn)題：你在OpenAI內(nèi)外都被視為傳奇人物，參與的項(xiàng)目成功率極高。如果連你這樣的人，都覺(jué)得自己真正想做的事情在公司內(nèi)部難以推進(jìn)——無(wú)論公司是否明確反對(duì)，這種阻力本身就已經(jīng)存在。

對(duì)于一家最初以研究實(shí)驗(yàn)室起家的公司而言，這是否是一個(gè)值得警惕的信號(hào)？

Jerry Tworek：我的看法是，有時(shí)候人們會(huì)成長(zhǎng)到某個(gè)階段，需要與過(guò)去分道揚(yáng)鑣。對(duì)一家公司及其成員來(lái)說(shuō)，就目標(biāo)和前進(jìn)方向達(dá)成一致極其重要。

而在某個(gè)時(shí)刻，我意識(shí)到自己對(duì)未來(lái)研究路線的看法，與OpenAI所選擇的方向在某種實(shí)質(zhì)性層面上出現(xiàn)了分歧。在這種情況下，分開(kāi)也許比勉強(qiáng)合作要更健康。

正因如此，我也認(rèn)為，如果不同公司能夠真正專注于不同的事情，行業(yè)會(huì)因此變得更好。專注對(duì)一家公司而言至關(guān)重要，而OpenAI很可能正在做所有正確的事情。

也許只是我懷抱了一些不切實(shí)際的夢(mèng)想。我是一個(gè)相對(duì)樂(lè)觀的人，我相信世界上始終還有很多不同的事情可以去做，這在原則上完全是可能的。

關(guān)鍵在于專注，把真正核心的事情做到極致。事實(shí)上，很多事情、很多公司，只有做到這一點(diǎn)，才能生存下來(lái)并進(jìn)入下一個(gè)階段。

在一個(gè)理想的世界里，應(yīng)該存在大量做著不同事情的公司。尤其是對(duì)研究人員而言，他們很難在一個(gè)自己并不真正相信的研究方向上長(zhǎng)期投入。他們理應(yīng)能夠找到一個(gè)地方，在那里從事自己最篤信的研究，并讓時(shí)間來(lái)檢驗(yàn)其價(jià)值。

也正因?yàn)槿绱?，我?duì)如今幾乎所有公司都在做同樣的事情感到有些難過(guò)?，F(xiàn)實(shí)是，如果你想在主流機(jī)器學(xué)習(xí)范式之外做點(diǎn)不同的事情，幾乎找不到合適的地方。這可能是目前讓我最沮喪的一點(diǎn)。

主持人：當(dāng)你開(kāi)始認(rèn)真思考“下一步要做什么”時(shí)，這種同質(zhì)化的問(wèn)題會(huì)變得尤為明顯。如果所有實(shí)驗(yàn)室都在做同樣的事，你自然也不會(huì)覺(jué)得自己只是換一家大實(shí)驗(yàn)室就能獲得真正不同的空間。

Jerry Tworek：我確實(shí)在思考人生的下一個(gè)階段，但如果世界上能有更多選擇，讓人可以稍微偏離主流，去做一些不那么熱門(mén)、但可能同樣重要的事情，那會(huì)讓我更開(kāi)心，也更容易做出決定。

主持人：這就引出了一個(gè)問(wèn)題：我們到底需要什么，才能真正偏離主流？

一個(gè)投入了如此多資金和資源、又處在聚光燈下的公司，會(huì)本能地害怕承擔(dān)風(fēng)險(xiǎn)。但問(wèn)題在于，這些風(fēng)險(xiǎn)也許恰恰是必要的。那么，究竟需要改變什么？這種狀況未來(lái)會(huì)不會(huì)發(fā)生改變？

Jerry Tworek：有趣的是，我個(gè)人其實(shí)非常喜歡冒險(xiǎn)，別人也常這樣形容我。冒險(xiǎn)本身是一件好事。

但當(dāng)風(fēng)險(xiǎn)和巨額資金綁定在一起時(shí)，愿意、也有能力承擔(dān)這種風(fēng)險(xiǎn)的人就會(huì)變得極其稀少。風(fēng)險(xiǎn)承受能力是一種高度個(gè)人化、極其獨(dú)特的特質(zhì)。我與很多人共事過(guò)，深切體會(huì)到這一點(diǎn)。

我真心認(rèn)為，人們本該更愿意承擔(dān)風(fēng)險(xiǎn)，去嘗試更多不同的事情。尤其是研究人員這一群體——如今AI領(lǐng)域的薪酬水平已經(jīng)相當(dāng)夸張了，而這反而可能帶來(lái)一種副作用：人們變得不愿意失去工作，不愿意經(jīng)歷糟糕的績(jī)效周期。于是，他們更傾向于追逐短期回報(bào)。

很多研究人員本身非常聰明、也很有想法，只是整個(gè)系統(tǒng)的激勵(lì)機(jī)制過(guò)于短視?？汕∏∈茄芯咳藛T，才最應(yīng)該被鼓勵(lì)去冒險(xiǎn)、去做大膽的嘗試——因?yàn)檎嬲倪M(jìn)步，正是這樣產(chǎn)生的。

五、算力門(mén)檻正阻礙創(chuàng)新，“探索與利用”的權(quán)衡是關(guān)鍵問(wèn)題

主持人：當(dāng)然，我們也看到了一些例子。比如游戲教父John Carmack，他去了達(dá)拉斯的“洞穴”，一度幾乎是獨(dú)自工作，現(xiàn)在可能也只有極少數(shù)員工。Carmack說(shuō)過(guò)：“也許我未必能做出真正不同的東西，但至少應(yīng)該有人在認(rèn)真嘗試一條完全不同的路徑。”

我也和Ilya聊過(guò)，不過(guò)我并不清楚他具體在研究什么。所以我無(wú)法判斷，他的工作是在延續(xù)過(guò)去的方向，還是某種更加激進(jìn)的嘗試。但可以肯定的是，如果他不認(rèn)為那是一條不同的道路，就不會(huì)去籌集那么多資金來(lái)做這件事。楊立昆顯然也有與主流不同的理念。

這正是讓我覺(jué)得這個(gè)領(lǐng)域非常有趣的地方。AI在某種意義上是一個(gè)非常古老的領(lǐng)域，可以追溯到幾十年前；但當(dāng)下這套主流范式，其實(shí)是相對(duì)較新的。當(dāng)我和研究人員交流時(shí)，他們?nèi)匀粫?huì)說(shuō)：“只要把主要論文都讀一遍，很快就能跟上進(jìn)度?！?/p>

可我時(shí)常會(huì)想，會(huì)不會(huì)有某個(gè)人，突然帶著一個(gè)極其激進(jìn)、全新的想法出現(xiàn)，徹底推動(dòng)整個(gè)領(lǐng)域向前？如今這件事似乎變得更難了，因?yàn)槟憧赡苄枰粋€(gè)州那么大的數(shù)據(jù)中心來(lái)支撐實(shí)驗(yàn)。

Jerry Tworek：這是一個(gè)巨大的資源門(mén)檻，也確實(shí)讓問(wèn)題變得更加棘手。但這同樣是一個(gè)值得認(rèn)真思考、試圖解決的問(wèn)題。

世界上有大量學(xué)術(shù)研究在進(jìn)行，許多學(xué)生在做各種各樣的探索，但其中絕大多數(shù)都嚴(yán)重缺乏資源。結(jié)果是，許多原本可能很有潛力的研究，最終不了了之，因?yàn)檎嬲P(guān)鍵的研究往往需要大規(guī)模實(shí)驗(yàn)。

也正因如此，我對(duì)當(dāng)下的一個(gè)趨勢(shì)感到非常欣慰：確實(shí)有相當(dāng)多的資金開(kāi)始流向那些支持新穎、激進(jìn)想法的嘗試。像Carmack、Ilya、楊立昆這樣的人，正是當(dāng)下應(yīng)該存在、也應(yīng)該被資助的對(duì)象。

顯然，并不是所有嘗試都會(huì)成功，但其中一些一定會(huì)——世界上的創(chuàng)新正是以這種方式發(fā)生的。

在強(qiáng)化學(xué)習(xí)領(lǐng)域，“探索與利用”的權(quán)衡早已是一個(gè)經(jīng)典概念。即便是我們?cè)趦?yōu)化智能體時(shí)，也始終面臨這個(gè)問(wèn)題：是選擇那些已被驗(yàn)證有效、成功路徑明確的策略，還是嘗試全新的方法，用不同的方式解決舊問(wèn)題？

這是一個(gè)艱難但無(wú)法回避的權(quán)衡。當(dāng)我們思考智能體該如何行動(dòng)時(shí)，也許同樣應(yīng)該反思我們自己是如何做選擇的。

主持人：至于那個(gè)由頂尖AI研究者組成的小圈子，人們是否真的清楚Carmack在做什么？

Jerry Tworek：說(shuō)實(shí)話，我并不完全清楚。我的印象是，他正在大力押注于通過(guò)鼠標(biāo)和鍵盤(pán)，在電子游戲中進(jìn)行端到端的強(qiáng)化學(xué)習(xí)。如果我沒(méi)記錯(cuò)的話，大致是這樣。

而這恰恰讓我覺(jué)得非常有意思。長(zhǎng)期以來(lái)，我一直認(rèn)為電子游戲是訓(xùn)練智能的絕佳環(huán)境之一。游戲是為人類大腦設(shè)計(jì)的，要讓人類覺(jué)得有趣，它們?nèi)诤狭斯适?、?quán)力幻想、解謎和問(wèn)題解決，必須持續(xù)保持新鮮感，不能變得重復(fù)。

從某種意義上說(shuō)，電子游戲是為人類認(rèn)知量身定制的學(xué)習(xí)環(huán)境，而問(wèn)題解決這樣的能力，正是我們希望智能體具備的能力。

但我們至今還沒(méi)有真正聰明的模型，能夠在這種高頻、多模態(tài)的環(huán)境中穩(wěn)定運(yùn)行。這也許暴露了某些架構(gòu)層面的限制。但我依然認(rèn)為，在電子游戲上訓(xùn)練AI，是一件非常有前景的事情。

強(qiáng)化學(xué)習(xí)之父Richard Sutton過(guò)去做過(guò)大量相關(guān)工作，不僅是電子游戲，還有撲克等復(fù)雜博弈。我曾去過(guò)他的實(shí)驗(yàn)室。當(dāng)然，他當(dāng)年的游戲環(huán)境，比我們后來(lái)在OpenAI讓模型玩Dota時(shí)要簡(jiǎn)單得多。DeepMind CEO Demis Hassabis也一直在堅(jiān)持類似的想法。

六、好的想法，往往會(huì)卷土重來(lái)

主持人：有趣的是，這些思路曾一度被認(rèn)為“過(guò)時(shí)”。在ChatGPT時(shí)代，它們看起來(lái)不像是主流方向。

Jerry Tworek：科學(xué)史反復(fù)告訴我們：好的想法往往會(huì)卷土重來(lái)。判斷一個(gè)想法是否重要并不難，難的是判斷它什么時(shí)候會(huì)變得重要。

七年前我剛加入OpenAI時(shí)，基于游戲的強(qiáng)化學(xué)習(xí)是絕對(duì)的熱點(diǎn)。我們解決了Dota、《星際爭(zhēng)霸》。當(dāng)時(shí)DeepMind的AlphaGo更是一個(gè)里程碑。

但這些模型有一個(gè)非常明顯的問(wèn)題：它們幾乎沒(méi)有世界知識(shí)。它們只是在從零開(kāi)始學(xué)習(xí)如何玩某一個(gè)游戲，而并不真正理解我們的世界。

顯然，這不是正確的路徑。模型首先需要對(duì)現(xiàn)實(shí)世界形成高層次的理解，而不僅僅是對(duì)像素作出反應(yīng)。從零開(kāi)始的強(qiáng)化學(xué)習(xí)，更像是一種“蜥蜴腦”或“猴腦”的學(xué)習(xí)方式。我們真正希望的是讓模型具備更抽象的概念結(jié)構(gòu)。

而經(jīng)過(guò)多年大規(guī)模預(yù)訓(xùn)練，我們終于獲得了對(duì)世界極其豐富、穩(wěn)固的表征。現(xiàn)在，是時(shí)候在此基礎(chǔ)上重新引入強(qiáng)化學(xué)習(xí)了。推理模型的真正魔力，正是在于：它們?cè)谝粋€(gè)強(qiáng)大的世界表征之上，通過(guò)強(qiáng)化學(xué)習(xí)構(gòu)建能力層級(jí)。這才是未來(lái)的方向。

主持人：至于世界模型，谷歌做過(guò)相關(guān)探索，楊立昆和李飛飛的研究在某種程度上也指向這一方向。我們作為嬰兒并不是生活在黑箱中，而是通過(guò)不斷試探來(lái)理解世界。所以，將世界模型與強(qiáng)化學(xué)習(xí)結(jié)合，在我看來(lái)是非常合理的。

Jerry Tworek：這個(gè)想法顯然是正確的。真正有趣的地方在于，我們?nèi)绾螌⑹澜缒Ｐ偷谋碚鳂?gòu)建與強(qiáng)化學(xué)習(xí)結(jié)合起來(lái)。強(qiáng)化學(xué)習(xí)用于教會(huì)模型各種技能，而這些技能正是模型在現(xiàn)實(shí)世界中運(yùn)作所必需的——它賦予模型實(shí)現(xiàn)自身目標(biāo)的能力。

然而，要想實(shí)現(xiàn)目標(biāo)，模型首先必須理解自己所處的世界；只有在具備這種理解之后，它才能形成有效的計(jì)劃與策略。這正是為什么世界模型與強(qiáng)化學(xué)習(xí)必須協(xié)同發(fā)展的原因。一旦有人能夠在一個(gè)訓(xùn)練良好的世界模型之上成功地進(jìn)行強(qiáng)化學(xué)習(xí)，那將會(huì)是一個(gè)極其令人振奮、具有里程碑意義的時(shí)刻。

七、架構(gòu)創(chuàng)新與持續(xù)學(xué)習(xí)是兩大方向，AGI仍然缺失關(guān)鍵拼圖

主持人：你現(xiàn)在對(duì)什么最感興趣？

Jerry Tworek：總體上，我認(rèn)為簡(jiǎn)單地去重復(fù)實(shí)驗(yàn)室里已經(jīng)在做的事情，其實(shí)意義不大。在現(xiàn)有的范式和設(shè)置中，仍然有很多可以調(diào)整、可以改進(jìn)的地方，但有兩個(gè)方向，我覺(jué)得要么被明顯低估了，要么至少?zèng)]有得到足夠的資源去真正推進(jìn)。

第一個(gè)方向是架構(gòu)層面的創(chuàng)新。我們?cè)赥ransformer架構(gòu)上多少有些過(guò)于固步自封了。它無(wú)疑是一個(gè)偉大的架構(gòu)，也已經(jīng)被極其深入地探索過(guò)。

人們?cè)趯?duì)Transformer進(jìn)行局部改進(jìn)、試圖通過(guò)一些小的結(jié)構(gòu)調(diào)整來(lái)進(jìn)一步提升它時(shí)，確實(shí)遇到了不少困難，當(dāng)然，也有一些相當(dāng)成功的嘗試——比如稀疏性顯然就非常成功，各種降低注意力機(jī)制計(jì)算成本的方法也取得了不錯(cuò)的效果。

但問(wèn)題是：Transformer會(huì)是機(jī)器學(xué)習(xí)的終極架構(gòu)嗎？顯然不會(huì)。盡管Transformer的提出者們做了極其出色的工作，幾乎定義了接下來(lái)十年機(jī)器學(xué)習(xí)的發(fā)展格局，但事情遠(yuǎn)不止于此。

一定還存在其他訓(xùn)練大模型的方法——它們可能看起來(lái)有點(diǎn)像Transformer，也可能完全不像。這是一個(gè)非常值得投入精力去探索的問(wèn)題。如果沒(méi)有人去做這件事，那我會(huì)很樂(lè)意自己試一試。

第二個(gè)方向是一個(gè)更熱門(mén)的話題，但我并不認(rèn)為目前有人真正把它做好了，那就是持續(xù)學(xué)習(xí)，以及如何真正地、徹底地將test time與train time融合在一起。

對(duì)人類而言，這種方式再自然不過(guò)了：我們并不存在一個(gè)明確分離的“學(xué)習(xí)模式”和“回答模式”，一切都是在持續(xù)不斷地同時(shí)發(fā)生的。我們的模型也應(yīng)該更接近這種運(yùn)作方式。

這很可能是我們?cè)趯?shí)現(xiàn)AGI之前，仍然缺失的幾個(gè)關(guān)鍵能力要素之一。如果模型無(wú)法從它們所接觸到的數(shù)據(jù)中持續(xù)學(xué)習(xí)，那么無(wú)論它們?cè)谄渌矫娑嗝磸?qiáng)大，依然會(huì)給人一種受限、甚至有些“愚鈍”的感覺(jué)。

主持人：說(shuō)到AGI，我們上次聊天時(shí)我提到過(guò)，相比一兩年前，現(xiàn)在我已經(jīng)不太常聽(tīng)到關(guān)于時(shí)間線的討論了。甚至連關(guān)于AGI本身的討論似乎也減少了。所以我其實(shí)挺好奇的。

你稱自己對(duì)AI持謹(jǐn)慎樂(lè)觀的態(tài)度。那么在你看來(lái)，我們現(xiàn)在處在AGI時(shí)間線的哪個(gè)位置？

Jerry Tworek：是的，我個(gè)人的看法其實(shí)也略有更新。我一直認(rèn)為，擴(kuò)大強(qiáng)化學(xué)習(xí)的規(guī)模是實(shí)現(xiàn)AGI的必要組成部分。大約在一年前或一年半前，我?guī)缀鯃?jiān)信，只要我們把模型的強(qiáng)化學(xué)習(xí)規(guī)模做大，它就會(huì)成為AGI。

而現(xiàn)在，我不得不稍微修正這一觀點(diǎn)。不過(guò)有些東西，只有在真正進(jìn)入下一個(gè)階段之后你才能看清。我們也必須承認(rèn)，今天的模型在非常非常多的方面已經(jīng)做得相當(dāng)出色了。

它們?cè)诰幊谭矫嫠茏龅降氖虑椋瑢?duì)我來(lái)說(shuō)尤其震撼——因?yàn)閷?xiě)代碼本身就是我最喜歡的事情之一。你現(xiàn)在可以非常、非常快地完成大量工作。

對(duì)十年前的一些人來(lái)說(shuō)，如果你向他們展示我們今天所擁有的能力，他們可能已經(jīng)會(huì)把這稱作AGI了。所以，談?wù)揂GI已經(jīng)不再像過(guò)去那樣離譜或瘋狂。

但至少按照我自己的定義，當(dāng)前的模型仍然不能算是AGI，因?yàn)槌掷m(xù)學(xué)習(xí)還沒(méi)有以任何實(shí)質(zhì)性的方式與我們的模型真正整合在一起。同時(shí)，從模型目前的狀態(tài)來(lái)看，甚至在多模態(tài)感知這樣的能力上也仍有明顯缺失。

如果模型看不到外部世界，或者無(wú)法觀看視頻并對(duì)其進(jìn)行良好的理解，那么即便它們?cè)谖谋纠斫夂途幊谭矫娣浅３錾?，我們真的能稱它們?yōu)锳GI嗎？

因此，要真正實(shí)現(xiàn)構(gòu)建AGI這一文明級(jí)別的里程碑，還有許多我稱之為“必要步驟”的問(wèn)題需要解決。

一段時(shí)間我曾想過(guò)，如果我們真的非常努力，如果所有事情都做得非常好，也許2026年至少會(huì)成為我們?cè)谡嬲齼?yōu)秀的持續(xù)學(xué)習(xí)和真正通用的強(qiáng)化學(xué)習(xí)方面取得突破的一年。

我的時(shí)間線判斷依然是有些浮動(dòng)的。但與此同時(shí)，AI領(lǐng)域的發(fā)展速度確實(shí)非常快。投資每年都在不斷增長(zhǎng)，越來(lái)越多的人進(jìn)入AI領(lǐng)域，這擴(kuò)大了人才儲(chǔ)備，也增加了我們能夠探索的想法數(shù)量。

所以我并不認(rèn)為這個(gè)想法完全荒誕或不切實(shí)際。也許會(huì)更早一些，也許會(huì)稍晚一些——可能是26年，也可能是27年、28年，甚至29年。我不認(rèn)為會(huì)比這再晚太多。

當(dāng)然，還有大量工作要做，但確實(shí)有很多人正在為實(shí)現(xiàn)AGI而努力。

八、我們正處在變革時(shí)代，保持擔(dān)憂和謹(jǐn)慎有必要

主持人：如果我的記憶沒(méi)錯(cuò)的話，在“Strawberry”項(xiàng)目出現(xiàn)之前，你是不是在研究Q*項(xiàng)目？那時(shí)候有很多風(fēng)聲，大家都在談?wù)揑lya看到了Q*，知道AGI已經(jīng)來(lái)了，這把所有人都嚇壞了。

我的意思是，聽(tīng)你剛才這么說(shuō)，反而讓人覺(jué)得有點(diǎn)好笑。因?yàn)檫@確實(shí)是一件非常棘手的事情：這些系統(tǒng)能做到一些極其令人印象深刻的事，于是我們就會(huì)變得異常興奮。然后時(shí)間過(guò)去，

你知道，就像現(xiàn)在的“Strawberry”項(xiàng)目一樣——它確實(shí)令人難以置信，幾乎改變了整個(gè)領(lǐng)域，但我并不覺(jué)得我第一次使用它的時(shí)候被“嚇到了”。

Jerry Tworek：我明白你的意思。這是人類心理中非常有趣的一部分，在某種程度上也反映了我們與技術(shù)互動(dòng)的方式。

對(duì)我來(lái)說(shuō)，強(qiáng)化學(xué)習(xí)Scale up的效果仍然非常顯著，而且隨著時(shí)間推移，我們會(huì)看到更多這樣的成果。尤其是在編程領(lǐng)域，這將以許多不同的方式影響我們的生活。

今天，進(jìn)行任何大規(guī)模編程項(xiàng)目的體驗(yàn)，與一年前相比幾乎是天壤之別。我們會(huì)在各種各樣的事情中看到這些變化。當(dāng)我和我的團(tuán)隊(duì)，以及OpenAI的許多人，在兩年前第一次看到Q*開(kāi)始顯現(xiàn)出有效跡象時(shí)，

你坐在一個(gè)房間里，目睹一項(xiàng)具有實(shí)質(zhì)性意義的新技術(shù)。如果你在那一刻沒(méi)有感到哪怕一點(diǎn)點(diǎn)害怕、一點(diǎn)點(diǎn)擔(dān)憂，沒(méi)有對(duì)“我們正在做這件事會(huì)帶來(lái)什么后果”產(chǎn)生一絲疑慮，那么我會(huì)認(rèn)為你對(duì)自己的工作不夠負(fù)責(zé)。

我覺(jué)得每一位AI研究人員都應(yīng)該問(wèn)自己：如果我正在做的事情是全新的，具備前所未有的能力，那么它會(huì)給世界帶來(lái)什么影響？事實(shí)上，很多研究人員確實(shí)在這樣思考。有時(shí)候，人們也確實(shí)會(huì)不小心走得快了一兩步。

到目前為止，AI還沒(méi)有對(duì)世界造成任何真正的傷害。盡管像“阿諛?lè)畛小边@樣的問(wèn)題或許可以爭(zhēng)論一下，其他問(wèn)題至少據(jù)我們所知還沒(méi)有。

但即便如此，我仍然認(rèn)為，在向世界發(fā)布任何新技術(shù)時(shí)，保持擔(dān)憂和謹(jǐn)慎是一種非常好的、也非常健康的反應(yīng)。

我們正處在一個(gè)變革的時(shí)代，一個(gè)許多新事物不斷向世界擴(kuò)散的時(shí)代。它們會(huì)產(chǎn)生許多影響，影響人們?nèi)绾味冗^(guò)一生，影響人們?nèi)绾慰创约?、看待他人，影響人際關(guān)系，也影響國(guó)際關(guān)系，還會(huì)影響GDP和生產(chǎn)力。

有時(shí)候，有人寫(xiě)下一行代碼，所引發(fā)的連鎖反應(yīng)卻會(huì)像瀑布一樣，貫穿這一切。而其中所承載的責(zé)任，是相當(dāng)沉重的。

主持人：這些想法確實(shí)都很有道理，其實(shí)我之前也一直在反復(fù)思考這些問(wèn)題。我們此前大概也零星討論過(guò)一些。只是那段時(shí)間里，隨著所謂的“OpenAI政變”事件逐漸浮出水面，我總會(huì)下意識(shí)地試著設(shè)身處地為你著想。

但在這樣一個(gè)關(guān)鍵的時(shí)刻，一個(gè)本應(yīng)被認(rèn)真理解的創(chuàng)造物，卻率先成為人們迷戀、投射與爭(zhēng)奪的對(duì)象，這本身難道不會(huì)讓人感到一種微妙的怪異嗎？

而與此同時(shí)，我看到你所創(chuàng)造的東西被推到聚光燈下，在尚未真正被理解之前，就被媒體反復(fù)談?wù)摚直痪砣胍粓?chǎng)近乎肥皂劇式的紛爭(zhēng)之中。我一時(shí)間甚至不知道該用什么詞來(lái)形容這種感覺(jué)——說(shuō)“好笑”似乎并不完全貼切。

Jerry Tworek：很難將科技世界、概念世界、人類情感、人類生活、人類之間的共同點(diǎn)以及分歧彼此分離開(kāi)來(lái)。我們生活在這樣一個(gè)世界：AI領(lǐng)域的重要參與者之間，存在著極其復(fù)雜、跨越多個(gè)層面的關(guān)系網(wǎng)絡(luò)。

要真正理清這一切，歷史學(xué)家恐怕需要花費(fèi)很多年，甚至幾十年，才能弄清這里究竟發(fā)生了什么，真實(shí)情況到底是什么。

說(shuō)實(shí)話，即便是我自己，現(xiàn)在對(duì)“OpenAI政變”期間發(fā)生的一切，也只保留著非常零碎的記憶。每當(dāng)有新的證詞出現(xiàn)，每當(dāng)新的文件被披露，我們都會(huì)了解到一些此前未知的事實(shí)。將來(lái)肯定會(huì)有人把所有真相拼湊出來(lái)，但世界本身就是復(fù)雜的。

或許我們確實(shí)需要一種更健康的方式來(lái)討論技術(shù)，找到一個(gè)合適的討論平臺(tái)，讓這些分歧在某種程度上得到解決。但我們生活在一個(gè)沒(méi)有完美解決方案的世界，也沒(méi)有完美的討論方式。

九、分歧不可避免，只能依靠想法、信念與夢(mèng)想

主持人：你也不認(rèn)為X平臺(tái)是一個(gè)理想的媒介？

Jerry Tworek：我個(gè)人其實(shí)很喜歡在X上發(fā)帖，喜歡和研究社區(qū)、和身邊所有人分享想法，但X平臺(tái)也并不是一個(gè)完全嚴(yán)肅的地方。所以很多時(shí)候，討論總是介于玩笑和認(rèn)真之間。

那么，什么才是正確的解決方案呢？當(dāng)一個(gè)人擔(dān)心某項(xiàng)技術(shù)過(guò)于危險(xiǎn)，主張應(yīng)當(dāng)停止研究，而另一個(gè)人卻認(rèn)為它或許應(yīng)當(dāng)繼續(xù)推進(jìn)，因?yàn)樗軌驍U(kuò)展人類的能力。第一個(gè)人又進(jìn)一步認(rèn)為，這甚至不是一條正確的研究路徑，我們理應(yīng)轉(zhuǎn)向完全不同的方向。

在技術(shù)進(jìn)步與科研探索的領(lǐng)域中，這樣的分歧幾乎不可避免，而一切又都籠罩在未知之中。沒(méi)有人真正知道未來(lái)會(huì)走向何方。我們所能依靠的，只有想法、信念與夢(mèng)想。在這種根本性的不可確定性里，我們?nèi)匀槐仨毨^續(xù)生活、繼續(xù)選擇，并且往往不得不在許多關(guān)鍵問(wèn)題上，以某種方式學(xué)會(huì)求同存異。

主持人：是的，考慮到當(dāng)時(shí)媒體對(duì)Q*的高度關(guān)注，諸如“伊利亞看到了什么”之類的敘事，相關(guān)的炒作確實(shí)過(guò)于密集了，而且?guī)缀跏且辉陆又辉虏粩嗌?jí)。我對(duì)此并非沒(méi)有意識(shí)到，只是仍然感到有些困惑。

我之所以好奇，是因?yàn)槲覀冎械脑S多人在推特上都非?；钴S，也都在不同程度上參與、放大，甚至推動(dòng)了這種討論和想象。那么，從你的角度來(lái)看，你如何看待這種持續(xù)升溫的炒作？你是否也覺(jué)得，它或許需要稍微降溫一些了？我個(gè)人認(rèn)為，我們確實(shí)應(yīng)該大幅降溫。

Jerry Tworek：但與此同時(shí)，如果有人在七年前告訴你，OpenAI會(huì)成為一家萬(wàn)億美元級(jí)別的公司，會(huì)建設(shè)史上最大規(guī)模的數(shù)據(jù)中心，擁有全球最大的網(wǎng)絡(luò)產(chǎn)品之一，所有人都會(huì)時(shí)刻談?wù)揂I。你當(dāng)時(shí)一定會(huì)覺(jué)得那些人瘋了。這聽(tīng)起來(lái)本身就像是炒作。

我其實(shí)認(rèn)為，在很多方面，炒作背后是有實(shí)質(zhì)內(nèi)容的。有時(shí)它會(huì)過(guò)頭，有時(shí)又不夠，但AI確實(shí)很重要，也確實(shí)需要被討論。我想現(xiàn)在已經(jīng)沒(méi)有人會(huì)認(rèn)為AI是一個(gè)不重要的話題了。

幾年前的情況肯定不同，當(dāng)時(shí)確實(shí)有很多人認(rèn)為AI不重要。但現(xiàn)在已經(jīng)很清楚了，AI可能是這個(gè)世界上最重要的話題之一，值得我們持續(xù)討論和深入思考。

進(jìn)展會(huì)有多快？哪些路徑是正確的？它到底有多安全，或者多危險(xiǎn)？這些問(wèn)題當(dāng)然可以存在分歧和爭(zhēng)論，但AI已經(jīng)深度地融入了這個(gè)世界，而且只會(huì)變得越來(lái)越強(qiáng)。

十、有些人頻繁跳槽，做的實(shí)事并不多

主持人：完全同意。但如果暫時(shí)把技術(shù)本身放在一邊，我的意思是，我報(bào)道過(guò)Meta的挖角狂潮。這件事已經(jīng)變成了一場(chǎng)肥皂劇、一檔真人秀，而不再只是關(guān)于硬核科學(xué)的問(wèn)題。你已經(jīng)在這個(gè)領(lǐng)域工作了這么久。我只是好奇，我們是不是已經(jīng)越界，進(jìn)入了真人秀的范疇？

Jerry Tworek：但問(wèn)題是，究竟是誰(shuí)在制造這場(chǎng)肥皂劇呢？肯定不是我。

主持人：我的年齡足以讓我親歷互聯(lián)網(wǎng)泡沫，以及更早幾個(gè)技術(shù)周期。而這一次的感覺(jué)，確實(shí)更像一場(chǎng)肥皂劇。即便回想當(dāng)年的生產(chǎn)力軟件大戰(zhàn)，事情也并非如此。

很大一部分原因在于，今天的利害關(guān)系實(shí)在過(guò)于巨大。牽涉的資金規(guī)模、研究人員在各個(gè)實(shí)驗(yàn)室之間的流動(dòng)，再加上一連串高度戲劇化的事件，這些因素疊加在一起，讓整個(gè)局勢(shì)長(zhǎng)期處于緊繃狀態(tài)。

從一開(kāi)始我就有一種強(qiáng)烈的感覺(jué)：舊金山仿佛為自己創(chuàng)造了一個(gè)獨(dú)立的世界。與其說(shuō)這是泡沫，不如說(shuō)是我們彼此不斷說(shuō)服自己，這就是終局，賭注巨大，這是一場(chǎng)競(jìng)賽，既可能極其精彩，也可能極其糟糕。一切都高度緊張，也因此帶來(lái)了額外的心理負(fù)擔(dān)。

所以我確實(shí)覺(jué)得，這一次很不一樣。互聯(lián)網(wǎng)泡沫時(shí)期，一切源于一個(gè)簡(jiǎn)單而天真的念頭：這太酷了，世界上所有的信息都觸手可及，人可以彼此連接。公司是后來(lái)才出現(xiàn)的，金錢(qián)競(jìng)爭(zhēng)更是逐漸浮現(xiàn)的結(jié)果。而現(xiàn)在卻仿佛從一開(kāi)始，整個(gè)世界的重量就壓在了這件事情上。

老實(shí)說(shuō)，我不知道你們是怎么撐過(guò)來(lái)的。我看到無(wú)論是OpenAI、Anthropic還是其他實(shí)驗(yàn)室，都在拼命工作、彼此競(jìng)爭(zhēng)，而賭注又如此之高。連續(xù)七八年處在這樣的狀態(tài)里，任何人都會(huì)被消耗。我完全理解，為什么你會(huì)想停下來(lái)休息一段時(shí)間。

這不僅是體力上的消耗，更是心理上的磨損。因?yàn)橐坏┠阏嬲邮芰诉@種設(shè)定，它本身就會(huì)不斷侵蝕你。

Jerry Tworek：確實(shí)，這一切都會(huì)帶來(lái)心理上的損耗。不過(guò)我可以告訴你，曾經(jīng)有一位在應(yīng)對(duì)壓力方面比我經(jīng)驗(yàn)豐富得多的人對(duì)我說(shuō)過(guò)一句話：每經(jīng)歷一次高壓時(shí)刻，就像是做了一次俯臥撐，你對(duì)壓力的承受能力都會(huì)稍微增強(qiáng)一點(diǎn)。

坦率地說(shuō)這七年的工作確實(shí)鍛煉了我極強(qiáng)的心理與情感韌性。至少我真切地感覺(jué)到，自己能夠屏蔽掉大量噪音和無(wú)謂的干擾，在無(wú)論發(fā)生什么情況時(shí)，都盡量保持穩(wěn)定和堅(jiān)定，不管是公司瀕臨崩潰、研究人員頻繁流動(dòng)，還是項(xiàng)目被不斷重新分配。

總會(huì)有一些事情發(fā)生。我也聽(tīng)到有人把人才挖角比作體育隊(duì)的轉(zhuǎn)會(huì)。體育聯(lián)盟之所以能相對(duì)有序地運(yùn)作，在于它們有清晰的角色分工，以及明確的轉(zhuǎn)會(huì)規(guī)則，何時(shí)可以流動(dòng)，何時(shí)不能流動(dòng)。遺憾的是，加州法律在這方面幾乎沒(méi)有真正的限制。

我確實(shí)認(rèn)為，如果能在這方面建立一些規(guī)則，或許會(huì)是一件好事。因?yàn)樵谶@個(gè)行業(yè)里，確實(shí)存在這樣一種現(xiàn)象：有些人頻繁地更換工作，而真正投入到工作的時(shí)間，反而顯得更少。這種情況正在發(fā)生，而且并不罕見(jiàn)。

主持人：那么，給AI領(lǐng)域加上工資帽怎么樣？

Jerry Tworek：確實(shí)有些人在頻繁跳槽，也有些人仍然在堅(jiān)持工作，努力把前沿繼續(xù)向前推進(jìn)。不過(guò)，AI 毫無(wú)疑問(wèn)已經(jīng)是一門(mén)大生意了。

主持人：前兩天我還在和同事聊，我們需要列一份名單，上面包括所有在前沿AI機(jī)構(gòu)工作過(guò)的人，還要標(biāo)注他們?cè)诿恳粋€(gè)地方待了多久?？隙ㄖ辽儆胁簧偃送瓿闪恕盀硡^(qū)大滿貫”，每家都呆過(guò)。

十一、揭秘OpenAI內(nèi)部“波蘭黑手黨”：勤奮是項(xiàng)重要品質(zhì)

主持人：我們能聊聊“波蘭黑手黨”嗎？當(dāng)我剛開(kāi)始寫(xiě)這本關(guān)于OpenAI的書(shū)的時(shí)候，大概是2018年左右，那時(shí)整個(gè)公司里大約只有三十個(gè)人。這個(gè)最初的群體中，有相當(dāng)一部分來(lái)自波蘭，數(shù)量多得出人意料。他們幾乎都是數(shù)學(xué)天才，有些人從小就彼此認(rèn)識(shí)，有些則并非如此。

不過(guò)，這確實(shí)在某種程度上反映了蘇聯(lián)教育體系在數(shù)學(xué)人才培養(yǎng)方面的卓越之處，或者也可能只是因?yàn)?，只要有一個(gè)人先去了OpenAI，大家彼此認(rèn)識(shí)，就陸續(xù)跟著去了。

Jerry Tworek：就我個(gè)人而言，在最終加入OpenAI之前，我完全不認(rèn)識(shí)那里任何一個(gè)人，來(lái)到OpenAI純屬機(jī)緣巧合。

但在OpenAI的早期階段，波蘭人的比例確實(shí)非常高。我并不認(rèn)為這種趨勢(shì)能夠長(zhǎng)期持續(xù)?，F(xiàn)在，波蘭裔員工的絕對(duì)人數(shù)比早期更多了，但考慮到公司規(guī)模擴(kuò)大了上百倍，這個(gè)比例其實(shí)已經(jīng)不算高了。

不過(guò)，我們的教育系統(tǒng)確實(shí)有點(diǎn)東西。不過(guò)我沒(méi)有親身經(jīng)歷過(guò)其他教育體系，所以也無(wú)法真正判斷波蘭教育體系是否真的如此出色。

波蘭確實(shí)擁有很多杰出的人才。而我非常欣賞波蘭的一點(diǎn)，就是波蘭人非常勤奮。其實(shí)隨著時(shí)間推移，尤其是在許多發(fā)達(dá)國(guó)家，勤奮工作似乎越來(lái)越不被重視。生活變得更安逸了，人們有更多其他事情可以關(guān)注和優(yōu)先考慮，這本身也很正常。但波蘭人確實(shí)非?？粗厍趭^。

在我出生之前，波蘭還是一個(gè)共產(chǎn)主義國(guó)家。就在我出生的那一年，國(guó)家轉(zhuǎn)型為自由市場(chǎng)經(jīng)濟(jì)。這個(gè)過(guò)程相當(dāng)殘酷，但社會(huì)擁抱了這種變化，努力摸索如何變得更具創(chuàng)業(yè)精神，如何為自己的未來(lái)奮斗，如何實(shí)現(xiàn)經(jīng)濟(jì)繁榮。而事實(shí)證明，這是成功的。

我是一個(gè)移居海外的人，如今并不住在波蘭。但每次回去，大概一年一兩次吧，我都能清楚地看到國(guó)家在持續(xù)建設(shè)和發(fā)展。我看到它變得更好、更美麗、更繁榮。這真的是一個(gè)了不起的故事。

主持人：你在當(dāng)?shù)厮闶莻€(gè)名人嗎？我總覺(jué)得，波蘭政府可能在想：該死，我們本來(lái)可以把這件事做成的。我們當(dāng)初應(yīng)該把這些人都留下來(lái)。我去年去了波蘭，我知道他們已經(jīng)意識(shí)到這一點(diǎn)了。幾乎每個(gè)人都會(huì)問(wèn)：你認(rèn)識(shí)Wojciech（OpenAI聯(lián)合創(chuàng)始人之一，也是少數(shù)仍在OpenAI工作的早期OpenAI成員）嗎？

Jerry Tworek：Wojciech真的是一個(gè)了不起的人，非常友善。不過(guò)硅谷也是完全獨(dú)一無(wú)二的，雄心、規(guī)模以及活力，這并不是在世界任何地方都能輕易實(shí)現(xiàn)的。但我可以向你保證，波蘭人非常勤奮，而且能夠識(shí)破“忽悠”。這一點(diǎn)，在生活中真的能讓你走得很遠(yuǎn)。

十二、谷歌的回歸背后，是OpenAI在犯錯(cuò)

主持人：你對(duì)谷歌的回歸，或者說(shuō)重新崛起感到驚訝嗎？看起來(lái)他們做對(duì)了很多事情，你們一直都認(rèn)為他們最終能理清思路，然后迎頭趕上嗎？還是說(shuō)，這其實(shí)是個(gè)意外？

Jerry Tworek：我個(gè)人認(rèn)為，與其說(shuō)是谷歌的“回歸”，不如說(shuō)是OpenAI自己犯了一些錯(cuò)誤。盡管OpenAI做對(duì)了很多事情，但即便在理想環(huán)境下，它也犯過(guò)幾次錯(cuò)，執(zhí)行速度比本可以做到的要慢。

如果你是一家領(lǐng)先的公司，并且擁有OpenAI所具備的全部?jī)?yōu)勢(shì)，那么你理應(yīng)始終保持領(lǐng)先。但如果你在這個(gè)過(guò)程中做出了錯(cuò)誤決策，而別人做出了正確決策，那么別人就會(huì)趕上來(lái)。

谷歌確實(shí)做對(duì)了很多事情，他們?cè)谟布⑷瞬诺确矫鎿碛芯薮蟮慕Y(jié)構(gòu)性優(yōu)勢(shì)。當(dāng)OpenAI剛起步時(shí)，谷歌在幾乎所有機(jī)器學(xué)習(xí)與研究方向上都是明顯的第一名。

OpenAI能夠脫穎而出，主要源于對(duì)某一特定方向、特定路徑的堅(jiān)定研究信念。而世界花了極其漫長(zhǎng)的時(shí)間，才意識(shí)到這是一個(gè)很好的信念、一個(gè)很好的方向。

即便在GPT-2、GPT-3、GPT-3.5被訓(xùn)練出來(lái)的時(shí)候，也并沒(méi)有太多人真正放在心上。你去NeurIPS和研究人員交流，大家會(huì)覺(jué)得OpenAI挺酷，但其他實(shí)驗(yàn)室往往會(huì)說(shuō)：嗯，我們遲早也能復(fù)現(xiàn)。那些大語(yǔ)言模型挺有意思，但也就那樣。

只有當(dāng)OpenAI開(kāi)始通過(guò)ChatGPT真正賺錢(qián)時(shí)，其他公司才突然意識(shí)到：哦，這東西現(xiàn)在能盈利了，我們真的需要做這件事了。

這給了OpenAI一個(gè)極其漫長(zhǎng)的時(shí)間窗口，從構(gòu)建技術(shù)到實(shí)現(xiàn)商業(yè)化，而其他人直到后來(lái)才意識(shí)到“我們真的、真的需要做了”。谷歌也是從那時(shí)起才開(kāi)始認(rèn)真對(duì)待大語(yǔ)言模型的訓(xùn)練。

而由于OpenAI沒(méi)能充分把握住自己的領(lǐng)先優(yōu)勢(shì)，谷歌如今在模型能力和訓(xùn)練方面已經(jīng)非常、非常接近了。對(duì)谷歌來(lái)說(shuō)，這是件好事，我會(huì)給他們送上祝賀，因?yàn)樗麄兣まD(zhuǎn)了局面、并且執(zhí)行得非常出色。

主持人：有哪些失誤？我記得當(dāng)時(shí)我報(bào)道你們推出搜索功能時(shí)，外界的說(shuō)法是：OpenAI推出搜索，谷歌要完了。我當(dāng)時(shí)就想，我并不確定會(huì)是這樣。那么，具體的失誤是什么呢？

Jerry Tworek：我不太想深入討論內(nèi)部決策的細(xì)節(jié)，哪些是對(duì)的，哪些是錯(cuò)的。但我再?gòu)?qiáng)調(diào)一次：在理想的執(zhí)行情況下，如果你一開(kāi)始就領(lǐng)先，你本應(yīng)保持領(lǐng)先。

十三、OpenAI需要加快進(jìn)度，Anthropic令人欽佩

主持人：看起來(lái)你認(rèn)為OpenAI存在一些技術(shù)層面的失誤，同時(shí)公司內(nèi)部的一些戲劇性事件在某些階段拖慢了進(jìn)度。我和足夠多的OpenAI內(nèi)部人士聊過(guò)，他們一直在思考公司該如何繼續(xù)向前。然后在某個(gè)階段，一批關(guān)鍵人物離開(kāi)了。但聽(tīng)起來(lái)，你剛才更多是在談技術(shù)層面的問(wèn)題。

Jerry Tworek：這些事情有時(shí)是相關(guān)的。從技術(shù)上講，我并不認(rèn)為人員流動(dòng)本身是一個(gè)嚴(yán)重問(wèn)題。在任何公司，人來(lái)人往都應(yīng)該是正常的現(xiàn)象。但有時(shí)，人員離開(kāi)確實(shí)是問(wèn)題的征兆。

但如果公司有人說(shuō)：“有人在做錯(cuò)誤的事情，我們不再相信這家公司了，我們應(yīng)該離開(kāi)”，那可能確實(shí)說(shuō)明存在更深層次的問(wèn)題。不過(guò)，正如我之前所說(shuō)，有些事情的進(jìn)展速度顯然是可以更快的。

主持人：正如你所說(shuō)，各大實(shí)驗(yàn)室在總體方向上做的是類似的事情。那么Meta在某種程度上算是后來(lái)者。雖然他們?cè)缇蜕孀鉇I，但現(xiàn)在看起來(lái)，他們是想用不同方式來(lái)做這件事，同時(shí)從其他公司挖人。

我不太清楚Meta具體在做什么，但給我的感覺(jué)是，他們并不是要走出一條真正不同的道路，而是想走同一條路。這在我看來(lái)是一個(gè)根本性的問(wèn)題。你來(lái)得晚了一點(diǎn)，卻在做和別人一樣的事情，結(jié)果可能不會(huì)太好。你覺(jué)得他們真的有不同的方法嗎？

Jerry Tworek：我對(duì)他們的策略并不是特別熟悉，所以無(wú)法確定。但從外部來(lái)看，我覺(jué)得他們意識(shí)到了一點(diǎn)：在當(dāng)前的AI世界里，你可以用兩種方式來(lái)思考你想做什么。

一種是，我們想打造一個(gè)在某些方面明顯優(yōu)于他人的模型；另一種是，我想打造一個(gè)和別人同樣優(yōu)秀的模型，但以不同的方式去使用它，或者圍繞它構(gòu)建不同的產(chǎn)品。

就我對(duì)Meta的理解而言，這家公司關(guān)注的是連接人、建立關(guān)系、打造體驗(yàn)，無(wú)論是元宇宙、社交網(wǎng)絡(luò)，還是其他形式的體驗(yàn)。我再?gòu)?qiáng)調(diào)一次，這只是我的推測(cè)，但我認(rèn)為他們的思路是，利用行業(yè)已經(jīng)理解并掌握的AI技術(shù)和Transformer，來(lái)嘗試構(gòu)建這些體驗(yàn)。

從一家極其盈利、擁有全球最大社交網(wǎng)絡(luò)的公司角度來(lái)看，這可能是一種相當(dāng)不錯(cuò)的策略。

主持人：我們剛剛談到了谷歌的回歸。在OpenAI與其他公司的持續(xù)競(jìng)爭(zhēng)中，有沒(méi)有某個(gè)AI Lab給留下了特別深刻的印象？

Jerry Tworek：我得說(shuō)，這是最近才發(fā)生的變化，但在過(guò)去一年里，我對(duì)Anthropic的欽佩程度確實(shí)大幅上升。我從來(lái)都不是特別關(guān)注模型“個(gè)性”的那種人。雖然我聽(tīng)說(shuō)Claude的個(gè)性不錯(cuò)，也許吧。

但他們?cè)诰幊棠Ｐ秃途幊讨悄荏w方面所做的事情，他們圍繞這些成果建立的品牌以及他們所擁有的大量開(kāi)發(fā)者，這些絕對(duì)是令人震驚的成就。

Anthropic起步更晚，計(jì)算資源受限，團(tuán)隊(duì)規(guī)模也更小，在獲取優(yōu)質(zhì)算力和硬件方面遇到了許多困難，但他們依然成功構(gòu)建了卓越的產(chǎn)品。這些產(chǎn)品正在改變?nèi)藗冮_(kāi)發(fā)軟件的方式，并且據(jù)我所知，顯著提升了企業(yè)生產(chǎn)力。祝賀他們。

主持人：他們似乎正處在一個(gè)高光時(shí)刻。我認(rèn)識(shí)的每一個(gè)人都在談?wù)揅laude Code，但我確實(shí)不知道，他們是如何做出一個(gè)如此出色、像ChatGPT一樣被廣泛喜愛(ài)的Claude Code的。似乎很多實(shí)驗(yàn)室確實(shí)在借鑒這個(gè)工具，還有些實(shí)驗(yàn)室被斷供了。

Jerry Tworek：是的。在OpenAI，我們也在開(kāi)發(fā)Codex，這是我們自己的編程工具，它也挺不錯(cuò)的。有意思的是，我自己其實(shí)并沒(méi)有怎么用過(guò)Claude Code。畢竟我當(dāng)時(shí)受雇于OpenAI，所以沒(méi)怎么用過(guò)。

所以我真的說(shuō)不太準(zhǔn)。但我覺(jué)得Codex不是一個(gè)壞產(chǎn)品。只不過(guò)，從Twitter上的情緒來(lái)看，Claude確實(shí)深受全球開(kāi)發(fā)者的喜愛(ài)。

十四、AI圈缺乏專注度已成普遍問(wèn)題，OpenAI很難“集中力量辦大事”

主持人：根據(jù)我們之前的對(duì)話，你似乎在智識(shí)層面上對(duì)科學(xué)懷有濃厚興趣。你關(guān)于推理的研究，源自你想創(chuàng)造“AI科學(xué)家”的長(zhǎng)期愿景。當(dāng)我看到你宣布離開(kāi)的那條推文時(shí)，我就在想，你究竟是會(huì)繼續(xù)留在這場(chǎng)以基礎(chǔ)模型為中心的競(jìng)賽中，還是會(huì)走一條不同的道路。我感覺(jué)你可能會(huì)進(jìn)入生物技術(shù)領(lǐng)域，或類似的方向，以一種相當(dāng)不同的方式去追求這個(gè)目標(biāo)。

Jerry Tworek：如果我能克隆自己，去做多種不同的事情，我真的很想那樣做。但長(zhǎng)話短說(shuō)，在某些時(shí)刻我醒來(lái)，會(huì)意識(shí)到自己對(duì)一生中所取得的成就感到相當(dāng)滿足，也感到自豪。

但我現(xiàn)在真正想做的，是押注一兩個(gè)重大的研究方向，并竭盡全力讓它們成功。我認(rèn)為人們應(yīng)該愿意承擔(dān)風(fēng)險(xiǎn)。我是那種愿意嘗試瘋狂想法、擁有極高風(fēng)險(xiǎn)承受能力的人之一。我覺(jué)得我應(yīng)該把這種能力用在一些有益的事情上。

主持人：把你腦海中的想法真正落地，需要多長(zhǎng)時(shí)間？這是一個(gè)一年的項(xiàng)目嗎？還是你所說(shuō)的“高風(fēng)險(xiǎn)”，需要投入四五年的人生，去追逐一個(gè)可能并不比現(xiàn)有技術(shù)更好的東西？

Jerry Tworek：我絕對(duì)愿意投入大量時(shí)間。同時(shí)，我也認(rèn)為人們應(yīng)該快速執(zhí)行，做事慢并不是值得驕傲的理由。為了在研究項(xiàng)目上執(zhí)行得好，我希望能盡快做好。

但真正重要的部分，還是我之前提到的：專注和信念。如果你同時(shí)做很多不同的事情，就會(huì)分散你的注意力，分散你的資源。盡管AI Lab經(jīng)常說(shuō)他們受限于計(jì)算資源，因此研究變慢了，這也確實(shí)是重要的影響因素之一。但很多時(shí)候，更常見(jiàn)、更普遍的問(wèn)題，其實(shí)是缺乏專注力。畢竟，你每天能分配的注意力是有限的。

我經(jīng)常告訴我合作的研究人員：減少實(shí)驗(yàn)次數(shù)，但要對(duì)每一次實(shí)驗(yàn)思考得更深入。因?yàn)橛袝r(shí)候，即便只是花時(shí)間，比如幾個(gè)小時(shí)，不運(yùn)行任何程序，僅僅更仔細(xì)地分析實(shí)驗(yàn)數(shù)據(jù)，相比于運(yùn)行更多實(shí)驗(yàn)，反而更容易帶來(lái)突破。

主持人：像OpenAI這樣擁有大量計(jì)算資源的機(jī)構(gòu)，其實(shí)只是把資源分散在了太多項(xiàng)目上。實(shí)際上，如果把這些資源集中到更少的項(xiàng)目中，算力本身是完全足夠的。

Jerry Tworek：這又回到了風(fēng)險(xiǎn)承擔(dān)和信念的問(wèn)題。如果你同時(shí)做三個(gè)項(xiàng)目，其中一個(gè)成功了，另外兩個(gè)可能被放棄。如果三個(gè)都成功了，那當(dāng)然非常棒，但如果你只做一個(gè)項(xiàng)目，會(huì)推進(jìn)得快得多，因?yàn)槟憧梢愿訉Ｗⅲ拍钜哺訄?jiān)定。

當(dāng)然，如果項(xiàng)目最后失敗了，麻煩就大了，但如果成功了，就可能擁有世界上最好的模型。

對(duì)OpenAI來(lái)說(shuō)，目前要讓整個(gè)公司集中力量去做一些全新的、完全不同的事情，是有點(diǎn)困難的。要讓我們完全不在乎Gemini下個(gè)季度會(huì)不會(huì)有更好的模型，也非常難做到。

這樣的事情絕對(duì)需要一種特定類型的人，只有這種人才愿意去承擔(dān)風(fēng)險(xiǎn)。這正是關(guān)鍵所在。

主持人：我知道你不能談?wù)撃切┧^的“秘密配方”。但我還是很好奇，OpenAI正在朝哪個(gè)方向發(fā)展？或者至少，從宏觀上看，他們把資源投向了哪里？最近OpenAI給ChatGPT加廣告的消息刷爆了全網(wǎng)。

Jerry Tworek：我不應(yīng)該、也不能談?wù)揙penAI的任何計(jì)劃。

主持人：你覺(jué)得，在這些模型公司中，會(huì)不會(huì)有哪一家有勇氣像OpenAI一樣加入廣告？也許“勇氣”這個(gè)詞并不準(zhǔn)確，因?yàn)椴环艔V告可能本身就是一個(gè)糟糕的決定。廣告變現(xiàn)是不是不可避免的？

Jerry Tworek：這是一個(gè)商業(yè)策略問(wèn)題，而我的工作是訓(xùn)練模型。

十五、OpenAI真正擅長(zhǎng)的是“1到100”，驅(qū)動(dòng)創(chuàng)新的是“運(yùn)作方式”

主持人：我并不是想為難你，只是在進(jìn)行了這次完整的對(duì)話之后，我仍然在試圖理清一些想法。當(dāng)你談到你想要追求的新方向時(shí)，你確實(shí)需要一定的“馬力”。你會(huì)自己進(jìn)行嘗試，還是必須身處一個(gè)擁有足夠“能量”的地方，才能進(jìn)行你想做的研究？

Jerry Tworek：這是我目前正在努力理解的首要問(wèn)題。每一項(xiàng)AI研究仍然需要GPU，需要算力，我需要考慮什么才是最好的方式。

主持人：這是波蘭的機(jī)會(huì)。他們需要給你一個(gè)國(guó)家級(jí)數(shù)據(jù)中心。

Jerry Tworek：這個(gè)主意或許不錯(cuò)。我還在逐漸理清自己的速錄，我知道自己想做哪些類型的研究，也在不斷嘗試弄清楚，什么才是實(shí)現(xiàn)它們的最佳路徑。

我不止一次聽(tīng)別人說(shuō)，你離職后比以前快樂(lè)多了。我從一個(gè)現(xiàn)在自己創(chuàng)業(yè)的人那里聽(tīng)說(shuō)，在OpenAI工作比創(chuàng)業(yè)壓力還要更大，這讓我非常震驚。OpenAI確實(shí)是一個(gè)相當(dāng)有壓力的地方。

主持人：最后一個(gè)問(wèn)題，除了大家追逐的東西過(guò)于相似之外，你有沒(méi)有觀察到AI領(lǐng)域內(nèi)其他的重大錯(cuò)誤？

Jerry Tworek：我不認(rèn)為存在什么巨大的錯(cuò)誤。因?yàn)橐屗腥硕挤赶峦粋€(gè)巨大錯(cuò)誤，其實(shí)很難。我覺(jué)得這里只有一個(gè)真正的問(wèn)題：如何在探索和延續(xù)原有技術(shù)路線之間取得平衡？

主持人：我剛才那個(gè)問(wèn)題可能問(wèn)得不太好，我更想問(wèn)的是，在研究界中，是否存在一些你認(rèn)為被低估了、沒(méi)有得到世界足夠關(guān)注的想法？

Jerry Tworek：說(shuō)實(shí)話，這樣的想法有很多，但它們最需要的，其實(shí)只是多一點(diǎn)關(guān)注、多一點(diǎn)計(jì)算資源，以及多一點(diǎn)為之奮斗的精神。

我覺(jué)得有一點(diǎn)比較獨(dú)特：很多研究人員喜歡做從0到1的工作。很多學(xué)術(shù)研究正是如此，創(chuàng)造出一些全新的想法，證明它在某種程度上是可行的，然后就把它發(fā)表出來(lái)。

而我認(rèn)為，我和我在OpenAI的團(tuán)隊(duì)真正擅長(zhǎng)的，以及我覺(jué)得我們做得非常出色的一點(diǎn)，是把研究從1推進(jìn)到100，也就是采納那些不同的、我們以前沒(méi)有做過(guò)、但已經(jīng)初步被驗(yàn)證的想法，并找出如何讓它們?cè)诖笠?guī)模訓(xùn)練前沿模型時(shí)，可靠地工作，同時(shí)還要整合許多其他相關(guān)因素。

這正是大量學(xué)術(shù)研究所欠缺的東西。概念驗(yàn)證當(dāng)然很酷，但要用某種特定技術(shù)訓(xùn)練出世界上最有能力的模型之一，需要做大量非常具體、細(xì)致的工作。如果方法不對(duì)，可能需要數(shù)年時(shí)間，但如果你有合適的算法，知道如何引入這些東西，可能只需要幾個(gè)月。這正是我未來(lái)想多多嘗試的事情。

主持人：當(dāng)我們談到OpenAI的一些人員離職時(shí)，你曾說(shuō)，公司應(yīng)該能夠承受這些損失。但AI領(lǐng)域在某種程度上似乎一直是由“明星”驅(qū)動(dòng)的，比如Alec Radford這樣的明星人物。挖人的行為也是持續(xù)不斷。

從這些實(shí)驗(yàn)室的行為來(lái)看，顯然這些公司認(rèn)為AI一個(gè)由研究明星驅(qū)動(dòng)的領(lǐng)域。我很好奇你的看法。你剛才似乎對(duì)這個(gè)問(wèn)題有些猶豫。行業(yè)中既有整個(gè)學(xué)界、整個(gè)領(lǐng)域長(zhǎng)期積累的工作，也有一些關(guān)鍵時(shí)刻和重大的突破來(lái)自極少數(shù)個(gè)人。

Jerry Tworek：這是一個(gè)相當(dāng)復(fù)雜的話題，但我覺(jué)得兩件事可以同時(shí)成立。很多時(shí)候，就像你在OpenAI看到的那樣，確實(shí)是極少數(shù)個(gè)人產(chǎn)生了超乎尋常的影響，推動(dòng)了一系列完全開(kāi)創(chuàng)性的成果，并將其擴(kuò)散到整個(gè)行業(yè)。我一次又一次地看到這種情況發(fā)生。

但與此同時(shí)，每當(dāng)我看到人們換公司時(shí)，我很少看到這對(duì)原公司造成真正重大的影響。公司本身的特質(zhì)，或者說(shuō)一種近乎“運(yùn)作方式”的東西，才是真正的研究引擎，而不是某一個(gè)特定研究員是否還在這里。

我也觀察到，那些在公司之間跳槽的研究員，往往在新環(huán)境中并沒(méi)有那么高效。即使他們過(guò)去常常做出偉大的工作，來(lái)到新地方后，也可能變得有些分心，需要時(shí)間適應(yīng)環(huán)境，或者暫時(shí)沒(méi)有特別新鮮的想法。

當(dāng)然，在這個(gè)領(lǐng)域的經(jīng)驗(yàn)肯定能帶來(lái)一些優(yōu)勢(shì)，但更重要的是，創(chuàng)造一種個(gè)人責(zé)任感強(qiáng)、允許探索、能夠賦能人們?nèi)プ龃笫碌姆諊?/p>

而且，無(wú)論是這批人，還是另一批人，都完全有可能組建出許多能夠做出偉大成果的團(tuán)隊(duì)。我并不認(rèn)為某個(gè)特定的人是不可替代的。在我看來(lái)，良好的研究結(jié)構(gòu)、良好的研究文化、良好的協(xié)作方式，遠(yuǎn)比某個(gè)具體的人是否在你的團(tuán)隊(duì)中重要得多。