前言：

今日，OpenAI大神，聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya的最新訪談視頻發(fā)布。這是很久以來(lái)Ilya再次出來(lái)做了長(zhǎng)篇訪談，和之前一些短暫露面里的惜字如金不同，Ilya在這個(gè)訪談里干貨滿滿，涉及了AI研究的最新進(jìn)展以及OpenAI的策略等等。

（喜歡看訪談全長(zhǎng)中字視頻的同學(xué)請(qǐng)關(guān)注“Web3天空之城”B站號(hào)，即將發(fā)布）

以下是城主摘的部分Highlight：

• 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程幾乎可以看作是求解神經(jīng)方程，其中每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)方程，每個(gè)參數(shù)都是一個(gè)變量。

• OpenAI從一開始的目標(biāo)就是確保通用人工智能，即能夠真正完成人類所做的大部分工作、活動(dòng)和任務(wù)的人工智能，造福全人類。OpenAI的目標(biāo)并沒有隨著時(shí)間的推移而演變，戰(zhàn)術(shù)卻隨著時(shí)間的推移而演變。

• 在某些時(shí)候，我們意識(shí)到如果你訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)，一個(gè)非常非常大的Transformer來(lái)越來(lái)越好地預(yù)測(cè)文本，就會(huì)發(fā)生一些非常令人驚訝的事情。這個(gè)認(rèn)識(shí)也是一點(diǎn)點(diǎn)慢慢到來(lái)的。

• 對(duì)我個(gè)人而言，最大的覺醒時(shí)刻是從GPT-2過(guò)渡到GPT-3，這一步驟中的功能和能力的提升是巨大的。

• 我想也許最令人驚訝的是，最令人驚訝的是，如果我必須選擇一個(gè)，那就是當(dāng)我與之交談時(shí)，我感到被理解了。

• 我們有一些自上而下的想法，我們認(rèn)為應(yīng)該可行，但我們并不能 100% 確定。所以我們需要有好的自上而下的想法。在這些自上而下的想法的指導(dǎo)下，也有很多自下而上的探索。它們的結(jié)合告訴我們下一步該做什么。

• 事情正在發(fā)生的（最）重大變化無(wú)疑是這些模型變得越來(lái)越可靠?？煽啃缘囊馑际钱?dāng)你提出的問題并不比模型成功解決的其他問題難多少時(shí)，你就非常有信心它將繼續(xù)取得成功。

• 7B，13B等規(guī)模的模型研究并不是浪費(fèi)，大模型會(huì)比小模型更好，但并非所有應(yīng)用程序都能證明大模型的成本是合理的。

• 完成一些大型而復(fù)雜的任務(wù)的模型如果是開源的，它們將產(chǎn)生難以預(yù)測(cè)的后果。

• 總有一天，你會(huì)擁有可以自主進(jìn)行科學(xué)研究的模型，比如構(gòu)建、交付大型科學(xué)項(xiàng)目。至于這種能力的模型是否應(yīng)該開源就變得更加復(fù)雜。

• 我們有人工神經(jīng)元、生物神經(jīng)元、生物智能的統(tǒng)一大腦架構(gòu)、人工智能的統(tǒng)一神經(jīng)網(wǎng)絡(luò)架構(gòu)。那么，我們應(yīng)該何時(shí)開始將這些系統(tǒng)視為數(shù)字生活呢？我認(rèn)為，當(dāng)這些系統(tǒng)變得可靠且高度自治時(shí)，這種情況就會(huì)發(fā)生。

• 我們將擁有比人類聰明得多的計(jì)算機(jī)、數(shù)據(jù)中心，這似乎一點(diǎn)也不令人難以置信。我所說(shuō)的“更聰明”并不是指擁有更多的記憶力或擁有更多的知識(shí)，而是指對(duì)我們正在研究和研究的同一主題有更深入的了解。這意味著比人學(xué)得更快。

• 我希望任何這種超級(jí)智能的實(shí)例都能對(duì)人類產(chǎn)生溫暖的感情。這就是我們正在做的超級(jí)對(duì)齊項(xiàng)目。親和人類社會(huì)的人工智能，這是我們的目標(biāo)。

=以下是本次Ilya訪談的天空之城文字整理版=

主持人：

OpenAI，這是一家我們現(xiàn)在都熟知的公司，然而一年前，它只有100名員工，卻正在改變世界。他們的研究正在引領(lǐng)通用人工智能的發(fā)展。自去年11月ChatGPT吸引了消費(fèi)者的關(guān)注以來(lái)，他們的發(fā)展勢(shì)頭并未有任何放緩的跡象。本周，我們有幸與OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever進(jìn)行了深入的交談，我們討論了人工智能研究的現(xiàn)狀、我們將在哪些方面達(dá)到極限、通用人工智能的未來(lái)，以及如何實(shí)現(xiàn)超級(jí)一致性。

伊利亞，歡迎來(lái)到播客。

非常高興來(lái)到這里。

Ilya自己在深度學(xué)習(xí)領(lǐng)域的研究經(jīng)歷

主持人：

我們從最初的深度學(xué)習(xí)開始討論。在AlexNet出現(xiàn)之前，深度學(xué)習(xí)中沒有任何東西真正有效。然后考慮到當(dāng)時(shí)的環(huán)境，你們下了一個(gè)非常獨(dú)特的賭注。是什么促使你朝這個(gè)方向發(fā)展？

Ilya：

在那個(gè)黑暗時(shí)代，人工智能并不是一個(gè)人們抱有希望的領(lǐng)域，人們根本不習(xí)慣任何形式的成功。由于沒有取得任何成功，因此引發(fā)了很多爭(zhēng)論，不同的思想流派對(duì)機(jī)器學(xué)習(xí)和人工智能應(yīng)該如何發(fā)展有不同的爭(zhēng)論。有人熱衷于老式人工智能的知識(shí)表示。有些人是貝葉斯主義者，他們喜歡貝葉斯非參數(shù)方法。有人喜歡圖形模型，有人喜歡神經(jīng)網(wǎng)絡(luò)。這些人被邊緣化，因?yàn)樯窠?jīng)網(wǎng)絡(luò)不具備無(wú)法證明關(guān)于他們的數(shù)學(xué)定理的特性。如果你不能證明某件事的定理，那就意味著你的研究不好。

但是，我從一開始就被神經(jīng)網(wǎng)絡(luò)所吸引，因?yàn)槲矣X得這些都是小大腦，誰(shuí)在乎你是否能證明關(guān)于它們的任何定理，因?yàn)槲覀冋谟?xùn)練小大腦，也許它們會(huì)變成，也許它們有一天會(huì)做某事。

我們之所以能夠做到AlexNet，是兩三個(gè)因素的結(jié)合。第一個(gè)因素是，這是在GPU開始用于機(jī)器學(xué)習(xí)之后不久。人們有一種直覺，認(rèn)為這是一件好事，但當(dāng)時(shí)人們并不像今天那樣確切地知道GPU的用途。他們想，讓我們玩一下那些又酷又快的計(jì)算機(jī)，看看我們能用它們做什么。它特別適合神經(jīng)網(wǎng)絡(luò)。所以這絕對(duì)對(duì)他們有幫助。

我非常幸運(yùn)，因?yàn)橐庾R(shí)到神經(jīng)網(wǎng)絡(luò)的原因是因?yàn)樗鼈兲×恕?/strong>就像如果你嘗試用神經(jīng)網(wǎng)絡(luò)解決視覺任務(wù)一樣，它有大約一千個(gè)神經(jīng)元，它能做什么？它什么也做不了。你的學(xué)習(xí)有多好以及其他一切并不重要。但如果你有一個(gè)更大的神經(jīng)網(wǎng)絡(luò)，它將做出前所未有的事情。

主持人：

是什么讓你有這樣的直覺？

我認(rèn)為當(dāng)時(shí)認(rèn)為盡管你的觀點(diǎn)是這樣的，但很多人腦在某種意義上都是以這種方式或不同的生物神經(jīng)回路工作的，這是相當(dāng)逆向的。但我只是很好奇，是什么讓你很早就有直覺認(rèn)為這是一個(gè)好的方向？

Ilya：

看看大腦，特別是那里，如果你喜歡的話，所有這些事情都會(huì)很容易發(fā)生。如果你允許自己，如果你現(xiàn)在允許自己接受這個(gè)想法，那么這個(gè)想法就會(huì)被很好地接受。

當(dāng)時(shí)人們還在談?wù)撍?，但他們還沒有真正接受它或內(nèi)化這樣的想法：也許人工神經(jīng)元在某種意義上與生物神經(jīng)元沒有什么不同。所以現(xiàn)在無(wú)論你想象動(dòng)物用大腦做什么，你也許都可以組裝一些。類似大小的人工神經(jīng)網(wǎng)絡(luò)。也許如果你訓(xùn)練它，它也會(huì)做類似的事情。所以這就導(dǎo)致了這一點(diǎn)。

這會(huì)讓你開始想象，好吧，就像想象神經(jīng)網(wǎng)絡(luò)正在完成的計(jì)算一樣。你幾乎可以想象，如果你有一張高分辨率圖像，并且你有一個(gè)神經(jīng)元來(lái)處理一大組像素，那么神經(jīng)元能做什么？如果你有很多神經(jīng)元，那么它們實(shí)際上可以做一些事情并計(jì)算一些東西。因此，我認(rèn)為這是一種基于深思熟慮的觀點(diǎn)和技術(shù)實(shí)現(xiàn)的結(jié)合。

技術(shù)實(shí)現(xiàn)的關(guān)鍵在于，如果你有一個(gè)大型訓(xùn)練集來(lái)指導(dǎo)神經(jīng)網(wǎng)絡(luò)的行為，且訓(xùn)練集足夠大，那么你就能有效地約束大型神經(jīng)網(wǎng)絡(luò)。此外，如果你找到了訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法，那么我們所做的就是將訓(xùn)練集轉(zhuǎn)化為滿足訓(xùn)練集要求的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程幾乎可以看作是求解神經(jīng)方程，其中每個(gè)數(shù)據(jù)點(diǎn)都是一個(gè)方程，每個(gè)參數(shù)都是一個(gè)變量。因此，這是一個(gè)多方面的問題。我們需要意識(shí)到，更大的神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)一些前所未有的功能。

如果你有一個(gè)大型數(shù)據(jù)集和計(jì)算能力來(lái)求解神經(jīng)方程，那么這就是梯度下降，但它并不僅僅是梯度下降。梯度下降的方法已經(jīng)存在很長(zhǎng)時(shí)間了，關(guān)鍵在于如何運(yùn)用一些技術(shù)見解來(lái)使其發(fā)揮作用。因?yàn)樵谶^(guò)去，人們普遍認(rèn)為，你無(wú)法訓(xùn)練這些神經(jīng)網(wǎng)絡(luò)，這是一種絕望的情況。所以這不僅僅是尺寸的問題。即使有人確實(shí)認(rèn)為訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)會(huì)很酷，他們也沒有技術(shù)能力將這個(gè)想法變成現(xiàn)實(shí)。你不僅需要對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行編碼，還需要正確地完成許多其他事情，只有這樣，它才會(huì)起作用。

另一個(gè)幸運(yùn)的事情是我與Alex Krizhevsky一起工作，他非常喜歡GPU，并且可能是第一個(gè)真正掌握為GPU編寫高性能代碼的人之一。這就是為什么我們能夠從兩個(gè)GPU中提取出大量的性能，做出一些前所未有的成果。

總的來(lái)說(shuō)，這是一個(gè)復(fù)雜的過(guò)程。一個(gè)大型神經(jīng)網(wǎng)絡(luò)，特別是一個(gè)具有多層的卷積神經(jīng)網(wǎng)絡(luò)，比我們以前做過(guò)的任何事情都要大，可以做出一些前所未有的事情。因?yàn)榇竽X本身就是一個(gè)巨大的神經(jīng)網(wǎng)絡(luò)，我們可以快速地看到事物，所以我們的神經(jīng)元沒有太多的時(shí)間。然后，我們需要計(jì)算和技術(shù)知識(shí)，實(shí)際上我們可以訓(xùn)練這樣的神經(jīng)網(wǎng)絡(luò)。但這并沒有廣泛傳播，大多數(shù)機(jī)器學(xué)習(xí)領(lǐng)域的人無(wú)法訓(xùn)練這樣的神經(jīng)網(wǎng)絡(luò)，即使他們?cè)敢狻?/p>

主持人：

從尺寸的角度來(lái)看，你們有什么特定的目標(biāo)嗎？或者，這是否是受生物學(xué)啟發(fā)的，或者這個(gè)數(shù)字來(lái)自哪里，或者是我們能達(dá)到的最大目標(biāo)？

Ilya：

（目標(biāo)）絕對(duì)是我們能做到的最大規(guī)模，因?yàn)檎?qǐng)記住，我們有一定數(shù)量的計(jì)算資源，我們可以有用地使用這些資源，然后看看它能做什么。

OpenAI研究目標(biāo)和思路的演變

主持人：

如果我們像思考OpenAI的起源和組織目標(biāo)一樣，最初的目標(biāo)是什么？隨著時(shí)間的推移，這個(gè)目標(biāo)是如何演變的？

Ilya：

目標(biāo)并沒有隨著時(shí)間的推移而演變，戰(zhàn)術(shù)卻隨著時(shí)間的推移而演變。

因此，OpenAI從一開始的目標(biāo)就是確保通用人工智能（我們指的是自主系統(tǒng)），即能夠真正完成人類所做的大部分工作、活動(dòng)和任務(wù)的人工智能，造福全人類。這就是從一開始的目標(biāo)。最初的想法是，也許最好的方法就是開源大量技術(shù)。后來(lái)我們也嘗試將其作為非營(yíng)利組織來(lái)做，這似乎非常明智。這就是目標(biāo)。非營(yíng)利組織就是這樣做的方法。

那么，發(fā)生了什么變化呢？在OpenAI的某個(gè)時(shí)刻，我們意識(shí)到，而且我們可能是最早意識(shí)到要在人工智能領(lǐng)域取得真正進(jìn)展的人之一，你需要大量的計(jì)算?，F(xiàn)在很多意味著什么？正如現(xiàn)在所清楚看到的那樣，對(duì)計(jì)算的需求確實(shí)是無(wú)窮無(wú)盡的，但我們意識(shí)到我們需要很多。非營(yíng)利組織不是實(shí)現(xiàn)這一目標(biāo)的途徑，也無(wú)法與非營(yíng)利組織一起建立一個(gè)大型集群。

這就是我們的目標(biāo)，我們轉(zhuǎn)變?yōu)檫@種不尋常的結(jié)構(gòu)，稱為CapProfit。據(jù)我所知，我們是世界上唯一一家CapProfit公司，但我們的想法就是這樣。投資者投入了一些資金，但即使公司表現(xiàn)出色，他們也只能在原始投資的基礎(chǔ)上獲得一定的乘數(shù)。原因和合理性在于，我們正在開發(fā)的技術(shù)，人工通用智能（AGI），可能具備完成人類所有任務(wù)的能力。

這引發(fā)了一個(gè)爭(zhēng)議性的問題：這是否意味著所有人都可能因此失業(yè)？我不能確定，但這并非不可能。如果這是真的，那么這種觀點(diǎn)就有其合理性。如果開發(fā)這種技術(shù)的公司不能無(wú)限創(chuàng)造利潤(rùn)，而是以創(chuàng)造無(wú)限利潤(rùn)為激勵(lì)，那么這種觀點(diǎn)就更有意義。然而，我并不確定在人工智能的競(jìng)爭(zhēng)環(huán)境下，事情是否真的會(huì)這樣發(fā)展。這可能會(huì)導(dǎo)致多家公司的出現(xiàn)，這對(duì)我所提出的觀點(diǎn)可能會(huì)產(chǎn)生一些不可預(yù)見的影響，但這仍然是我的看法。

主持人：

我記得在Y Combinator等地方，我曾經(jīng)參觀過(guò)辦公室，甚至在那里共享過(guò)一些空間。當(dāng)時(shí)有一系列不同的努力正在進(jìn)行，包括正在被操縱的機(jī)械臂，以及一些與視頻游戲相關(guān)的工作，這些都是最前沿的技術(shù)。那么，研究議程的演變以及推動(dòng)其沿著基于Transformer模型和其他形式學(xué)習(xí)的道路發(fā)展的因素是如何看待的呢？

Ilya：

自從我們創(chuàng)立OpenAI以來(lái)，我們的想法一直在演變。

在創(chuàng)立的第一年，我們做了一些相對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)工作。我之所以稱之為傳統(tǒng)，是因?yàn)槭澜缫呀?jīng)發(fā)生了巨大的變化，許多在2016年或2017年大家都知道的事情已經(jīng)完全被遺忘。那個(gè)時(shí)代幾乎就像石器時(shí)代一樣。在那個(gè)時(shí)代，機(jī)器學(xué)習(xí)的世界看起來(lái)非常不同，它更加學(xué)術(shù)化，目標(biāo)、價(jià)值觀和目的也更加學(xué)術(shù)化。他們的目標(biāo)是發(fā)現(xiàn)少量知識(shí)并與其他研究人員分享，最終獲得科學(xué)認(rèn)可。這是一個(gè)非常有效的目標(biāo)，也是非常容易理解的。我從事人工智能已經(jīng)20年了，我花在人工智能上的時(shí)間有一半以上都花在這個(gè)框架上。

然而，我意識(shí)到這并不是產(chǎn)生巨大影響的方法。因?yàn)槿绻阆胂驛GI應(yīng)該是什么樣子，它一定是某種使用大量計(jì)算的大型工程項(xiàng)目，對(duì)嗎？即使你不知道如何構(gòu)建它，你也知道這是你想要努力實(shí)現(xiàn)的理想。因此，你希望以某種方式轉(zhuǎn)向更大的項(xiàng)目，而不是小項(xiàng)目。因此，當(dāng)我們嘗試第一個(gè)大型項(xiàng)目時(shí)，我們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)玩實(shí)時(shí)策略游戲以及最好的人類游戲。這是Dota 2項(xiàng)目，由Jakub Pachocki和Greg Brockman兩個(gè)人推動(dòng)。他們成功地推動(dòng)了這個(gè)項(xiàng)目。這是我們第一次嘗試大型項(xiàng)目。但這對(duì)我們來(lái)說(shuō)并不是完全正確的公式，因?yàn)樯窠?jīng)網(wǎng)絡(luò)有點(diǎn)太小了。這只是一個(gè)狹窄的領(lǐng)域，只是一個(gè)游戲。

我們一直在尋找。在某些時(shí)候，我們意識(shí)到，嘿，如果你訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)，一個(gè)非常非常大的Transformer來(lái)越來(lái)越好地預(yù)測(cè)文本，就會(huì)發(fā)生一些非常令人驚訝的事情。這個(gè)認(rèn)識(shí)也是一點(diǎn)點(diǎn)慢慢到來(lái)的。我們正在探索生成模型。我們正在探索有關(guān)下一個(gè)單詞預(yù)測(cè)的想法。這些想法也與壓縮有關(guān)。我們正在探索它們。

Transformer出來(lái)了。我們真的很興奮。我們當(dāng)時(shí)想，這是最偉大的事情。我們現(xiàn)在要做Transformer。它顯然比之前的任何東西都要優(yōu)越。我們開始做Transformer。我們做了GPT-1。GPT-1開始顯示出非常有趣的生命跡象。這導(dǎo)致我們開發(fā)了GPT-2。然后最終是GPT-3。GPT-3的出現(xiàn)確實(shí)令許多人大為震驚，這項(xiàng)技術(shù)的吸引力無(wú)疑是巨大的。目前，每個(gè)人都在嘗試一個(gè)特定的公式，即在越來(lái)越多的數(shù)據(jù)上訓(xùn)練一個(gè)越來(lái)越大的Transformer。

對(duì)我個(gè)人而言，最大的覺醒時(shí)刻是從GPT-2過(guò)渡到GPT-3，這一步驟中的功能和能力的提升是巨大的。然后，OpenAI發(fā)布了一些非常有趣的文章，圍繞著不同的知識(shí)領(lǐng)域、專業(yè)領(lǐng)域、思想鏈或模型，研究了一些可以突然以緊急形式完成的其他事情。

隨著時(shí)間的推移，這些模型中的突發(fā)行為對(duì)我來(lái)說(shuō)最令人驚訝的是什么？這個(gè)問題很難回答，因?yàn)槲译x它太近了，我已經(jīng)看到了它每一步的進(jìn)展。盡管我很愿意，但我發(fā)現(xiàn)很難回答這個(gè)問題。如果我必須選擇一個(gè)，我想對(duì)我來(lái)說(shuō)最令人驚訝的事情可能是整個(gè)事情完全有效。這很難。我不確定我知道如何表達(dá)我在這里的想法，因?yàn)槿绻憧吹胶芏嗌窠?jīng)網(wǎng)絡(luò)做了令人驚奇的事情，那么，顯然神經(jīng)網(wǎng)絡(luò)是有效的。但多年來(lái)我親眼目睹了神經(jīng)網(wǎng)絡(luò)根本不起作用的世界是什么樣子。然后將其與我們今天的情況進(jìn)行對(duì)比，事實(shí)是他們?cè)诠ぷ鞑⑶易隽诉@些令人驚奇的事情。我想也許最令人驚訝的是，最令人驚訝的是，如果我必須選擇一個(gè)，那就是當(dāng)我與之交談時(shí)，我感到被理解了。

主持人：

有一句非常好的說(shuō)法，我正在努力記住，也許是亞瑟·克拉克或一位科幻作家，這實(shí)際上是說(shuō)，先進(jìn)技術(shù)有時(shí)是這樣。和魔法沒有區(qū)別。

Ilya：

我完全贊同這個(gè)觀點(diǎn)?，F(xiàn)在確實(shí)感覺其中一些模型有一些神奇的時(shí)刻。

OpenAI內(nèi)部選擇項(xiàng)目的方法

主持人：

鑒于你們可以追求的所有不同能力，你們有沒有一種內(nèi)部決定的方法，如何不斷地選擇一組大型項(xiàng)目？您已經(jīng)描述過(guò)，集中化和大規(guī)模致力于某些研究方向?qū)τ贠penAI的成功非常重要。鑒于現(xiàn)在的機(jī)會(huì)廣泛，決定什么值得做的過(guò)程是什么？

Ilya：

我認(rèn)為存在著自下而上和自上而下的結(jié)合，我們有一些自上而下的想法，我們認(rèn)為應(yīng)該可行，但我們并不能 100% 確定。所以我們需要有好的自上而下的想法。在這些自上而下的想法的指導(dǎo)下，也有很多自下而上的探索。它們的結(jié)合告訴我們下一步該做什么。

主持人：

顯然，我們有這個(gè)占主導(dǎo)地位的、持續(xù)擴(kuò)大規(guī)模的Transformer方向。您是否探索其他架構(gòu)方向，或者這只是不相關(guān)的？

Ilya：

當(dāng)然有可能找到各種改進(jìn)。我認(rèn)為改進(jìn)可以在各種地方找到，無(wú)論是小的改進(jìn)還是大的改進(jìn)。我認(rèn)為思考這個(gè)問題的方式是在當(dāng)前正在做的事情的同時(shí)。隨著您不斷增加投入的計(jì)算量和數(shù)據(jù)量，它會(huì)變得越來(lái)越好。所以我們有這個(gè)資產(chǎn)。你做得越大，它就越好。當(dāng)你不斷改進(jìn)、不斷擴(kuò)大規(guī)模時(shí)，不同的事情會(huì)以不同的程度變得更好，這也是一個(gè)特性。因此，當(dāng)然，不僅您想要擴(kuò)大您正在做的事情，我們也希望繼續(xù)擴(kuò)大盡可能最好的事情。

可靠性：當(dāng)代大模型最重要的改進(jìn)

主持人：

你可能不需要預(yù)測(cè)，因?yàn)槟憧梢栽趦?nèi)部看到，你認(rèn)為從能力的角度來(lái)看，當(dāng)前這一代規(guī)模的改進(jìn)最大的是什么？

Ilya：

對(duì)我來(lái)說(shuō)，回答這個(gè)問題的最好方法是指出公開可用的模型。您可以看到今年與去年的比較。而且差異相當(dāng)顯著。我不是在談?wù)撝g的區(qū)別，不僅僅是之間的區(qū)別，假設(shè)您可以看看 GPT-3 和 GPT-3.5 之間的區(qū)別，然后看看 ChatGPT、ChatGPT-4、ChatGPT-4 與 Vision 之間的區(qū)別。你可以親自看看。

人們很容易忘記事情曾經(jīng)在哪里，但事情正在發(fā)生的重大變化無(wú)疑是這些模型變得越來(lái)越可靠。在他們達(dá)到現(xiàn)在的高度之前，他們只是部分存在。雖然大部分已經(jīng)存在，但仍有一些差距。未來(lái)，這些模型可能會(huì)更加豐富。你可以信任他們給出的答案，他們會(huì)變得更加可靠，能夠全面完成更多任務(wù)。他們還將具備更深入的洞察力。當(dāng)我們訓(xùn)練他們時(shí)，他們對(duì)人類世界的理解會(huì)越來(lái)越深入，洞察力也會(huì)隨之增強(qiáng)。

主持人：

我想問的是，隨著時(shí)間的推移，這與模型規(guī)模有何關(guān)系？因?yàn)樵S多人對(duì)超大規(guī)模模型的能力和理解世界的新行為感到震驚。同時(shí)，當(dāng)人們將一些元素融入產(chǎn)品中（這是一種非常不同的路徑）時(shí)，他們常常開始擔(dān)心推理成本會(huì)隨著模型規(guī)模的擴(kuò)大而增加。因此，他們正在尋找經(jīng)過(guò)微調(diào)的較小模型。但當(dāng)然，你可能會(huì)失去一些洞察力和推理能力。所以我很好奇你對(duì)未來(lái)幾年這一切將如何發(fā)展的看法。

Ilya：

實(shí)際上，我想指出的是，當(dāng)你切換到較小的模型時(shí)，主要失去的是可靠性。我認(rèn)為，可靠性是這些模型真正有用的最大瓶頸。

主持人：

你如何定義可靠性？

Ilya：

就像當(dāng)你提出的問題并不比模型成功解決的其他問題難多少時(shí)，你就非常有信心它將繼續(xù)取得成功。

例如，假設(shè)我想了解一些歷史事物。我可以問，告訴我關(guān)于這個(gè)和那個(gè)的普遍看法是什么？我可以繼續(xù)提問。假設(shè)它正確回答了我的20個(gè)問題，我真的不希望第21個(gè)問題出現(xiàn)嚴(yán)重錯(cuò)誤。這就是我所說(shuō)的可靠性?；蛘撸僭O(shè)我上傳一些文件，一些財(cái)務(wù)文件。假設(shè)他們說(shuō)了一句話，我想做一些分析，做出一些結(jié)論，我想在這個(gè)基礎(chǔ)上、這個(gè)結(jié)論上采取行動(dòng)。這并不是一項(xiàng)超級(jí)艱巨的任務(wù)。而模型，這些模型顯然在大多數(shù)情況下都能成功完成這項(xiàng)任務(wù)，但因?yàn)樗鼈儾⒎强偸浅晒Α?strong>如果這是一個(gè)重要的決定，我實(shí)際上任何時(shí)候都不能相信這個(gè)模型。我必須以某種方式驗(yàn)證答案。這就是我對(duì)可靠性的定義。

這和自動(dòng)駕駛的情況很相似。如果你有一輛自動(dòng)駕駛汽車，而且它的表現(xiàn)大部分都很好，那還不夠好。情況并不像自動(dòng)駕駛汽車那么極端，但這就是我所說(shuō)的可靠性。

參數(shù)規(guī)模：大模型 vs 小模型

主持人：

我對(duì)可靠性的看法是，就您的觀點(diǎn)而言，它會(huì)隨著模型規(guī)模的增加而增加，而且如果您針對(duì)特定用例或?qū)嵗驍?shù)據(jù)集進(jìn)行微調(diào)，它也會(huì)增加。因此，在尺寸與專業(yè)微調(diào)與可靠性方面存在權(quán)衡。

Ilya：

關(guān)心某些特定應(yīng)用的人們肯定有充分的動(dòng)機(jī)讓最小的模型足夠好地工作。我認(rèn)為這是真的。這是不可否認(rèn)的。我認(rèn)為任何關(guān)心特定應(yīng)用程序的人都會(huì)想要最小的模型。這是不言而喻的。我確實(shí)認(rèn)為，隨著模型不斷變得更大、更好，它們就會(huì)解鎖新的和前所未有的有價(jià)值的應(yīng)用程序。所以，是的，小型模型將在不太有趣的應(yīng)用中占有一席之地，但它們?nèi)匀环浅Ｓ杏?。然后更大的模型將交付?yīng)用程序。

例如，考慮提供良好法律建議的任務(wù)。如果你能真正相信答案，那真的很有價(jià)值。也許您需要一個(gè)更大的模型，但它證明了成本的合理性。

主持人

今年，尤其是7b（70億參數(shù)）尺寸的投資非常多，而且還有7b、13b、34b尺寸。您認(rèn)為在這些規(guī)模上繼續(xù)研究是浪費(fèi)嗎？

Ilya：

不，當(dāng)然不。我認(rèn)為從中期來(lái)看，無(wú)論如何，按照人工智能的時(shí)間尺度，將會(huì)出現(xiàn)這種情況。在一個(gè)生態(tài)系統(tǒng)中，不同的模型大小會(huì)有不同的用途。對(duì)于很多人來(lái)說(shuō)，最好的7b模型已經(jīng)足夠好了，他們會(huì)感到非常興奮。他們將對(duì)此感到極度欣喜。接下來(lái)，我們將看到大量令人興奮和驚奇的應(yīng)用程序，但這還遠(yuǎn)遠(yuǎn)不夠。我想，這就是我想說(shuō)的全部。我認(rèn)為大模型會(huì)比小模型更好，但并非所有應(yīng)用程序都能證明大模型的成本是合理的。

關(guān)于AI開源

主持人：

你認(rèn)為開源在這個(gè)生態(tài)系統(tǒng)中扮演什么角色？

Ilya：

開源是一個(gè)復(fù)雜的問題。我將向你描述我的思考過(guò)程。我認(rèn)為在短期內(nèi)，開源只是幫助公司生產(chǎn)有用的產(chǎn)品……讓我們來(lái)看看。為什么人們想要開源，選擇使用開源模型而不是由其他公司托管的閉源模型？我認(rèn)為，想要成為你希望使用模型的方式的最終決策者，并決定你希望如何使用模型以及哪種用例，這是非常有效的你希望支持的。

我認(rèn)為對(duì)開源模型的需求將會(huì)很大。我認(rèn)為會(huì)有相當(dāng)多的公司會(huì)使用它們。我想短期內(nèi)也會(huì)出現(xiàn)這種情況。我想說(shuō)，從長(zhǎng)遠(yuǎn)來(lái)看，我認(rèn)為開源模型的情況會(huì)變得更加復(fù)雜。我不確定正確的答案是什么?，F(xiàn)在看來(lái)，有點(diǎn)難以想象。

所以我們需要戴上未來(lái)的帽子，也許是未來(lái)主義的帽子。當(dāng)你記得我們正在與計(jì)算機(jī)交談并且它們理解我們時(shí)，進(jìn)入科幻模式并不難。但到目前為止，這些計(jì)算機(jī)、這些模型實(shí)際上還不是很能干。他們根本無(wú)法完成任務(wù)。我確實(shí)認(rèn)為有一天模型的能力水平將會(huì)非常高。就像歸根結(jié)底，智慧就是力量。目前，這些模型的主要影響，我想說(shuō)，至少流行的影響主要是圍繞娛樂和簡(jiǎn)單的問題。所以你和Model談?wù)撨@件事真是太酷了。你產(chǎn)生一些圖像。你們進(jìn)行了交談。也許您有一些可以回答的問題。

但這與完成一些大型而復(fù)雜的任務(wù)有很大不同。如果你有一個(gè)可以自主創(chuàng)辦和建立一家大型科技公司的模型呢？我認(rèn)為如果這些模型是開源的，它們將產(chǎn)生難以預(yù)測(cè)的后果。就像我們現(xiàn)在離這些模型還很遠(yuǎn)一樣。到目前為止，我的意思是眼睛時(shí)間尺度，但這仍然不是你所說(shuō)的。但總有一天，你會(huì)擁有可以自主進(jìn)行科學(xué)研究的模型，比如構(gòu)建、交付大型科學(xué)項(xiàng)目。至于這種能力的模型是否應(yīng)該開源就變得更加復(fù)雜。

我認(rèn)為與目前非常有用的水平模型相比，這里的論點(diǎn)不那么明確、不那么直接。我認(rèn)為當(dāng)前模型的建立真是太棒了。因此，也許我回答了一個(gè)稍微大一點(diǎn)的問題，而不是開源模型的作用是什么？開源有什么關(guān)系？交易是在具備一定能力之后，這很棒，但不難想象足夠強(qiáng)大的模型，這些模型將在變得不那么明顯的地方構(gòu)建。這是開源的好處。

主持人：

有沒有向您發(fā)出信號(hào)表明我們已經(jīng)達(dá)到或正在接近這個(gè)水平？比如邊界是什么？

Ilya：

所以我認(rèn)為很好地弄清楚這個(gè)邊界是一個(gè)緊迫的研究項(xiàng)目。我認(rèn)為有幫助的事情之一是閉源模型比開源模型更強(qiáng)大。所以可以研究閉源模型等等。所以你會(huì)對(duì)一代閉源模型有一些經(jīng)驗(yàn)。然后，然后，哦，這些模型的功能，很好。那里沒什么大不了的。然后幾年后，開源模型迎頭趕上，也許有一天我們會(huì)說(shuō)，好吧，就像這些閉源模型一樣，它們變得有點(diǎn)太激烈了，然后需要一些其他方法。

主持人：

如果我們展望未來(lái)，也許讓我們考慮一下幾年的時(shí)間表。您認(rèn)為短期內(nèi)擴(kuò)展的限制是什么（如果有）？是數(shù)據(jù)、Token稀缺、計(jì)算成本、架構(gòu)問題嗎？

Ilya：

因此，近期對(duì)擴(kuò)展的限制顯然是數(shù)據(jù)。這是眾所周知的。需要進(jìn)行一些研究來(lái)解決這個(gè)問題。不詳細(xì)說(shuō)明，我只想說(shuō)數(shù)據(jù)限制是可以克服的。并且進(jìn)步將會(huì)繼續(xù)。

人工智能和生物智能

主持人：

我聽到人們爭(zhēng)論的一個(gè)問題是基于Transformer的模型可以在多大程度上應(yīng)用于 AGI 所需的全套領(lǐng)域。例如，如果你觀察人類的大腦，你就會(huì)發(fā)現(xiàn)，你的大腦確實(shí)相當(dāng)專業(yè)化。系統(tǒng)或所有神經(jīng)網(wǎng)絡(luò)通過(guò)專門的視覺皮層系統(tǒng)與更高層次的思考領(lǐng)域、同理心領(lǐng)域或從個(gè)性到處理的所有其他方面相互連接。

您是否認(rèn)為Transformer架構(gòu)是持續(xù)發(fā)展并幫助我們實(shí)現(xiàn)這一目標(biāo)的主要因素？或者，您是否認(rèn)為隨著時(shí)間的推移，我們可能需要其他架構(gòu)？

Ilya：

我完全理解您的觀點(diǎn)，并對(duì)此有兩個(gè)答案。我認(rèn)為，最佳的方式是思考架構(gòu)問題，而不是以二進(jìn)制的形式。然而，使用這種特定架構(gòu)需要付出多少努力，成本又是多少？我認(rèn)為，盡管沒有人懷疑Transformer架構(gòu)能做出一些驚人的事情，但也許還有其他的東西，也許一些修改可以帶來(lái)一些計(jì)算效率的好處。因此，我們最好從計(jì)算效率的角度來(lái)考慮這個(gè)問題。至于這個(gè)架構(gòu)能否達(dá)到我們的目標(biāo)，我認(rèn)為答案顯然是肯定的。

那么，對(duì)于人類大腦及其大腦區(qū)域又如何呢？我認(rèn)為那里的情況是微妙且具有欺騙性的。人類大腦有已知的區(qū)域，包括言語(yǔ)感知區(qū)域、語(yǔ)音產(chǎn)生區(qū)域、圖像區(qū)域、面部區(qū)域等。這些看起來(lái)很專業(yè)，但有趣的是，有時(shí)候，一些在很小的時(shí)候就患有嚴(yán)重癲癇癥的孩子，他們的治療方法是切除他們的一半大腦。由于這種情況發(fā)生在他們很小的時(shí)候，這些孩子長(zhǎng)大后就會(huì)成為非常有能力的成年人。他們的大腦區(qū)域雖然被壓縮到一個(gè)半球上，但所有這些大腦區(qū)域都以某種方式重新排列了自己。

另一個(gè)實(shí)驗(yàn)是在30或40年前對(duì)雪貂進(jìn)行的。他們?nèi)〕隽搜醯囊暽窠?jīng)，并將其連接到聽覺皮層。經(jīng)過(guò)幾天的學(xué)習(xí)觀察，他們發(fā)現(xiàn)聽覺皮層中的神經(jīng)元與視覺皮層非常相似。這進(jìn)一步支持了一個(gè)觀點(diǎn)，即我們只需要一個(gè)大的統(tǒng)一架構(gòu)。這就是我們所需要的。每個(gè)生物系統(tǒng)都相當(dāng)懶惰地采用一個(gè)系統(tǒng)，然后復(fù)制它，然后以不同的方式重復(fù)使用它。這也適用于數(shù)字世界，具體取決于您使用的架構(gòu)。

我認(rèn)為這是從技術(shù)角度來(lái)看的一個(gè)跡象，我們走在正確的軌道上，因?yàn)槿祟愔悄?、生物智能和人工智能之間有所有這些有趣的類比。我們有人工神經(jīng)元、生物神經(jīng)元、生物智能的統(tǒng)一大腦架構(gòu)、人工智能的統(tǒng)一神經(jīng)網(wǎng)絡(luò)架構(gòu)。那么，我們應(yīng)該何時(shí)開始將這些系統(tǒng)視為數(shù)字生活呢？我認(rèn)為，當(dāng)這些系統(tǒng)變得可靠且高度自治時(shí)，這種情況就會(huì)發(fā)生。目前，這些系統(tǒng)顯然還不是自治的。他們正在緩慢地前進(jìn)，但事實(shí)并非如此。這也使得它們的用處大大降低，因?yàn)槟悴荒芤笏鼈?，比如做我的作業(yè)或做我的稅。因此，其應(yīng)用受到了很大的限制。隨著其實(shí)用性的增加，它們確實(shí)會(huì)變得更像人造生命，我認(rèn)為這也使其變得更加令人恐懼，不是嗎？如果你想象一下真正的人造生命，其大腦比人類更聰明，那么，天哪，這看起來(lái)相當(dāng)具有紀(jì)念意義。

主持人：

為什么你的定義是基于自治呢？因?yàn)槿绻憬?jīng)常查看生物生命的定義，你會(huì)發(fā)現(xiàn)它與生殖能力有關(guān)，我認(rèn)為這應(yīng)該加上某種形式的自主權(quán)。就像病毒在很多時(shí)候并不一定被認(rèn)為是活的一樣，但細(xì)菌是。你可以想象這樣的情況：你有共生關(guān)系，或者其他東西，有些東西不能真正自主地發(fā)揮作用，但它仍然被認(rèn)為是一種生命形式。所以我有點(diǎn)好奇自治的定義與其他一些方面的關(guān)系。

Ilya：

選擇定義是為了我們的方便，這是一個(gè)有爭(zhēng)議的問題。

在我看來(lái)，技術(shù)已經(jīng)具備了繁殖、再生產(chǎn)的功能。例如，如果你看一下過(guò)去25年里手機(jī)和智能手機(jī)演變的那些圖像，你會(huì)看到幾乎看起來(lái)像進(jìn)化樹或上個(gè)世紀(jì)的汽車。因此，技術(shù)已經(jīng)在利用復(fù)制上一代技術(shù)思想的人們的思維進(jìn)行復(fù)制。所以我聲稱復(fù)制品已經(jīng)存在。我聲稱的自治部分不是。

事實(shí)上，我也同意不存在自主繁殖，但這將是你能想象如果你有自主復(fù)制的人工智能嗎？事實(shí)上，我認(rèn)為這是一個(gè)相當(dāng)痛苦的事情，如果你有一個(gè)能夠自主復(fù)制的人工智能，如果它也非常有能力的話，我會(huì)說(shuō)這是一件非?？膳碌氖虑椤?/p>

超級(jí)對(duì)齊

主持人：

我們應(yīng)該談?wù)摮?jí)對(duì)齊嗎？

Ilya：是的，非常如此。

主持人：

你能簡(jiǎn)單地定義一下嗎？然后，當(dāng)您覺得我們需要開始擔(dān)心這些開源功能時(shí)，我們討論了邊界是什么。什么是超級(jí)對(duì)齊以及為什么現(xiàn)在投資它？

Ilya：

你問題的答案實(shí)際上取決于你認(rèn)為人工智能的發(fā)展方向。如果你只是嘗試想象并展望未來(lái)，這當(dāng)然是一件非常困難的事情，但無(wú)論如何我們都要嘗試去做。我們認(rèn)為五年或十年后情況會(huì)怎樣？過(guò)去幾年的進(jìn)展確實(shí)令人驚嘆。也許會(huì)慢一點(diǎn)，但如果你推斷這種進(jìn)展，五年后我們將處于一個(gè)非常非常不同的境地，更不用說(shuō)十年了。

這似乎并非難以置信。我們將擁有比人類聰明得多的計(jì)算機(jī)、數(shù)據(jù)中心，這似乎一點(diǎn)也不令人難以置信。我所說(shuō)的“更聰明”并不是指擁有更多的記憶力或擁有更多的知識(shí)，而是指對(duì)我們正在研究和研究的同一主題有更深入的了解。這意味著比人學(xué)得更快。這樣的人工智能能做什么？我不知道。當(dāng)然，如果這樣的人工智能是某種人造生命的基礎(chǔ)，那你會(huì)怎么想呢？

從某種意義上說(shuō)，如果您擁有一些非常強(qiáng)大且活躍的數(shù)據(jù)中心，那么這就是您所談?wù)摰?。?dāng)我想象這個(gè)世界時(shí)，我的反應(yīng)是，天哪，這很難預(yù)測(cè)會(huì)發(fā)生什么。非常不可預(yù)測(cè)。但最低限度，但有一個(gè)我們可以闡明的最低限度。如果真的建立了這樣的超級(jí)、非常非常智能、超級(jí)智能的數(shù)據(jù)中心，我們希望這些數(shù)據(jù)中心對(duì)人們抱有溫暖和積極的感情，走向人類。因?yàn)閺哪撤N意義上來(lái)說(shuō)，這將是非人類生命?？赡埽赡芫褪沁@樣。所以我希望任何這種超級(jí)智能的實(shí)例都能對(duì)人類產(chǎn)生溫暖的感情。這就是我們正在做的超級(jí)對(duì)齊項(xiàng)目。

我們說(shuō)，嘿，如果你允許自己，如果你接受我們所看到的進(jìn)展，也許會(huì)慢一些，但它會(huì)繼續(xù)下去。如果你允許自己這樣做，那么你今天就可以開始進(jìn)行富有成效的工作來(lái)建立科學(xué)。這樣我們就能夠處理控制未來(lái)超級(jí)智能的問題，給他們留下對(duì)人友善和友善的強(qiáng)烈愿望。因?yàn)檫@些數(shù)據(jù)中心真的非常強(qiáng)大?？赡軙?huì)有很多。世界將非常復(fù)雜，但不知何故，只要他們是自主的，只要他們是代理人，只要他們是存在，我希望他們是親社會(huì)的。親和人類社會(huì)的人工智能，這是我們的目標(biāo)。

主持人：

實(shí)現(xiàn)這個(gè)目標(biāo)的可能性有多大呢？有些結(jié)果，我們似乎有望影響，但是，我們是否可能擁有與我們單獨(dú)或作為一個(gè)物種建立友誼的親社會(huì)人工智能呢？

Ilya：

我認(rèn)為，友誼部分并非必要，但我們確實(shí)希望擁有非常親社會(huì)的人工智能。我認(rèn)為這是可能的，雖然并非必然，但這種可能性將會(huì)增加。

隨著越來(lái)越多的人開始展望未來(lái)，展望五到十年的未來(lái)，他們開始思考，他們期望人工智能能夠做什么？他們期望它的能力如何？我認(rèn)為，隨著時(shí)間的推移，如果人工智能確實(shí)在不斷改進(jìn)，并且人們真正體驗(yàn)到了它的改變，他們會(huì)發(fā)現(xiàn)，去年的人工智能相比今年的已經(jīng)相形見絀。然后，年復(fù)一年，人工智能開始進(jìn)行科學(xué)研究，人工智能軟件工程師的技術(shù)也變得越來(lái)越出色。我認(rèn)為，這會(huì)讓人們對(duì)未來(lái)的超級(jí)智能產(chǎn)生更多的期待，這種超級(jí)智能將非常親社會(huì)。

我認(rèn)為，這將引發(fā)很多分歧，也將引發(fā)很多政治問題。但我相信，隨著人們看到人工智能實(shí)際上變得更好，隨著人們體驗(yàn)到它，對(duì)親社會(huì)超級(jí)智能的渴望，人類對(duì)超級(jí)智能的熱愛，以及它能做的事情將會(huì)不斷增加。在科學(xué)問題上，我認(rèn)為目前這仍然是一個(gè)沒有多少人致力于研究的領(lǐng)域。我們的人工智能已經(jīng)變得足夠強(qiáng)大，我們可以真正開始有效地研究它。我們很快就會(huì)分享一些非常令人興奮的研究成果。

然而，我想說(shuō)的是，這就是大局。實(shí)際上，我們需要回顧一下我們到目前為止在人工智能方面的經(jīng)歷。我們需要問自己，比如，發(fā)展速度是否在放緩？明年會(huì)放緩嗎？就像我們將會(huì)看到的那樣，我們會(huì)一次又一次地經(jīng)歷這種情況。我認(rèn)為這種情況將會(huì)持續(xù)下去，而且我們需要做什么將會(huì)變得越來(lái)越清晰。

走在AI加速的道路上

主持人：

你認(rèn)為我們只是走在加速的道路上嗎？因?yàn)槲艺J(rèn)為，從根本上來(lái)說(shuō)，如果你觀察某些技術(shù)浪潮，它們傾向于彎曲，然后加速而不是減速。所以，我覺得我們現(xiàn)在正處于加速階段而不是減速階段。

Ilya：

我們現(xiàn)在確實(shí)處于加速階段。很難說(shuō)，多種力量都會(huì)發(fā)揮作用。有些力是加速力，有些力是減速力。例如，成本和規(guī)模是一種減速力量。事實(shí)上，我們的數(shù)據(jù)是有限的，至少在某種程度上是一種減速力量。我不想夸大這一點(diǎn)。

主持人：

它有點(diǎn)像漸近線，就像在某個(gè)時(shí)刻你擊中了它，但這是標(biāo)準(zhǔn)的 S 曲線，對(duì)嗎？或者說(shuō)是 S 形。

Ilya：

特別是對(duì)于數(shù)據(jù)，我只是認(rèn)為這不會(huì)成為問題，因?yàn)槲覀儠?huì)找出其他東西。但你可能會(huì)說(shuō)，工程項(xiàng)目的規(guī)模是一種減速力量，只是管理的復(fù)雜性而已。另一方面，投資量是加速力量。人們、工程師、科學(xué)家的興趣是一股加速力量。

我認(rèn)為還有另一種加速力量，那就是生物進(jìn)化已經(jīng)能夠解決這個(gè)問題的事實(shí)。事實(shí)上，到目前為止，人工智能的進(jìn)步已經(jīng)達(dá)到了這一點(diǎn)，這種奇怪的特性，很難執(zhí)行。但從某種意義上說(shuō)，它或許也比人們想象的更簡(jiǎn)單。

從某種意義上說(shuō)，我對(duì)物理學(xué)了解不多，但我的理解是，如果你想在量子物理學(xué)或其他領(lǐng)域取得進(jìn)展，你需要非常聰明，并在研究生院花很多年的時(shí)間研究這些東西是如何工作的。而對(duì)于人工智能，你需要人們進(jìn)來(lái)，快速上手，快速開始做出貢獻(xiàn)。這種情況有些不同。

不知何故，對(duì)于這個(gè)特定的研究領(lǐng)域有很多投入。我認(rèn)為這也具有一種推動(dòng)力。然而，具體的發(fā)展情況還需要進(jìn)一步觀察。隨著可能以某種方式達(dá)到所需規(guī)模，工程的復(fù)雜性將開始增加，因此進(jìn)展的速度可能會(huì)開始放緩。盡管如此，它仍將繼續(xù)前進(jìn)，但可能不會(huì)像以前那樣快速。另一方面，可能會(huì)有如此強(qiáng)大的力量匯聚在一起推動(dòng)它，以至于它可能會(huì)在未來(lái)幾年內(nèi)保持快速的進(jìn)展速度，然后才會(huì)開始放緩（如果真的會(huì)放緩的話）。這就是我想要闡述的觀點(diǎn)。

主持人：伊利亞，這次對(duì)話非常精彩。感謝你的參與。

Ilya：我非常感謝，我真的很享受這次對(duì)話。