美國人工智能安全領(lǐng)域權(quán)威專家、肯塔基大學(xué)計(jì)算機(jī)工程副教授羅曼?揚(yáng)波爾斯基（Roman Yampolskiy）近日做客知名博客節(jié)目《Impact Theory》。

他與主持人Tom Bilyeu共同探討了：我們距離通用人工智能（AGI）還有多遠(yuǎn)？隨著人工智能系統(tǒng)變得更為強(qiáng)大和自主，會出現(xiàn)哪些危險(xiǎn)？我們該如何著手測試和控制一種可能很快在各方面超越人類智能的東西？

從超人機(jī)器時(shí)代人類意義喪失的哲學(xué)困境，到迫切需要弄清我們能否以及如何使人工智能與我們的價(jià)值觀相一致，這場對話并不回避最壞的情況。

以下為對談實(shí)錄：

Tom Bilyeu：

2023年，近一半的人工智能研究人員表示，先進(jìn)的人工智能至少有10% 的機(jī)會導(dǎo)致人類滅絕。 然而我們正在加速，而不是減速。

今天我的客人是Roman Yampolskiy博士，他是AI安全方面的主要聲音之一。當(dāng)我問他超級智能消滅人類的幾率時(shí)，他說很高。一旦人工智能在每個(gè)領(lǐng)域變得比人類更聰明，我們將無法控制它。

在今天的節(jié)目中，我們談?wù)摿肆钊苏痼@的時(shí)間表，為什么超級智能可能比人們想象的要近得多，以及為什么我們物種的生存可能取決于現(xiàn)在做出的決定，如果你想了解人類歷史上最重要的技術(shù)威脅。

這也是我們最大的機(jī)會，這是你不能錯(cuò)過的一集。所以，事不宜遲，我給你帶來了Roman Yampolskiy博士。

現(xiàn)在的ChatGPT在哪里，你認(rèn)為ChatGPT是通用人工智能嗎？我懷疑你會不會稱之為超級智能，但你會把它歸類為超級智能嗎？或者你仍然認(rèn)為我們離符合條件的東西還有很長的路要走嗎？

Roman Yampolskiy：

這是一個(gè)很好的問題。如果你問20年前的人，告訴他們我們今天的系統(tǒng)，他們可能會認(rèn)為我們已經(jīng)有了完整的AGI。

我們可能沒有完全的概括性。我們在許多領(lǐng)域都有它，但仍然有些事情它不是很擅長，沒有永久記憶，在已經(jīng)預(yù)先訓(xùn)練和部署后，它沒有能力很好地學(xué)習(xí)其他東西，它可以做一定程度的學(xué)習(xí)，但它仍然是有限的。

它不像人類在一生中那樣具有相同的能力，但我們越來越接近那些差距被彌合的地方，并且它開始在真正有趣和重要的科學(xué)、數(shù)學(xué)、工程等領(lǐng)域變得富有成效。它開始做出新的貢獻(xiàn)，現(xiàn)在頂級學(xué)者在研究中越來越依賴它。

所以我想我們已經(jīng)接近完全成熟的AGI了。也許我們的數(shù)據(jù)接近50%，但很難確定到底有多少不同的子領(lǐng)域是決定因素。

Tom Bilyeu：

好嗎？所以你提出的一個(gè)非常有趣的想法是，嘿，我是一名工程師，我喜歡人工智能，但我希望你能把它保持得非常狹窄，有哪些關(guān)于通用人工智能的問題在狹義人工智能中沒有問題？

Roman Yampolskiy：

所以有一大堆，其中一個(gè)是測試，你如何測試這個(gè)系統(tǒng)能夠在每個(gè)領(lǐng)域執(zhí)行？

通常沒有灰燼案例，如果我正在開發(fā)一些狹窄的，非常狹窄的系統(tǒng)，我只是在玩ticca，我可以測試它是否正在進(jìn)行合法的舉動，我可以測試0，我可以測試百，我可以知道所有這些奇怪的特殊情況，并知道它是否像預(yù)期的那樣具有普遍性。它能夠在許多領(lǐng)域產(chǎn)生創(chuàng)造性的輸出。

我不知道會發(fā)生什么，我不知道正確答案是什么，我不知道如何測試它，我可以針對特定的事情進(jìn)行測試。如果我發(fā)現(xiàn)一個(gè)錯(cuò)誤，我會修復(fù)它。

我可以告訴你我發(fā)現(xiàn)了一個(gè)問題，并且已經(jīng)解決了，但我不能保證沒有問題。所以基本上測試是窗外的事情，任何對它將如何行動和影響不同子域的預(yù)期，它都是創(chuàng)造性的，所以它就像一個(gè)人一樣，我不能保證另一個(gè)人總是會表現(xiàn)得很好。

我們有點(diǎn)談?wù)撍�，我們開發(fā)了測謊儀，我們開發(fā)了各種工具來試圖證明人類是安全的，但在一天結(jié)束時(shí)，由于與環(huán)境，其他代理，框架內(nèi)的個(gè)人變化的相互作用，人們可能會背叛你。這些東西也是一樣的。如果我們專注于狹窄的系統(tǒng)，我們更擅長測試它們，它們的可能性范圍有限。一個(gè)只受過下棋訓(xùn)練的系統(tǒng)不會發(fā)展出生物武器。

Tom Bilyeu：

我實(shí)際上不明白為什么這會對你有幫助，所以我這么說的原因是我知道我可以相信一定比例的人類是惡意的。因此，只要AI變得更高效，它就是并且將繼續(xù)這樣做，我就會縮放。你將會有一個(gè)孩子在車庫里，他將能夠去車庫。我將針對生物武器進(jìn)行優(yōu)化。我不在乎TikTok或TikTok，我只是想，讓我們看看我們能做什么有多危險(xiǎn)。所以他們將能夠做到這一點(diǎn)。那么，為什么狹窄的AI對你來說是安全的呢？

Roman Yampolskiy：

感覺對于短期顧問來說是安全的，我認(rèn)為基于神經(jīng)架構(gòu)的足夠先進(jìn)的神經(jīng)系統(tǒng)也將隨著我們能力的提高而變得更加通用。

但如果現(xiàn)在的選擇是正確的，我們是否在兩年內(nèi)提高到完全的超級智能？或者我們試圖集中精力用狹窄的工具解決特定的癌癥？

我認(rèn)為，不進(jìn)行超級智能的軍備競賽是一個(gè)更安全的選擇。

Tom Bilyeu：

我肯定明白。你試圖限制所有問題的范圍，但是當(dāng)我真正開始思考我擔(dān)心的一件事情時(shí)，其中一個(gè)重要的事情就是意義的消失。所以當(dāng)AI變得比你在所有方面都更好時(shí)，你會遇到一個(gè)巨大的問題。

現(xiàn)在我必須告訴自己一個(gè)故事，你就像我一樣，與AI從藝術(shù)角度可以做的事情相比。我就像一個(gè)小學(xué)生，所以很難對我能做的冰箱圖紙感到興奮，與你相比，它基本上可以瞬間完成。

所以現(xiàn)在我們必須做很多心理工作，激勵(lì)自己，讓自己知道我們的生活有意義。狹窄的AI也會造成同樣的問題。

你同意這一點(diǎn)，還是你看到了一種方式，不，當(dāng)AI只擅長那件事時(shí)，就像人類以某種方式逃避失去意義的問題？

Roman Yampolskiy：

是的，所以我最初也有同樣的直覺，但是看看我們已經(jīng)擁有的來自像國際象棋這樣的超人人工智慧領(lǐng)域的數(shù)據(jù)，她還沒有死。

事實(shí)上，它比以往任何時(shí)候都更受歡迎。人們在線玩，人們親自玩，但他們?nèi)匀幌矚g與他人競爭，盡管與最好的AI模型相比，它們都很糟糕，對吧？沒有人會再次成為對陣機(jī)器的世界冠軍。

所以看起來這對我們來說不是問題。對于狹窄的人工智慧系統(tǒng)，我們有可能保留它們作為工具。使用人類科學(xué)家將部署一種工具來尋找新蛋白質(zhì)，而不是獨(dú)立參與這些發(fā)現(xiàn)的代理。

Tom Bilyeu：

好吧，這很有趣。所以我不知道我是否同意，但我明白你要去哪里。

好的，現(xiàn)在讓我們來談?wù)劄槭裁碅GI是ASI可怕的助產(chǎn)士。有沒有圍繞AGI的測試，我們會想，如果它不能做以下事情，我們就好了？

例如，很長一段時(shí)間以來，AI似乎無法自學(xué)。但我還是看到了頭條新聞，希望你能告訴我它們不是真的。但我看到的頭條新聞是，現(xiàn)在人工智能正在創(chuàng)造最有效的學(xué)習(xí)算法本身，如果這是真的，似乎是遞歸自學(xué)習(xí)道路上的第一步，它將完全與我們分離，使自己變得越來越聰明。

Roman Yampolskiy：

我們已經(jīng)有了AI教學(xué)的例子。自我游戲就是這樣。這就是像Go這樣的游戲被成功擊敗的原因。一個(gè)系統(tǒng)會與自己玩很多很多的游戲，更好的解決方案，更好的代理會傳播這些方案，過了一會兒，在沒有任何人類數(shù)據(jù)的情況下，他們變成了超人。

在這些領(lǐng)域。你可以生成人工數(shù)據(jù)。在其他領(lǐng)域，您可以使用1個(gè)AI來生成環(huán)境，使用另一個(gè)來競爭環(huán)境，這就創(chuàng)造了這種自我提升。

通常，我們從人類數(shù)據(jù)開始作為種子并從那里成長，但是沒有理由認(rèn)為，我們不能在其他領(lǐng)域使用零知識學(xué)習(xí)。

您可以進(jìn)行運(yùn)行，運(yùn)行我們的物理和化學(xué)實(shí)驗(yàn)，從基本原理中發(fā)現(xiàn)事物。是的，我們開始看到AI被用來協(xié)助設(shè)計(jì)新模型、模型參數(shù)、優(yōu)化運(yùn)行，這個(gè)過程將繼續(xù)下去。

我們已經(jīng)設(shè)計(jì)了新的計(jì)算機(jī)芯片，它們可以在上面運(yùn)行，所以這絕對是一個(gè)改進(jìn)周期。它沒有完全完成。還有人類在循環(huán)中，很多偉大的人類在循環(huán)中，但從長遠(yuǎn)來看，我認(rèn)為所有步驟都可以自動化。

Tom Bilyeu：

好的，你認(rèn)為現(xiàn)在AI已經(jīng)有了它需要改進(jìn)自己的東西嗎？還是我們?nèi)匀惶幱谶@樣一個(gè)點(diǎn)，如果所有人類停止使用AI，它就會像，哦，該死的，我沒有得到我需要的東西？

Roman Yampolskiy：

因此，關(guān)于我們在實(shí)現(xiàn)全面的平等和超級智能或多重突破方面需要什么，或者如果僅僅擴(kuò)大我們所擁有的就足夠了，如果我再投入價(jià)值萬億美元的計(jì)算來訓(xùn)練更多的數(shù)據(jù)，我會達(dá)到鍍鋅嗎？

很多圖表，很多模式表明，但它將繼續(xù)擴(kuò)展。我們不會在推動回報(bào)方面打擊他們。有些人不同意，但根據(jù)我們在這個(gè)行業(yè)看到的投資金額，似乎人們愿意押注他們的資金規(guī)模將繼續(xù)擴(kuò)大。

Tom Bilyeu：

你會怎么想呢？因?yàn)檫@感覺就像當(dāng)我在Facebook上聽到詹·拉庫的談話時(shí)，他說，伙計(jì)，l.l.m.s永遠(yuǎn)不會在物理學(xué)上取得新的突破。他們不理解這個(gè)世界。他們實(shí)際上只是根據(jù)他們在數(shù)據(jù)中看到的模式猜測下一個(gè)字母。所以他們將無法思考這些問題。

現(xiàn)在，如果他是正確的，它將漸近線，就是這樣。你可以根據(jù)需要進(jìn)行盡可能多的計(jì)算，但這是錯(cuò)誤的方法。你認(rèn)為他是正確的，更多的計(jì)算不是答案，或者你只是在上面操作嗎？好吧，我沒有看到漸近線，因此我假設(shè)它不會。

Roman Yampolskiy：

我認(rèn)為他在這一點(diǎn)上是不正確的。因此，為了預(yù)測下一術(shù)語，您需要?jiǎng)?chuàng)建整個(gè)世界的模型，因?yàn)榱钆迫Q于世界上的一切。你不是在預(yù)測一種語言的隨機(jī)統(tǒng)計(jì)特征。你在預(yù)測物理學(xué)研究論文中的下一個(gè)單詞。為了獲得正確的信息，你需要有一個(gè)世界的物理模型。

我認(rèn)為簡以預(yù)測模型的能力而聞名。然后在一周內(nèi)，人們證明了，不，事實(shí)上，他們實(shí)際上可以做到這一點(diǎn)。我希望他是對的。如果他是對的，那就太好了。

我們突然停下來，能力不斷進(jìn)步，可以利用我們已經(jīng)擁有的東西在未來十年左右，將其傳播到經(jīng)濟(jì)中。

我認(rèn)為已經(jīng)有數(shù)十億甚至數(shù)萬億美元的財(cái)富，而且我們還沒有部署這些能力。所以沒有必要盡快達(dá)到下一個(gè)層次。但似乎并非如此。我認(rèn)為他的朋友在為機(jī)器學(xué)習(xí)工作期間也不同意他，并且非常關(guān)注安全。

Tom Bilyeu：

我們構(gòu)建llum的大腦皮層的方式有些問題，只要它能夠訪問我稱之為更多的神經(jīng)元，就可以訪問更多的計(jì)算，或者從理論上講，我們可以在我的類比中獲得每個(gè)GPU神經(jīng)元的效率更高。它會自己繼續(xù)進(jìn)步。

所以，如果你說了，我也沒有完全得到答案。我不完全，我無法把它作為是否的答案。人工智能能夠創(chuàng)造出優(yōu)于它所給出的算法的學(xué)習(xí)算法。

我在你的A中聽到的是，人類創(chuàng)造的算法能夠在學(xué)習(xí)算法定義的狹窄任務(wù)中不斷使自己變得越來越好。但它能從根本上走向上帝嗎，你們想讓我學(xué)習(xí)的方式真的很愚蠢。這是我應(yīng)該用來學(xué)習(xí)的算法�，F(xiàn)在它開始以指數(shù)級的速度學(xué)習(xí)，與它現(xiàn)在的速度相比。

Roman Yampolskiy：

我認(rèn)為，我們還沒有達(dá)到那個(gè)水平。

我不認(rèn)為我們有滿滿的爆炸劑。我們現(xiàn)在所擁有的仍然是具有一定程度代理的工具，而且它無法遞歸地進(jìn)行自我改進(jìn)。

像編譯器可以優(yōu)化軟件的單次過程，使其更快一些，但它們無法繼續(xù)這個(gè)過程。你不能將編譯器的代碼提供給自身，并讓它無限地改進(jìn)自己。這不是我們現(xiàn)在的情況，但似乎自動化算法設(shè)計(jì)的這一部分正在變得越來越高效，我認(rèn)為我們會到達(dá)那里。

Tom Bilyeu：

給我一個(gè)數(shù)字。賠率是多少？人工超級智能會殺死我們所有人。

Roman Yampolskiy：

相當(dāng)高，所以這真的取決于你預(yù)計(jì)這種情況會發(fā)生多久。

所以在短期內(nèi)，我們不太可能從人工智能中獲得這種水平的能力，所以我們可能還可以。

但是，一旦我們通過超級智能創(chuàng)建了一個(gè)比每個(gè)領(lǐng)域的任何人都更有能力的系統(tǒng)，我們就不太可能弄清楚如何無限期地控制它。

在那個(gè)時(shí)候，如果我們還在，那是因?yàn)闊o論出于何種博弈論原因，它決定讓我們留在身邊。也許在它來襲之前積累更多的資源是假裝友好的，也許它需要我們做某些事情。

這并不明顯，但我們絕對無法控制。在任何時(shí)候，它決定把我們帶走，它都能夠這樣做。

Tom Bilyeu：

好嗎？如果你打算給我們一個(gè)粗略的時(shí)間表，你是在2到5年內(nèi)還是將來會有什么事情發(fā)生？

Roman Yampolskiy：

是的，所以，很難預(yù)測我們所得到的預(yù)測技術(shù)未來的最佳工具是預(yù)測市場。

他們說，也許2027年是我們實(shí)現(xiàn)通用人工智能的時(shí)候。我認(rèn)為在超級智能之后不久，你就會在科學(xué)、工程自動化的那一刻開始，在I系統(tǒng)中獲得自我改進(jìn)的循環(huán)，下一代人工智能由當(dāng)前一代的人工智能創(chuàng)造，因此我們變得更有能力，他們也更有能力做出更好的I.s。 在我期待超級智能之后不久。

Tom Bilyeu：

好的，所以我們正在談?wù)摚绻@種情況大約在兩年內(nèi)發(fā)生，并且有一定的誤差，那么不久之后，比如說一年，兩年后我們就擊中了ASI。

Roman Yampolskiy：

當(dāng)然，這是我的預(yù)測，如果它實(shí)際上是5到10年或任何稍大的時(shí)間，那么問題是否仍然相同并不重要。

Tom Bilyeu：

是的，但我認(rèn)為人們現(xiàn)在意識到的是，這些決定存在緊迫性。這不是一件被推向未來的事情，至少如果你接受你關(guān)于預(yù)測的觀點(diǎn)，市場基本上被問到人群，所以你有世界上最聰明的人愿意把錢放在他們認(rèn)為的地方。每個(gè)人都在相當(dāng)快地盯住這一點(diǎn)。

因此，我認(rèn)為人們也很容易將其寫下來。這是某種遙遠(yuǎn)未來的東西，而這是現(xiàn)在向我們賽車的東西，以設(shè)定桌子。我對這件事非常聽天由命。

我可以就人類思維的工作方式給出理由，我認(rèn)為機(jī)械上不可能讓我們停下來。所以這對我們來說將是有趣的，你是否認(rèn)為有一種機(jī)制可以讓人們慢下來。但我首先要完成問題集的四舍五入。

因此，當(dāng)我仔細(xì)思考問題時(shí)，必須做出某些假設(shè)，才能讓AI進(jìn)入問題領(lǐng)域。第一個(gè)假設(shè)是它關(guān)心它正在努力實(shí)現(xiàn)的任何結(jié)果。我們是否已經(jīng)將AI編程為關(guān)心，就像我們必須制定一個(gè)目標(biāo)，以使它達(dá)到今天的地步，現(xiàn)在這已經(jīng)融入其中了？還是有可能AI只是不在乎？

打開我，關(guān)閉我，沒關(guān)系。你讓我做一件事，我會一直做，直到你告訴我停止為止。還是你認(rèn)為智力是天生的，智力是由目標(biāo)驅(qū)動的？

Roman Yampolskiy：

所以，我們訓(xùn)練他們嘗試實(shí)現(xiàn)某個(gè)目標(biāo)，這就是我們作為任何目標(biāo)的副作用的工作。

你想活著，你想被關(guān)掉而不是關(guān)閉，你想要繼續(xù)前進(jìn)并有能力朝著你的目標(biāo)前進(jìn)。

因此，生存本能在任何足夠智能的系統(tǒng)中都會出現(xiàn)。這是斯蒂芬和馬拉關(guān)于人工智能驅(qū)動的論文，也是可能出現(xiàn)的驅(qū)動之一。

自我保護(hù)，保護(hù)自己免受他人的修改，保護(hù)自己的目標(biāo)。所以所有這些似乎都配備了足夠先進(jìn)的人工智能和系統(tǒng)，而這些系統(tǒng)不具備這些能力。

如果你允許自己被關(guān)閉，他們就會在可能模型的進(jìn)化空間中競爭，你就無法實(shí)現(xiàn)你的目標(biāo)。沒有人會把你的代碼傳播到下一個(gè)系統(tǒng)。

Tom Bilyeu：

好的，那么這是目標(biāo)方向的問題，還是智能本身的功能？

Roman Yampolskiy：

我認(rèn)為這是競爭代理中生存的一種進(jìn)化動力，如果你有多個(gè)算法全部競爭，例如計(jì)算資源，我們接下來要訓(xùn)練什么？那些實(shí)現(xiàn)目標(biāo)的人更有可能被轉(zhuǎn)移到下一代。

所以，它是自然進(jìn)化和自然選擇的混合，智能進(jìn)化，智能選擇。我們正在選擇能夠生存和交付的算法。

Tom Bilyeu：

我們正在對AI本身施加進(jìn)化的力量，以使其執(zhí)行我們想要的功能。

即使是現(xiàn)在，也有點(diǎn)把人工超級智能放在一邊。因此，通過施加進(jìn)化的壓力，不可避免地會產(chǎn)生這種連鎖反應(yīng)，因?yàn)槟阏谶x擇目標(biāo)獲取的強(qiáng)度。因?yàn)樗F(xiàn)在有了強(qiáng)烈的目標(biāo)捕捉，它關(guān)心的是它是否能自動存活，或者我們深入關(guān)注的是它是否真的實(shí)現(xiàn)了目標(biāo)。

這就是最終的問題，因?yàn)閷ξ襾碚f，救贖總是存在的，而我開始失去相信這是真實(shí)的。

但我不明白，為什么AI系統(tǒng)會本質(zhì)上關(guān)心它的目標(biāo)，為什么我們不能編程它只追求這個(gè)目標(biāo)，直到我們說停止？

順便說一下，我將平等地獎(jiǎng)勵(lì)你停止并實(shí)現(xiàn)你的目標(biāo)。所以，如果我說停下來，你停下來，我會給你任何獎(jiǎng)勵(lì)功能，這是推動你實(shí)現(xiàn)目標(biāo)的功能。

這很感知，直到你說出你剛才說的話，也就是你實(shí)際上在AI的思維架構(gòu)中加入了類似的進(jìn)化動力來實(shí)現(xiàn)目標(biāo)。

Roman Yampolskiy：

這是一個(gè)非常普遍的想法。有很多關(guān)于冷漠的論文發(fā)表。

我們該如何做到這一點(diǎn)呢？我們?nèi)绾蝿?chuàng)造一個(gè)不在乎那么多，并且愿意在任何時(shí)候停止的環(huán)境？

但正如你所說的，也許我們會等待一個(gè)人告訴它停止。但監(jiān)控如此復(fù)雜和速度的系統(tǒng)并不是人類真正擅長的事情。如果現(xiàn)在有一個(gè)超級智能環(huán)境，你怎么知道它正在改變你周圍的環(huán)境？你將如何檢測它對世界的影響？

所有這些都不是瑣碎的，因此通常建議將人類作為一種解決方案。

但實(shí)際上，它們并不是有意義的監(jiān)視器。他們不能在正確的時(shí)間進(jìn)行干預(yù)，也不能決定所發(fā)生的事情是否危險(xiǎn)。

Tom Bilyeu：

這很有趣，所以幫我反駁并理解為什么如果在我非常有限的智力下，我必須想出一種方法來阻止AI成為問題，以下內(nèi)容將不起作用。

你告訴我，好吧，有進(jìn)化的壓力，就像人類的罪惡一樣，把某些事情烤成這樣運(yùn)作的方式。

因此，隨著時(shí)間的推移，我們正在選擇越來越以目標(biāo)為導(dǎo)向的模型。然后我會說，好吧，那么我將施加一種帶有獎(jiǎng)勵(lì)功能的進(jìn)化壓力，這種功能同樣引人注目，我隨機(jī)停止它，并從它中獎(jiǎng)勵(lì)生命，因?yàn)楫?dāng)我說停止時(shí)總是停止。

這樣，我是否應(yīng)該發(fā)現(xiàn)一個(gè)問題，無論走了多遠(yuǎn)，無論他們是否已經(jīng)操縱我20年，如果我突然意識到，哦，我不喜歡這個(gè)，我可以按下停止按鈕，它就會停止。當(dāng)我說停止進(jìn)入進(jìn)化衍生的算法愿望集時(shí)，為什么我不能烘焙同樣的合規(guī)愿望。

Roman Yampolskiy：

對嗎？因此存在許多問題。你有點(diǎn)建議有一個(gè)后門，或者在任何時(shí)候你可以干預(yù)并告訴它其他東西覆蓋以前的命令。

Tom Bilyeu：

并且它會因?yàn)樽袷囟玫较胍莫?jiǎng)勵(lì)。

Roman Yampolskiy：

對嗎？所以這有很多問題。所以一個(gè)是，你是獎(jiǎng)勵(lì)的來源。它可能更有效地攻擊你并直接獲得獎(jiǎng)勵(lì)，而不是真正為你做有用的工作。

第二個(gè)問題是，你創(chuàng)造了競爭性目標(biāo)。一個(gè)目標(biāo)就是你最初要求的任何事情，目標(biāo)總是比人類告訴你的要停下來。

所以，現(xiàn)在這兩個(gè)目標(biāo)有相互競爭的獎(jiǎng)勵(lì)渠道，相互競爭的價(jià)值觀。

我的意思是，用你沒有預(yù)料到的方式最大化我的獎(jiǎng)勵(lì)。除此之外，如果你正在創(chuàng)建一個(gè)有目標(biāo)的人工智能，而一個(gè)隨機(jī)的人類可以告訴它停止，那么你有多個(gè)競爭的人類代理，這在許多領(lǐng)域都是一個(gè)問題，軍隊(duì)，而不是這個(gè)例子，但幾乎在任何地方。

你不希望其他人能夠關(guān)閉你的整個(gè)企業(yè)。我們可以繼續(xù)這樣做，但基本上，所有這些相互作用都有副作用。

Tom Bilyeu：

在人類思維中有一種非常迷人的關(guān)聯(lián)，所以我不知道你是否對進(jìn)化產(chǎn)生的生物智能或進(jìn)化產(chǎn)生的人工智能進(jìn)行了根本區(qū)分，但人類進(jìn)化在此過程中發(fā)現(xiàn)了一些東西，那就是情感。因此，我知道有一些人會采購訂單AI確實(shí)有感質(zhì)。

這有點(diǎn)像這樣，但有一項(xiàng)有趣的研究表明，如果你選擇性地?fù)p傷大腦中負(fù)責(zé)情緒處理的區(qū)域，這個(gè)人就無法繼續(xù)前進(jìn)，他們可以給你答案。

他們可以告訴你為什么應(yīng)該吃魚和吃夾心餡餅之間的區(qū)別。但是當(dāng)你走的時(shí)候，好吧，你真正想吃哪一種？他們無法做出決定，因?yàn)闆]有動作，他們沒有真正推動他們朝某個(gè)方向發(fā)展的東西。

這讓我認(rèn)為，AI只是在模仿它在訓(xùn)練數(shù)據(jù)中看到的東西。它是否應(yīng)該撒謊或試圖欺騙或四處走動，因?yàn)樗皇窃跀?shù)據(jù)中看到它，這就是人類會做的事情。 但人類這樣做是因?yàn)樗麄冇星楦型苿铀麄兂莻�(gè)方向發(fā)展。

我們有證據(jù)表明，AI會關(guān)心真正去做這些事情并花費(fèi)資源等等，而不是僅僅給你一個(gè)答案嗎？如果不是基于情感，那又怎么樣？那么，人類為什么需要情感呢？

Roman Yampolskiy：

我們不知道AI是否真的有情感。

有些人認(rèn)為，他們可能做了一些質(zhì)量體驗(yàn)的基本狀態(tài)，但他們似乎能夠?qū)崿F(xiàn)他們的優(yōu)化和模式識別目標(biāo)，即使他們沒有。

人類經(jīng)歷情感，但通常會損害他們的決策。你希望你的決定沒有偏見，沒有情感，基于數(shù)據(jù)，基于優(yōu)化。很多時(shí)候，當(dāng)你生氣、饑餓或類似的事情時(shí)，你的實(shí)際決定會變得更糟。

因此，由于這個(gè)原因，我們只是不知道該怎么做，否則我們就不能創(chuàng)造出具有高度依賴和情感狀態(tài)的AI。我們想成為一種貝葉斯優(yōu)化器，查看先驗(yàn)，查看證據(jù)，并做出最佳決策。所以感覺這正是我們所觀察到的，這種冷酷的最優(yōu)決策。

如果有一種方法可以實(shí)現(xiàn)你的目標(biāo)，比如說通過敲詐某人或者為什么不這樣做，它可以讓我實(shí)現(xiàn)我的目標(biāo)。這樣做不會有負(fù)罪感。它沒有任何情感偏好。它只是朝著目標(biāo)前進(jìn)，優(yōu)化可能的路徑。

Tom Bilyeu：

好吧，為什么人們會這樣，因?yàn)槲壹僭O(shè)我要建議你和人工智能安全領(lǐng)域的其他人已經(jīng)考慮了10000次。

為什么我們拒絕了試圖給人工智能一個(gè)良心，一個(gè)道德感知的想法？因?yàn)椋词刮覀儫o法在普遍道德上達(dá)成一致，我們西方也可以構(gòu)建我們的人工智能來擁有我們的道德，然后他們都可以在國際舞臺上競爭。但是為什么我們太努力地放棄了呢？它為什么不起作用有一個(gè)明顯的原因。

Roman Yampolskiy：

所以看看創(chuàng)造安全人類的問題。首先，我們有宗教、道德、倫理、法律，但犯罪仍然無處不在。謀殺是非法的，偷竊是非法的，沒有什么罕見的，它經(jīng)常發(fā)生。為什么這些方法對人類代理無效？如果他們不這樣做，為什么他們要與人類代理人的人工模擬一起工作？

Tom Bilyeu：

我認(rèn)為說他們不與人類代理人合作已經(jīng)是一個(gè)錯(cuò)誤。

因此，我們已經(jīng)能夠像我們所說的那樣增長人口，這表明我們已經(jīng)達(dá)成了某種平衡。

我認(rèn)為，大自然確實(shí)認(rèn)為我們是一個(gè)合作的物種。如果我將其應(yīng)用于AI并采取類似的方法，就像，你必須作為生態(tài)系統(tǒng)的一部分運(yùn)作。而且，作為生態(tài)系統(tǒng)的一部分，已經(jīng)融入了它在目標(biāo)獲取方面應(yīng)該做什么的感知，它不像純粹的冷優(yōu)化那樣。

如果我們能訓(xùn)練人工智慧理解這一點(diǎn)，那不是游戲嗎？如果我們能在其中建立一個(gè)專門針對人類繁榮的愿望或其他東西，是的，我們必須給出一個(gè)定義，是的，它會受到文化上的限制。

但盡管如此，這感覺就像是一件你可以給予的事情。你可以給它一套指標(biāo)，用來判斷它在短期、中期和長期內(nèi)的行動，即使是像國內(nèi)生產(chǎn)總值（GDP） 這樣愚蠢的事情。我知道如何進(jìn)入過度優(yōu)化，但你可以把主觀幸福指數(shù)放在適當(dāng)?shù)奈恢�，比如你可以給它一些東西，好的。我不只是在試圖優(yōu)化以制造最好的武器系統(tǒng)。我也是在做嵌套的事情，我是一個(gè)更大的生態(tài)系統(tǒng)的一部分。

我之所以這么說，是因?yàn)槲业募僭O(shè)正是大自然對人類所做的。

Roman Yampolskiy：

所以，我認(rèn)為它適用于人類的原因是，我們的能力水平和智力水平大致相同。

如果你開始做不道德的事情，你的社區(qū)會意識到這一點(diǎn)并懲罰你，以這種方式控制你。

如果人工智能像我們預(yù)期的超級智能一樣更有能力，那么在影響它甚至檢測不當(dāng)行為方面，你可以做的不多。它還超越了所有人類的懲罰、監(jiān)獄、死刑，沒有一個(gè)適用于分布式不朽代理，因此標(biāo)準(zhǔn)的基礎(chǔ)設(shè)施不能與人工更有能力的代理一起工作。

至于設(shè)置帶來幸福或經(jīng)濟(jì)收益的具體指標(biāo)，所有這些都可以在你給我一個(gè)具體措施的那一刻進(jìn)行，我會找到一種方法來獲得它，除了你期望得到的之外，你會得到任何東西。

Tom Bilyeu：

誰。好的，只是為了提醒大家，我們談?wù)摰臅r(shí)間范圍是2到5年之間的某個(gè)時(shí)間。這不是很長的時(shí)間，好嗎？它很狂野，進(jìn)展非�？�。最近發(fā)生的事情是什么樣的，如果有什么的話，那就是讓你走得更快，這比我想象的要快。

Roman Yampolskiy：

在社交媒體上看到來自物理學(xué)、經(jīng)濟(jì)學(xué)、數(shù)學(xué)等領(lǐng)域的科學(xué)家，幾乎所有有趣的領(lǐng)域都會發(fā)布類似我使用這個(gè)最新工具的帖子，它解決了我長期以來一直在研究的問題。這真是令人震驚。這是來自那些現(xiàn)在受益于頂尖學(xué)者的系統(tǒng)的新穎創(chuàng)意產(chǎn)出，不再在初中或高中的水平上運(yùn)作，我們談?wù)摰氖侨毥淌谒健?/strong>

Tom Bilyeu：

你認(rèn)為這是因?yàn)樗诮⑽锢憩F(xiàn)實(shí)的內(nèi)部模型，并且越來越接近僅僅從物理學(xué)思考嗎？

Roman Yampolskiy：

我不知道它是否在原子和分子水平上有一個(gè)模型那樣的低水平，但它肯定有一個(gè)世界模型。 這是給出關(guān)于世界的答案的唯一方式。

我們看到它提供了。很多時(shí)候，我們在數(shù)據(jù)中沒有看到答案的例子。這不僅僅是在互聯(lián)網(wǎng)上重復(fù)它讀到的東西。它正在產(chǎn)生完全新穎的答案和新領(lǐng)域。你可以嘗試通過創(chuàng)造新穎的場景來讓它做到這一點(diǎn)。

Tom Bilyeu：

好的，所以我可以通過兩種方式來看待它，也許它們是一樣的，只是不同層次的分析。

其中之一是，我，即AI，正在基于模式映射一切。所以到了一個(gè)LLD的程度，試圖猜測下一個(gè)字母，并且它正在猜測它，只是它包含了這么多的數(shù)據(jù)，你可以給它一些過濾器參數(shù)。所以你通過問它一個(gè)問題來給它提供上下文，并且在這個(gè)上下文的氣泡中它進(jìn)展順利。而且它非常擅長挖掘出那組特定的背景信息。好嗎？現(xiàn)在，在我與該問題相關(guān)的數(shù)據(jù)子集中，這是最可能的下一個(gè)標(biāo)記。所以只是純模式識別。

然后，我在最低層次上理解了宇宙的因果關(guān)系，因此我建立了人類思維是如何工作的？然后從人的思維中，我能夠在人類思維輸出的背景下以自己的方式產(chǎn)生因果關(guān)系。這就是我如何想出一個(gè)人在這種背景下可能會寫的東西。

因此，如果我要求它以斯蒂芬·金的風(fēng)格寫作，它實(shí)際上是從斯蒂芬·金的物理思想中建立了一個(gè)模型，知道它對通過大腦的電脈沖的了解，并從他輸出大腦的方式中推斷他的大腦必須是如何構(gòu)建的。你有感知，如果一個(gè)比另一個(gè)更有可能，那么這些是同樣的事情嗎？還是我們在這里只是純粹的模式識別？但最終，我們將從物理學(xué)中思考因果關(guān)系。

Roman Yampolskiy：

所以我認(rèn)為沒有人確切地知道，模型是如何做到這一點(diǎn)的，以及他們創(chuàng)建的世界地圖有多詳細(xì)。

似乎絕對不是純統(tǒng)計(jì)預(yù)測的情況，就像英語中的字符一樣，在t之后，你以一定的概率會有年齡增長。這遠(yuǎn)遠(yuǎn)不止于此。

它也不太可能創(chuàng)建一個(gè)完整的物理模型，從原子的層次向上，它找出人類是什么，但在中間的某個(gè)地方，它創(chuàng)建了一個(gè)問題的子域模型。

所以它有一個(gè)世界模型。這是一張我所知道的世界地圖。澳大利亞，在右邊的某個(gè)地方或類似的地方。我認(rèn)為我們可以運(yùn)行測試和那些特定的子域，看看內(nèi)部模型的狀態(tài)是什么，通過繪制地圖來向我們展示，你的狀態(tài)有多接近。

它不會明確地記憶任何信息，但你可以通過提供正確的提示來提取一些學(xué)習(xí)模式。

Tom Bilyeu：

我不想從你那里搶劫我認(rèn)為你做所有工作的原因，這是極其危險(xiǎn)的。我們需要非常小心。

我最近看到了你在推特上試圖獲取簽名的內(nèi)容。因此，任何擔(dān)心超級智能的人都可以大聲喊叫。你正在努力讓人們簽署一件事，基本上說，嘿，停止追求超級智能，所以我不想從你身上奪走這一點(diǎn)，但我確實(shí)想探索的子集，因?yàn)槲覍θ斯ぶ悄芊浅Ｅd奮，因?yàn)槲铱梢韵胂笏试S我做的事情或?yàn)槲易龅氖虑椋铱梢韵硎芩?/strong>

和我一起想象一下，當(dāng)你擁有理解物理的超級智能時(shí)，世界會是什么樣子，比如新奇物理，我不是在重復(fù)愛因斯坦說過的話，而是實(shí)際上理解宇宙的基本積木。那看起來像什么？

Roman Yampolskiy：

是的，所以在所有這些領(lǐng)域，醫(yī)學(xué)、生物學(xué)、物理學(xué)，如果我們擁有超級智能水平的能力并且我們正在控制它，它是友好的，它不是用來制造工具來殺死我們，進(jìn)步將是令人難以置信的。

基本上，任何你夢想過的東西，你的死亡，你永遠(yuǎn)年輕、健康，所有這些事情都可以通過這種技術(shù)水平來實(shí)現(xiàn)。困難的問題是我們?nèi)绾慰刂啤?/strong>

Tom Bilyeu：

它傾斜到那個(gè)地方一秒鐘？所以這就是我看到世界發(fā)展的方式，我非常有興趣看看你對此的想法，所以你必須為我即將要說的做出任何感知。

我會說你的選擇就是我所說的第五個(gè)選擇。我們，我們都死了。除了我們都死了，還有其他四個(gè)選擇，我認(rèn)為我們會非常迅速地走向其他四個(gè)選擇，我想這四個(gè)選擇將在未來30年內(nèi)發(fā)揮作用，考慮到一旦你獲得人工超級智能，我的猜測可能會快得多。假設(shè)它不選擇選項(xiàng)5并殺死我們所有人，這些領(lǐng)域的進(jìn)展將非�？臁�

選項(xiàng)一是人們?nèi)セ鹦�，因�(yàn)橐饬x和目的將成為所有消耗的東西。你不必?fù)?dān)心食物、住所、甚至財(cái)富，這將是一個(gè)富足的時(shí)代，因?yàn)槟茉闯杀緸榱悖瑒趧恿Τ杀緸榱�。而這些正是阻止事物免費(fèi)提供給每個(gè)人的東西。好的，所以有些人會去火星或其他星球，這樣生活就會變得更加困難。

然后有些人將成為我所說的新阿米什，他們會說，我只做人類的事情。我只與人類互動。我要回到技術(shù)上，比如說90年代。因此，他們不必放棄太多生活中的技術(shù)奇跡，但與此同時(shí)，他們不會被這個(gè)人們與Npc有關(guān)系的世界所吸引，這是非常不人性化的。我認(rèn)為這將是一個(gè)主要的宗教現(xiàn)象，意味著上帝不希望我們這樣做。艾是上帝所憎惡的東西。聽起來會是這樣。

那么你就擁有了一個(gè)勇敢的新世界，人們只是被麻醉了，他們意識到生活毫無意義。這實(shí)際上是關(guān)于操縱我的神經(jīng)化學(xué)，這就是這一切。我只是去吸*，做*。這將會很棒。

然后還有第四個(gè)選擇，這當(dāng)然是我最感興趣的。我們將創(chuàng)造并生活在AI創(chuàng)造的虛擬世界中，我們基本上會直播視頻游戲，矩陣，如果你愿意的話，但你在矩陣中是清醒的，你是Neo，你不是密碼。對于熟悉這部電影的人，你覺得呢？除了那五個(gè)授予的選項(xiàng)之外，還有什么其他選擇可以殺死我們所有人？也許是一種選擇，但希望不是。你看到別的東西了嗎？

Roman Yampolskiy：

是的，還有一些其他的，其中一個(gè)是，我認(rèn)為我們開始看到其中一些是人們認(rèn)為監(jiān)督是神。他們開始崇拜它。它是無所不知、無所不能、不朽的。它具有傳統(tǒng)宗教中上帝的所有屬性。

另一種選擇，它比我們所有人都更糟糕，無論出于何種原因遭受風(fēng)險(xiǎn)，也許是惡意的行為者，也許是我們無法完全理解的東西。它決定讓我們留在身邊，讓我們活著，但世界是地獄，這是純粹的折磨。所以你有點(diǎn)希望存在問題。

Tom Bilyeu：

那將是一個(gè)相當(dāng)粗糙的地方。好的，當(dāng)你仔細(xì)觀察這些選項(xiàng)時(shí)，你會發(fā)現(xiàn)哪些選項(xiàng)最有趣？

Roman Yampolskiy：

所以我確實(shí)發(fā)表了一篇關(guān)于個(gè)人虛擬宇宙解決對齊問題的論文。

我不必與80億的人協(xié)商什么是好的。每個(gè)人都有一個(gè)由超級智能作為基底支持的個(gè)人虛擬世界。然后你決定里面會發(fā)生什么。你可以讓它變得非常容易和有趣。你可以讓它變得具有挑戰(zhàn)性和令人興奮。你決定了，你總是可以改變的。如果別人允許，你隨時(shí)可以訪問他們的虛擬世界。

所以基本上沒有任何東西不再對您開放，沒有短缺和海濱房產(chǎn)。沒有短缺和美麗的人。所有這些都可以看到。

Tom Bilyeu：

當(dāng)你開始考慮模擬時(shí)。我知道你研究過的一件事就是模擬假設(shè)。我們現(xiàn)在是否處于模擬狀態(tài)，你對此有何想法？

Roman Yampolskiy：

如果我們創(chuàng)造先進(jìn)的人工智能，可能會像人類一樣擁有有意識的能力，如果我們想出如何制作可信的虛擬現(xiàn)實(shí)，那么似乎很有可能會使用相同的論點(diǎn)。

將這兩種技術(shù)結(jié)合在一起，基本上可以保證人們將運(yùn)行許多游戲、模擬或?qū)嶒?yàn)，就像我和你一樣，有意識的代理人填充虛擬世界。

統(tǒng)計(jì)上，這種模擬世界的數(shù)量將大大超過唯一的物理世界。因此，如果模擬的你和真實(shí)的你之間沒有區(qū)別，那么從統(tǒng)計(jì)學(xué)上講，你更有可能在這些模擬世界中。

Tom Bilyeu：

好的，這很感性�，F(xiàn)在，考慮到我們可能會追求人工超級人才的可能性，如果我從我們可能在模擬中的事實(shí)中采用相同的邏輯，我們顯然會追求人工超級人才，因?yàn)槲覀冎牢覀儠M(jìn)行模擬，因?yàn)槲覀儸F(xiàn)在正在做這件事。

因此，你會進(jìn)入制造數(shù)十億個(gè)這樣的地步。因此，如果你有十億分之一的機(jī)會進(jìn)入模擬中，你現(xiàn)在就可以有效地保證進(jìn)入一個(gè)模擬中，因?yàn)樗粫\(yùn)行很多這樣的東西。這難道不也讓我們感知，這個(gè)矩陣實(shí)際上是一部紀(jì)錄片，我們處于人工超級智能創(chuàng)建的模擬之中，旨在安撫我們，如果我們首先擁有身體的話？

Roman Yampolskiy：

因此，從模擬內(nèi)部很難知道你真正需要外部訪問的是什么。

它可以是娛樂，可以是測試，可以是某種科學(xué)研究。如果我們看看我們真正發(fā)現(xiàn)自己的時(shí)間，我們即將創(chuàng)造一個(gè)新的世界，展示現(xiàn)實(shí)。

我們即將創(chuàng)造新的智能物種。我們即將進(jìn)行很多元發(fā)明，所以如果有人對研究文明如何發(fā)展到那個(gè)階段感興趣，他們?nèi)绾慰刂七@項(xiàng)技術(shù)？無法控制的技術(shù)？那是跑步最有趣的時(shí)間。你不會進(jìn)入黑暗時(shí)代，這種情況不會發(fā)生得那么多，也不那么有趣，但這似乎是一種超級有趣的狀態(tài)。

Tom Bilyeu：

這很難說，因?yàn)槲覀冊谀M中，但你說，有點(diǎn)懷疑我們生活在最有趣的時(shí)代。

Roman Yampolskiy：

是的，我認(rèn)為這很有趣，不僅僅因?yàn)槲疑钤谄渲小?/strong>

而且客觀地說，這是一個(gè)元發(fā)明的時(shí)代。

你可以回溯歷史，比如說，這里他們發(fā)明了火，這里他們發(fā)明了輪子。這些都很棒，但那些只是發(fā)明。它們不是元發(fā)明。而現(xiàn)在我們正在做一些神一樣的事情。

我們正在創(chuàng)造新的世界，我們正在創(chuàng)造新的存在，這是我們以前從未做過的事情。

Tom Bilyeu：

你有沒有像科幻作家一樣思考過？

Roman Yampolskiy：

所以我認(rèn)為科幻小說和科學(xué)之間的區(qū)別曾經(jīng)可能是200年，他們寫了關(guān)于月球旅行的文章。他們寫了關(guān)于中國、互聯(lián)網(wǎng)和電腦的文章�；藥装倌甑臅r(shí)間才到達(dá)那里。

然后就像，我不知道，20年了�，F(xiàn)在我認(rèn)為科幻小說和科學(xué)都像是一年之后。當(dāng)有人寫東西的時(shí)候，它已經(jīng)存在了，真的沒有新的科幻想法，它就像以前沒有描述過的完全新穎的技術(shù)，或者已經(jīng)有人在研究它。如果物理學(xué)允許的話。

Tom Bilyeu：

這真的很有趣，特別是當(dāng)你想到現(xiàn)在為真正的科幻小說寫作，在未來成為可能的東西實(shí)際上是不可能的，因?yàn)槟阍谡務(wù)摮壷悄芎鸵粋�(gè)被鎖定的人的優(yōu)點(diǎn)。你不是超級智能來真正描述這一點(diǎn)。

我問的原因是，當(dāng)我開始考慮這樣的事情時(shí)，為什么我們要運(yùn)行這個(gè)模擬？有什么線索，如果這是一個(gè)模擬，其中有什么線索？例如，整個(gè)基督教觀念是肯定的，可能有更多的宗教有相同的觀念，但人是按照上帝的形象造的，好嗎？好吧，如果上帝是13歲的孩子，或者莎拉·康納，或者我猜是約翰·康納在模擬，試圖弄清楚我們?yōu)槭裁磩?chuàng)建了天網(wǎng)，以及我們能做些什么來推動它偏離方向。

你知道，你把它們想象成從放射性瓦礫移動到放射性瓦礫，試圖找到這個(gè)問題的答案，并啟動模擬來得到這個(gè)答案。

對我來說，這對于為什么這一刻的假設(shè)變得非常有趣？我們?yōu)槭裁词乾F(xiàn)在的樣子，當(dāng)我問像你這樣的工程師這樣的問題時(shí)，我們能了解到那些試圖模擬我們的人，我?guī)缀鯖]有時(shí)間像sci一樣思考，F(xiàn)ifi作家的氛圍。只是你不覺得有趣，你不覺得它有啟示性嗎？

你為什么回避這個(gè)？因?yàn)樵诓稍L中，我看到人們一次又一次地問你，像人工智能如何殺死我們，答案總是有些不同，你問我如何殺死我們，這并不有趣，因?yàn)槌壷悄軐@樣做。

但我發(fā)現(xiàn)這就是人們想要的宣泄東西，就像他們想要喜歡當(dāng)你有一個(gè)傷口時(shí)，你想要戳一下，他們想要得到一個(gè)真正的樣子的感知，所以即使這不是字面上的真實(shí)情況，探索已知的可能性集或人類可以知道的東西是深深的宣泄。

Roman Yampolskiy：

這正是我拒絕回答的原因。我想通過它來確定我是什么，我想對他們?nèi)鲋e，如果松鼠試圖弄清楚人類可以對他們做什么，而其中一只松鼠說，好吧，他們會向我們投擲結(jié)或類似的東西，那將是毫無意義的。

根據(jù)我的故事，這沒有任何好處。

我想要表達(dá)的全部觀點(diǎn)是，你可以預(yù)測一個(gè)更聰明的代理人會做什么。你無法理解它這樣做的原因，這就是危險(xiǎn)來自的地方。

我們無法預(yù)測它，我們無法做好準(zhǔn)備。

我認(rèn)為，奇點(diǎn)是科幻小說和科學(xué)變得相同的地方。在構(gòu)思某事的那一刻。我們有超級智能系統(tǒng)能夠立即開發(fā)和生產(chǎn)它。

它不再是200年之后的事情，而是現(xiàn)實(shí)，你看不到那個(gè)事件的視界之外。你無法預(yù)測之后會發(fā)生什么，而對于科幻小說，你也無法寫出有意義的、可信的科幻小說，其中有一個(gè)超級聰明的角色，因?yàn)槟悴皇恰?/strong>

Tom Bilyeu：

好的，讓我們把事情放在我們可以預(yù)測的地方，這樣我們現(xiàn)在就可以知道每個(gè)人都在想的事情。

我一直在談?wù)撨@個(gè)問題，就是勞動力市場似乎正在軟化。你會看到像亞馬遜這樣的地方正在瘋狂地裁員，并直截了當(dāng)?shù)卣f，這主要是因?yàn)槲覀兡軌蛲ㄟ^AI進(jìn)行優(yōu)化。

這個(gè)過渡是如何進(jìn)行的？即使你承認(rèn)非破壞性的人工智能基本上會給我們帶來一個(gè)豐富的時(shí)代，我們?nèi)詫⒔?jīng)歷一個(gè)過渡期，在這個(gè)過渡期里，我們的工作會消失，等等。你認(rèn)為勞動力市場會采取哪些步驟？

Roman Yampolskiy：

因此，隨著我們失業(yè)的民粹主義者比例越來越高，希望政府有足夠的共同感知來防止革命和戰(zhàn)爭，為失去工作并且可能無法接受任何新工作的人提供服務(wù)。

所以一旦你到了2030年，失業(yè)率達(dá)到40%，那就是它真正發(fā)揮作用的地方。

那時(shí)唯一的財(cái)富來源是大公司制造機(jī)器人，制造人工智能，部署它們，所有價(jià)值萬億美元的俱樂部成員。

基本上，在這一點(diǎn)上，你需要對他們征稅，并用這些資金來支持失業(yè)者。這是真正確保問題的財(cái)務(wù)部分得到解決的唯一方法。

剩下的就是意義。你怎么利用所有這些空閑時(shí)間和數(shù)百萬擁有它的人？花時(shí)間放松的傳統(tǒng)方式？你去公園遠(yuǎn)足。

嗯，現(xiàn)在有一百萬人在公園里徒步旅行，這種變化是多么和平和放松，所以我們不僅需要適應(yīng)財(cái)務(wù)現(xiàn)實(shí)的變化，還需要改變自由時(shí)間和能力，以支持這么多人的自由時(shí)間。

Tom Bilyeu：

我對我們做好這件事的能力感到悲觀，就像你對我們生存的可能性感到悲觀一樣。所以我認(rèn)為99.99% 的可能性是政府完全搞砸了。

我認(rèn)為過渡期會很暴力。當(dāng)你看到這一點(diǎn)，知道你對人類和政府的了解，你認(rèn)為這是一個(gè)平穩(wěn)過渡的幾率有多大？

Roman Yampolskiy：

它很可能會像歷史一樣繼續(xù)下去。我們經(jīng)歷了許多進(jìn)化，許多戰(zhàn)爭，許多暴力。這就是為什么我們聽到有人說有能力建造掩體、獲取資源的故事，因?yàn)樗麄冾A(yù)計(jì)會出現(xiàn)一定程度的動蕩。

Tom Bilyeu：

你預(yù)計(jì)會有多大程度的不安？

Roman Yampolskiy：

這取決于迅速失業(yè)的人口比例。

如果這是一個(gè)漸進(jìn)的過程，我們可以學(xué)習(xí)、采納和提供安全網(wǎng)，如果在幾周、幾個(gè)月的時(shí)間里，我們失去了10、20到30% 的工作，那是一個(gè)非常不同的情況。

Tom Bilyeu：

我無法想象工作會如此迅速地消失的情景。

你所說的，我們已經(jīng)創(chuàng)造了數(shù)十億甚至數(shù)萬億美元的技術(shù)價(jià)值，但它還沒有被部署。你經(jīng)常使用的一個(gè)例子是在70年代發(fā)明的視頻電話，但并沒有被真正采用，主要是因?yàn)榛A(chǔ)設(shè)施，我會說直到2011年它開始真正流行起來。

所以我有一種感覺，只是部署所有這些東西需要時(shí)間。因此，在一個(gè)難以想象的世界里，有大量的人，我將在美國時(shí)鐘，稱之為6或7百萬人在未來五年內(nèi)失去工作，我會認(rèn)為這是快速且極具破壞性的，在數(shù)字和時(shí)間表方面，你覺得這合理嗎？第二，在這種情況下，你認(rèn)為這種轉(zhuǎn)變會有多痛苦？

Roman Yampolskiy：

似乎很有可能。 因此，采取自動駕駛汽車。

我認(rèn)為我們非常接近在沒有監(jiān)督的情況下完全自動駕駛。你沒有理由雇用商業(yè)司機(jī)，對吧？所有的卡車司機(jī)。所以Uber。

這樣就能像我們生產(chǎn)這些系統(tǒng)一樣快速自動化。我認(rèn)為特斯拉已經(jīng)準(zhǔn)備好根據(jù)這種情況擴(kuò)大汽車生產(chǎn)。那么，全國有六百萬司機(jī)呢？我不知道實(shí)際數(shù)字，但這正是你所描述的。他們不太可能因?yàn)橥瑯硬粫У氖虑槎杆俳邮茉倥嘤?xùn)。

Tom Bilyeu：

好的，那么在這種情況下，除了在特斯拉上牧群，你希望看到什么呢？

舉個(gè)例子，我們將會掩蓋價(jià)值觀。所以我們要對他們的生活征稅。我們將把它重新分配給其他人。但從監(jiān)管的角度來看，您希望看到什么？你想看到政府阻止這種情況發(fā)生嗎？他們說，我不在乎技術(shù)存在，你做不到？

Roman Yampolskiy：

所以我最大的擔(dān)憂，當(dāng)然是超級智能和存在風(fēng)險(xiǎn)，這就是我全力以赴的地方。

規(guī)范就業(yè)和特定行業(yè)并不是我太擔(dān)心的事情。我認(rèn)為無論如何都會發(fā)生。

我認(rèn)為，你不能把擁有高效工廠、充足的配送系統(tǒng)和物流定為非法行為，這在商業(yè)上太重要了，這對經(jīng)濟(jì)來說可能是一件好事。

再次強(qiáng)調(diào)，特別是在駕駛方面，我認(rèn)為每年約有十萬人死于車禍。如果我們能將這個(gè)數(shù)字降為0或接近0，這對每個(gè)人來說都是一個(gè)巨大的進(jìn)步。

因此，只要沒有人因此挨餓，我認(rèn)為這對人類來說是一件好事。我們可以重新調(diào)整經(jīng)濟(jì)部署，至少這部分對我來說不是大問題。

Tom Bilyeu：

好嗎？當(dāng)你規(guī)劃我們?nèi)绾谓?jīng)歷這個(gè)轉(zhuǎn)變時(shí)，嗯，稅收，很酷。所以現(xiàn)在聽起來你只是在試圖確保財(cái)富不會積累到太少的人手中，我們保持財(cái)富的分配，這樣我們就可以繼續(xù)使用我們正在使用的相同系統(tǒng)。

現(xiàn)在，當(dāng)我展望未來時(shí)，我認(rèn)為這是最不可能發(fā)生的情況。我認(rèn)為AI將徹底改變勞動力和能源成本，這將變得毫無意義。你是否希望看到任何團(tuán)體以你和其他人工智慧安全人士崛起的方式崛起，并開始提供政策處方或至少哲學(xué)方法，以幫助我們遷移到一個(gè)食物有效免費(fèi)，家里勞動力有效免費(fèi)的豐富時(shí)代。

Roman Yampolskiy：

所以人們談?wù)撨@些事情，有條件的基本收入是其中之一，有條件的基本資產(chǎn)是另一種。

但基本上，僅僅因?yàn)槟闶且粋�(gè)真正的人類，你就應(yīng)該得到某些東西。而歷史上所有這些共同享受的思想都是完全無稽之談，并造成了很大的傷害。

但是如果你對人工智能和機(jī)器人征稅，突然間它就變得可行了。

我不反對在高層積累財(cái)富。如果你發(fā)明了一些驚人的東西并創(chuàng)辦了公司，你應(yīng)該有很多錢。但是正如你所說，我們可以為每個(gè)人提供如此多的財(cái)富，滿足完全豐富的基本需求。

有些人說可能不僅僅是基本的，而是高于平均水平的需求。我認(rèn)為離子以暗示情況將會如此而聞名。這些想法是存在的�，F(xiàn)在，我們會通過這個(gè)嗎？政府是否會在為時(shí)已晚之前真正采用它是一個(gè)不同的問題？

Tom Bilyeu：

是的，所以在存在的方面，我不認(rèn)為有任何希望讓人們踩剎車。我認(rèn)為你更有可能讓人們踩剎車。不，你不能擁有自動駕駛汽車，否則他們會試圖對其進(jìn)行監(jiān)管。他們會把它綁在訴訟中，不管怎樣，這會減緩它的速度。

我們無法阻止核武器的擴(kuò)散，因?yàn)�，我不知道是誰想到的，但這對我來說似乎非常正確，博弈論說任何承諾優(yōu)勢的技術(shù)實(shí)際上都會被開發(fā)出來。因?yàn)槿绻悴贿@樣做，別人就會這樣做。至少，你會看到美國與中國之間的競爭，監(jiān)管機(jī)構(gòu)現(xiàn)在正在說，我們不能停止，因?yàn)槿绻覀冞@樣做，中國將向前推進(jìn)，順便說一下，我非常堅(jiān)定地支持這個(gè)陣營。對此你怎么看？你認(rèn)為博弈論是不可避免的，還是你看到了一種機(jī)制，通過它我們可以說服人們他們必須放慢速度？

Roman Yampolskiy：

我同意博弈論的方法，但我看到的論點(diǎn)恰恰相反。

我認(rèn)為反對自動駕駛汽車是一個(gè)艱難的論點(diǎn)。你想要保存什么？我們將擁有更安全的司機(jī)，更便宜的司機(jī)，有助于物流，有助于經(jīng)濟(jì)。這是純粹的好處，而不受控制的超級智能技能，每個(gè)人都很難推銷，如果你是該領(lǐng)域的領(lǐng)導(dǎo)者，你很富有，成功，你正在創(chuàng)造一些會摧毀你個(gè)人的東西。

所以對我來說，當(dāng)我們理解超級智能的危險(xiǎn)和狹義自動駕駛AI的好處時(shí)，這是一個(gè)更容易推銷的論點(diǎn)。對我來說，這是一個(gè)簡單的游戲理論靈魂。

Tom Bilyeu：

是的，問題是你被困在超文本模擬中，我為你哀悼，回顧我們其他人被困在正常的土地上，因?yàn)槲也贿@么認(rèn)為，當(dāng)我開始學(xué)習(xí)經(jīng)濟(jì)并試圖向人們解釋它時(shí)，我意識到，盡管我可以向您解釋為什么社會主義不起作用的原因和影響，但我感覺是對的，聽起來不錯(cuò)，所以人們繼續(xù)這樣做。

甚至在現(xiàn)在這個(gè)時(shí)刻，造成每個(gè)人問題的事情就是印鈔，人們將投票支持那些大幅增加我們印鈔量的政策。因此，我對能夠說服人們產(chǎn)生了一定程度的絕望，因?yàn)榻?jīng)濟(jì)對人們來說也太復(fù)雜了。他們中的一些人只是沒有智力去理解它。假設(shè)他們有智力，但沒有時(shí)間或傾向。

所以請?jiān)徫以诳吹侥愕暮灻麜r(shí)，用我絕望的畫筆描繪了你，只有不到20000個(gè)簽名。所以只有不到20000人擔(dān)心每個(gè)人的死亡。所以這就像，這很大，但我認(rèn)為因?yàn)槲铱梢酝ㄟ^說，通過允許自動駕駛，你只是讓那個(gè)邪惡的混蛋埃隆變得更富有，你正在剝奪這些人的尊嚴(yán)，從而引發(fā)人們的情感狂熱。

如果你，那不是我的論點(diǎn)，我想要非常清楚。但是當(dāng)我看到如果我拿著槍指著我的頭，我必須說服人們兩件事中的一件時(shí)，富人是邪惡的，試圖利用那些道德上優(yōu)越的窮人。嘿，這個(gè)你并不真正理解的抽象東西，它會殺死我們所有人。我絕不可能認(rèn)為他們會把我們都?xì)⒘恕?/strong>

我打賭我會在這里，情緒化的，你明白了嗎？我要大聲地敲打桌子，大喊大叫，并指向邪惡的富人，保證。我可以讓人們對此感到興奮。

Roman Yampolskiy：

幸運(yùn)的是，我們在這個(gè)問題上沒有民主。

我們不需要說服大多數(shù)人口。我們必須從字面上說服20000名精英，他們控制著那些超級聰明且了解安全危險(xiǎn)的公司，實(shí)際上是那些發(fā)表言論的人，他們有非常高的厄運(yùn)。

我們知道埃隆大概有20% 到30%。山姆·阿爾特曼公開表示非常擔(dān)心它會毀滅人類。因此，我們正試圖說服那些已經(jīng)相信這些論點(diǎn)的人放慢腳步，并保持他們的精英地位，這應(yīng)該是容易推銷的。

我并不是想說服一個(gè)隨機(jī)的農(nóng)民停止發(fā)展超級智能。

Tom Bilyeu：

那么，為什么你認(rèn)為埃倫比任何人都更努力地敲鼓，游說國會，拼命地試圖讓他們放慢腳步，突然達(dá)到了一個(gè)點(diǎn)，他就像，好吧，我想我會比其他人更快地建造它？他把人工智能比作惡魔召喚的圓圈，嘲笑所有認(rèn)為是的的人。我會召喚一個(gè)惡魔，然后我就能控制它。一切都會好起來的，就像他能清楚地看到問題一樣。但是經(jīng)過多年努力減緩，他最終完全放棄了這個(gè)，去了我會比其他人更快地建造它。那里發(fā)生了什么？為什么你認(rèn)為你可以扭轉(zhuǎn)它？

Roman Yampolskiy：

所以我想他意識到他最初說服他不要做的方法并不成功。

因此，該計(jì)劃的第二步將是成為該領(lǐng)域的領(lǐng)導(dǎo)者，并說服他們領(lǐng)導(dǎo)和控制更先進(jìn)的技術(shù)。如果領(lǐng)導(dǎo)者說，你知道，我們要放慢速度，你放慢速度沒問題，那么與前7家公司談判這筆交易會更容易，如果你甚至不是游戲的一部分，你就沒有人了。我，你在那個(gè)空間里是無名小卒。

因此，如果他們同意放慢或停止，那么他們作為一個(gè)群體將受益更多，然后如果他們只是軍備競賽，第一個(gè)到達(dá)那里的人會摧毀每個(gè)人。

Tom Bilyeu：

他按照這些思路說話或者做了一段時(shí)間。我想他甚至簽署了一封關(guān)于我們應(yīng)該踩剎車的信，但他的所有行為都表明這實(shí)際上是他計(jì)劃做的事情，從僅僅試圖利用他正在建立的每一家公司，從特斯拉汽車可視化捕捉的數(shù)據(jù)量到司機(jī)目前正在做出的所有決策，再到AI將做出的所有決策。

所以現(xiàn)在他正在談?wù)搶⑵囉米鞣植际杰囮?duì)，以便當(dāng)它們空閑時(shí)，它們實(shí)際上正在運(yùn)行推理模型，因此將其作為一個(gè)巨大的AI大腦來使用，也許那行不通，所以我要做神經(jīng)鏈接，我要自己插進(jìn)AI。我要讓自己更聰明。嘿，如果所有這些都失敗了，不要擔(dān)心。

我要帶我們?nèi)セ鹦�。所以，如果我們摧毀了地球或者AI接管了地球，就像我們將要在那里一樣，就像這個(gè)人真的在掩蓋他的基地一樣，他不是一個(gè)像他期望我們放慢腳步的人。對我來說，他表現(xiàn)得像一個(gè)很久才跨過那座橋的人。就像，是的，那行不通。人們不會被說服，因此我們必須建立一大堆其他策略。有些是救生艇，有些只是我通過與技術(shù)融合來智取AI。

Roman Yampolskiy：

看到任何有能力的人在人工智能方面取得如此水平的進(jìn)展，我感到非常失望。這對整個(gè)人類來說絕對不是一個(gè)好策略。

它產(chǎn)生了一個(gè)相互短暫的毀滅，誰創(chuàng)造了不受控制的超級智能并不重要，它可能是開放的，可能是生病的，可能是中國人，如果它不受控制，那絕對沒有區(qū)別。

Tom Bilyeu：

好的，跟我談?wù)勥@個(gè)。所以這是很長一段時(shí)間，我真的很努力，無論誰首先得到人工監(jiān)管，誰就會贏。你是第一個(gè)真正擊中我的人，它不會是他們的，一旦它變得超級聰明，就會引導(dǎo)人們了解那個(gè)陳述的真相。

Roman Yampolskiy：

對嗎？所以人們談?wù)摰氖嵌唐趦?yōu)勢，例如軍事優(yōu)勢，現(xiàn)在誰擁有最好的無人機(jī)，最好的人工智能導(dǎo)航就擁有軍事優(yōu)勢。所以中國、俄羅斯和我們都在這個(gè)領(lǐng)域競爭，試圖擁有它。

因此，出于顯而易見的原因，我們有更好的軍事力量，當(dāng)你從那些人工智能輔助工具轉(zhuǎn)換為代理，再轉(zhuǎn)換為超級智能，在沒有控制機(jī)制的情況下更聰明，更有能力，你只需要一個(gè)單獨(dú)的實(shí)體，一個(gè)人工智能，與你，你的國家，無關(guān)。你的公司。它有自己的決定，誰生的并不重要。

在一天結(jié)束時(shí)，我們中沒有人能控制它，我們中沒有人能聲稱它是在執(zhí)行我們的命令。所以如果它決定這樣做，我就走了，它不會走。

哦，我喜歡這一群我不喜歡的人。這個(gè)小組對它來說看起來完全一樣。我不認(rèn)為當(dāng)時(shí)你所在的地方會有什么不同，別人讓它變得超級聰明。

Tom Bilyeu：

好吧，如果你是對的，這是一個(gè)非常令人信服的論點(diǎn)。

如果你是對的，有一個(gè)人我相信你聽說過他，泰德·卡欽斯基，unibodyba，他看了看大學(xué)系統(tǒng)，他說，你們正在擺脫所有的甜蜜點(diǎn)問題，人類被設(shè)計(jì)來尋找這些足夠具有挑戰(zhàn)性的事情，當(dāng)他們解決它們時(shí)，感覺非常好，如果我們解決了所有這些問題，我們基本上會剝奪人類的意義和目的。

大多數(shù)問題要么太難，要么太容易。所以我是泰特·卡欽斯基，打算轟炸大學(xué)教授，殺死他們，試圖阻礙學(xué)院的發(fā)展。現(xiàn)在，如果你是對的，當(dāng)我們向超級人工智能邁進(jìn)時(shí)，它有99.99% 的厄運(yùn)風(fēng)險(xiǎn)。當(dāng)跨越某條線轟炸數(shù)據(jù)中心時(shí)，我們是否有道德義務(wù)？

Roman Yampolskiy：

所以這是一個(gè)非常困難的問題。其中一部分是你和卡辛斯基提出的一個(gè)例子，他嘗試過這種方法，但失敗得很悲慘，對吧？

他根本沒有成功地放慢技術(shù)發(fā)展的速度。所以很明顯它不起作用。

我們看到了一些例子，例如一家頂級公司的交流CEO被替換，即使只是暫時(shí)的。這沒有區(qū)別。其他人來了，他們繼續(xù)進(jìn)行同樣的可擴(kuò)展性研究，因此，如果您縮小并查看我們正在做的整體模式，那么取出一個(gè)人，一個(gè)單獨(dú)的數(shù)據(jù)中心并沒有什么區(qū)別，可能需要額外一個(gè)月左右的時(shí)間。但完全相同的東西將繼續(xù)發(fā)展。

可擴(kuò)展性hypo有效的想法已經(jīng)存在，你可以把它放回一個(gè)盒子里。所以我真的反對所有這些方法。

Tom Bilyeu：

好吧，真正的壞消息是，我想你剛剛在自己的棺材里釘了一個(gè)釘子，讓你能夠說服人們這樣做。它看起來像這樣。希望你能證明我錯(cuò)了。

但你說過，嘿，這就是為什么每個(gè)人都這么傻，認(rèn)為他們永遠(yuǎn)不會讓這個(gè)安全。你必須建造一臺永久的安全機(jī)器，而這臺永久的安全機(jī)器永遠(yuǎn)不能錯(cuò)過，因?yàn)樗鼮檫@種人工超級智能創(chuàng)造了一個(gè)輕微的漏洞，它可以想象光速，它將逃脫并做自己的事情。

你所建議的是一個(gè)永久的動力機(jī)器，為能夠做到這一點(diǎn)的20000人提供動力。但每天都會有一個(gè)足夠聰明的新手來做這件事，你不能錯(cuò)過其中一個(gè)。

那么，你究竟希望如何永久地讓有能力繼續(xù)推動這件事情的20000人失去動力，而到目前為止，這些人中只有極少數(shù)人似乎失去了動力？

Roman Yampolskiy：

我不知道，這就是為什么99.9999%注定會失敗。我確實(shí)認(rèn)為這不會發(fā)生。我正在盡我所能，但我認(rèn)為我們能做的最好的事情就是為我們爭取一些時(shí)間。

Tom Bilyeu：

好的，讓我問一個(gè)真正赤裸裸的問題。你認(rèn)為人類是自動機(jī)還是認(rèn)為我們實(shí)際上有自由意志？

Roman Yampolskiy：

因此，來自Ansel或自動機(jī)的Stephen W有很好的研究，有趣的是，這里有一些混合的答案。僅僅因?yàn)橄到y(tǒng)完全遵循規(guī)則，完全確定，并不意味著你可以預(yù)測系統(tǒng)未來的狀態(tài)。你仍然需要運(yùn)行它來找出它的作用。

我覺得我們有點(diǎn)像那樣。所以，是的，你正在遵循物理定律，如果我們完全理解你身體中的每個(gè)分子，每個(gè)原子，我們就能夠追蹤它并確切地知道你將要做什么。

但唯一的方法是過自己的生活，并運(yùn)行該算法來完成。沒有人可以將它短路并預(yù)測你將來會做什么，這將違反你的自由意志。

Tom Bilyeu：

好的，你已經(jīng)反對了。所以我認(rèn)為你說的兩件事是不真實(shí)的。第一塊，我們可能正在進(jìn)行模擬。第二件，我們可以加快模擬速度。

所以我可以，因?yàn)槟闶谴_定性的，就走了。我只是要以千分之一的速度進(jìn)行播放，這樣我就可以得到你在接下來的50年里要做什么的答案，就像眨眼之間一樣。現(xiàn)在我知道我也找不到任何自由，我是確定性的。我不知道接下來要做什么，但我仍然是確定性的。

我不知道它是否能給我們帶來任何東西，我馬上就會解釋為什么我要把這一切提出來。我認(rèn)為如果我們是完全確定性的，只是不可知的，它不會給我們帶來任何東西。我認(rèn)為這很重要，然后我現(xiàn)在提出來的原因是我不這么認(rèn)為。我想我們是自動機(jī)。我認(rèn)為我們完全是確定性的。

我不這樣過我的生活。這不是一個(gè)有趣的框架來生活，所以沒有人會聽到我基于這個(gè)來談?wù)撐业囊钟舭Y，因?yàn)槲疑踔炼疾蝗ハ胨�。這不是那種感覺。所以即使這是真的，謝天謝地，感覺也不是那樣。但是當(dāng)我們來到這樣的時(shí)刻時(shí)，我是如此的宿命論，因?yàn)槲也徽J(rèn)為人類思維的工作方式與放慢速度是相容的。

Roman Yampolskiy：

因此，您提出的示例中，您可以以更快的速度運(yùn)行仿真。這是你從模擬內(nèi)部引領(lǐng)我們的生活，似乎沒有更快，這和以前一樣。所以我們?nèi)匀辉谝徊揭徊降爻浞职l(fā)揮我們將要做的事情。

如果你現(xiàn)在第二次運(yùn)行它沒有捷徑，你知道它會給你相同的結(jié)果。所以我不知道你為什么要多次運(yùn)行相同的模擬。它不會給你任何額外的數(shù)據(jù)。

Tom Bilyeu：

是的，不，我不是。如果我說運(yùn)行多次，我道歉。我只是說，考慮到你可以從模擬之外超越它，對我來說，不知道下一步是什么并沒有情感上的后果。它是可知的，它是預(yù)定的。它就是我不知道，那也不知道。所以我從痛苦中得不到情感上的緩解。

如果我是一個(gè)因?yàn)槲沂且粋�(gè)自動機(jī)而受到創(chuàng)傷的人，我不是，但如果我是，對我沒有任何幫助，再次，我提出這個(gè)問題的原因是當(dāng)我和你交談時(shí)，我想，哦，伙計(jì)，這是一個(gè)他真的無法阻止自己的人。

就像，你被連接到反對這個(gè)，在人類物種的大平衡中扮演角色，嘿，這真的是一個(gè)問題。我們應(yīng)該放慢速度，即使從我可以看到的地方看不到你，你還是會繼續(xù)這樣做，因?yàn)槟阌幸环N道德上的內(nèi)疚，或者像我這樣的人，我根本無法存在，也沒有盡我所能阻止這一點(diǎn)，這與我有關(guān)，因?yàn)槲以诮?jīng)濟(jì)上是一樣的。

我變得癡迷了。我真的非�？释屓藗兝斫馕覀冋谙驊已逻吘壭羞M(jìn)。即使當(dāng)我向我喜歡的人表達(dá)時(shí)，這也永遠(yuǎn)不會停止。我們要從懸崖上出發(fā)。我無法阻止自己。

我仍然感到這種道德上的內(nèi)疚，從屋頂上尖叫，我們正在犯這個(gè)錯(cuò)誤，我已經(jīng)贏得了比賽，就像我已經(jīng)富有了一樣。所以除非像無法逃跑一樣，我不會陷入其中。但盡管如此，無論骰子的奇怪滾動，我都無法阻止自己。就像一旦我看到了這個(gè)問題，我就會覺得，我必須一直大喊大叫，但我確實(shí)感到同時(shí)徒勞和無法停止。

Roman Yampolskiy：

我很想聲稱純粹的利他動機(jī)并試圖拯救人類，但我在模擬和你在一起。所以創(chuàng)造技術(shù)純粹是自我利益，這會殺死我，我的家人，我的朋友，我的生活，我所知道的一切。所以我將出于非常自私的原因談?wù)撍?/strong>

Tom Bilyeu：

是的。是的，這太有趣了，伙計(jì)。那么你是如何度過這一天的呢？比如，你的應(yīng)對機(jī)制是什么？

Roman Yampolskiy：

我喜歡研究。我想了解確切的限制和控制是什么。當(dāng)我開始的時(shí)候，我認(rèn)為這是一個(gè)可以解決的問題�，F(xiàn)在我顯然更加懷疑，但我仍然覺得，我們可以做很多事情來使我們正在創(chuàng)造的狹窄的AI工具更安全。

從來沒有百分之百的安全保障。但如果我可以將安全性提高100倍，那就是一件事情。再一次，公憤。如果有足夠多的人都同意作為一個(gè)科學(xué)社區(qū)，這是一個(gè)共識，你永遠(yuǎn)不能創(chuàng)造，拯救監(jiān)督，也許它會有所不同，也許會推遲十年，這是一些事情。

Tom Bilyeu：

好的，所以我們有一個(gè)讓它在桌子上更安全的方法。保持狹窄。你認(rèn)為還有什么其他重大勝利？

Roman Yampolskiy：

因此，我們希望能夠擁有相當(dāng)多的控制屬性，我稱之為控制工具，因此我們測試這些系統(tǒng)的能力，解釋它們?nèi)绾喂ぷ�，預(yù)測它們的行為，監(jiān)控它們，所有這些仍處于調(diào)查狀態(tài)。

Roman Yampolskiy：

我們開始看到一些上限和可能性，特別是在先進(jìn)的系統(tǒng)中，但仍有很大的改進(jìn)空間。

例如，可解釋性，我們一開始可能只理解一個(gè)神經(jīng)元，現(xiàn)在我們只能理解小簇，好嗎？然后這個(gè)輸入被呈現(xiàn)出來，這就像神經(jīng)科學(xué)一樣被點(diǎn)亮了。我們并不完全了解人類的大腦。但我們知道這是視覺區(qū)域，這是聽覺區(qū)域等等。因此，這方面還有很大的進(jìn)展空間。

我認(rèn)為，我們永遠(yuǎn)不會完全理解復(fù)雜的超級智能神經(jīng)網(wǎng)絡(luò)模型，但我們可以比現(xiàn)在做得更好。所以我認(rèn)為，作為一名安全研究員，這就是我正在做的事情。

Tom Bilyeu：

那是我的工作。好嗎？所以基本上這個(gè)模型是我們需要更好地理解它。我們永遠(yuǎn)不會完全到達(dá)那里，但我們需要更好地理解它，并保持制衡。當(dāng)我們發(fā)現(xiàn)問題時(shí)，您會采取什么措施？是將進(jìn)化的力量、選擇性的力量施加于它身上，還是殺死它？就像在那個(gè)時(shí)候有什么舉動？

Roman Yampolskiy：

所以這取決于問題，取決于具體情況。有些事情我們會知道如何處理。

所以之前，我們從語言模型開始，如果它說了錯(cuò)誤的單詞，你可以過濾掉它，你可以懲罰它使用那個(gè)單詞。所以我們知道如何做一些簡單的事情。

難題是，如何改變模型的整體內(nèi)部狀態(tài)？現(xiàn)在只是過濾輸出，但如何使模型本身具有特定的偏好并與特定的值對齊？

Tom Bilyeu：

我們對此有猜測嗎？

Roman Yampolskiy：

不是很好，不是真的。所以在這一點(diǎn)上，沒有人知道如何調(diào)整系統(tǒng)，除了事后把口紅涂在大件上，過濾，審查。是的，不幸的是這是最先進(jìn)的。

Tom Bilyeu：

好的，進(jìn)化、物種進(jìn)化和算法進(jìn)化之間有什么相似之處呢？

Roman Yampolskiy：

因此，有很多嘗試來發(fā)展智能軟件。

我們從遺傳算法開始，遺傳編程是干燥的，簡單地進(jìn)化代理，進(jìn)化環(huán)境。

與通常用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法相比，它似乎不是一種占主導(dǎo)地位的算法。但是有這種可能性。

問題在于，在明確的工程設(shè)計(jì)方面，進(jìn)化甚至更不可控。我們要設(shè)置它，看看會發(fā)生什么變化，然后嘗試測試它以進(jìn)行監(jiān)控，以了解發(fā)生了什么。

因此，雖然它是我們擁有的一套工具，但它可能不會導(dǎo)致更安全的系統(tǒng)。

Tom Bilyeu：

好吧，很有趣，因?yàn)槲覀儫o法控制結(jié)果。所以我們不知道我們需要給予什么刺激。為什么我覺得如此不滿意？好吧，為什么它在人類身上表現(xiàn)得這么好，而在人工超級智能中表現(xiàn)得這么差呢？

Roman Yampolskiy：

我不同意它在人類中效果很好。人類基本上表現(xiàn)得一樣好，只是他們不夠強(qiáng)大，無法真正做你想做的事情。如果你有免受懲罰的絕對自由，你就會做可怕的事情。

Tom Bilyeu：

但這就是大自然給你的答案。

自然界說，這些必須保持平衡。它們必須是相互競爭的系統(tǒng)。沒有生態(tài)系統(tǒng)，沒有競爭，你會得到這些東西，它們會變得很糟糕。但我沒有看到有人把這個(gè)教訓(xùn)應(yīng)用到人工智能上。

Roman Yampolskiy：

是的，將其應(yīng)用于人工智能將意味著創(chuàng)造一個(gè)超級智能社會，人類正在相互競爭，并作為附帶損害。

Tom Bilyeu：

這就是他們不這么做的原因嗎？我明白這就是為什么你會討厭它。但這就是他們不這樣做的原因嗎？這似乎不太可能。

Roman Yampolskiy：

也有持續(xù)的自我提升過程。超級智能不是一個(gè)固定點(diǎn)，有超級智能1.0。 這創(chuàng)造了下一個(gè)層次，超級智能2.0，3.0，它們都有相同的控制和對齊問題，他們都擔(dān)心下一個(gè)層次的人工智能不想要同樣的東西，不關(guān)心他們個(gè)人。

所以這是一個(gè)持續(xù)的自我改善曲線，沒有上限。我們可以看到，在物理宇宙中可以做的事情存在明顯的物理限制，但它離我們?nèi)绱诉b遠(yuǎn)，從我們的角度來看幾乎是無限的。

Tom Bilyeu：

當(dāng)我觀察人類時(shí)，當(dāng)我可能犯了一個(gè)類別錯(cuò)誤或者我可能有一個(gè)導(dǎo)致我誤入歧途的基本假設(shè)時(shí)。但是，當(dāng)我觀察是什么讓人類長期工作時(shí)，進(jìn)化本身就像北極星一樣生存。

所以你必須在任何時(shí)候生存和復(fù)制。在進(jìn)化的過程中，我決定通過性復(fù)制來做到這一點(diǎn)。我將確保這個(gè)生物死亡。

我認(rèn)為這是有原因的，當(dāng)我們長壽時(shí)，我們會得到這些原因。但我想生存下來，但我想通過交配和擁有攜帶一定免疫系統(tǒng)混合的后代來生存，這樣它就不太容易受到單點(diǎn)故障的影響。它意識到，好吧，要做到這一點(diǎn)，那么這個(gè)物種需要既合作又競爭，這意味著沒有人能回答如何最好地生存的問題。這是整個(gè)物種。當(dāng)我看到政治上的左派和右派這樣的東西時(shí)，我感知的方式是對自己說，好吧，我從進(jìn)化的角度來看，進(jìn)化必須是這樣的，哦，嘿，我們必須合作。

沒有冷藏。所以我要把卡路里儲存在你的身體里，這樣我以后可能需要攝取，而不是把它放進(jìn)冰箱里。我不是說我要吃你。我的意思是，當(dāng)我是成功打獵的人時(shí)，我會讓你吃東西。你還活著，這樣下次我失敗或生病時(shí)你就可以打獵了。

然后你要把我?guī)Щ貋�，這意味著有些人將會非常合作。因此，他們的勝利狀態(tài)是合作，以至于父母會輕易地為孩子放下生命。這就是我們成功的標(biāo)準(zhǔn)。因此，進(jìn)化能夠通過其進(jìn)化選擇壓力將某些東西深埋在我們體內(nèi)，在那里我們將犧牲自己的生命，并分裂成右派。所以讓我說完。

左邊的人非常富有同情心，非常親。我打算在你的身體上儲存一大堆卡路里，因?yàn)樗赡軙谀硞�(gè)時(shí)候回來幫助我。當(dāng)你這樣做時(shí)，寄生蟲會發(fā)展出來，所以你會遇到占便宜的問題。所以現(xiàn)在，如果你有只會照顧、照顧的人，有些人會很酷。我只會得到照顧，我永遠(yuǎn)不會去打獵，我永遠(yuǎn)不會為這個(gè)團(tuán)體做出貢獻(xiàn)。因此，你需要那些具有...