Z Highlights

• Oasis非常有趣，它是一種全新的體驗，讓我們能夠通過屏幕表達我們的想象力。我們的目標(biāo)可以用一句話來概括：通過生成式AI將我們的想象與屏幕上的視覺內(nèi)容相連接。
• 要達到實時視頻處理，必須對模型本身進行很多改變，還需要做很多系統(tǒng)層面的工作。這意味著必須編寫自己的CUDA內(nèi)核，甚至可能需要從頭開始編寫一些系統(tǒng)組件。未來兩三年內(nèi)，解決這個問題的正確方法可能是擁有兩個模型：一個是負(fù)責(zé)持有狀態(tài)的模型，另一個模型則將該狀態(tài)渲染成像素。
• 垂直整合通常能帶來兩個主要好處：一是降低成本，從而提高利潤率；二是加快行動速度，使企業(yè)能夠更迅速地響應(yīng)市場變化。在人工智能領(lǐng)域，這兩點都非常重要，但我認(rèn)為行動速度的重要性超過了成本降低。
• 我們認(rèn)為用戶體驗（UX）已死，現(xiàn)在是生成式體驗（GX）的時代。基本上，我們將創(chuàng)造新的體驗，這些體驗將根據(jù)人類與計算機互動的自然方式生成，包括從角色AI到實時視頻模型等各種形式的生成體驗。這就是我們預(yù)見的未來。

Decart與Oasis

Shaun Maguire：大家好，我是Shaun Maguire，紅杉資本合伙人。今天，我的同事Sonya Huang和我將對Dean Leitersdorf進行一次采訪。Dean是一個才華橫溢的青年，他的成長經(jīng)歷跨越了以色列和美國。他曾是以色列理工學(xué)院最年輕的博士畢業(yè)生，年僅23歲，直到他的弟弟在21歲時獲得了博士學(xué)位，打破了這一紀(jì)錄。

Dean所創(chuàng)立的公司Decart致力于創(chuàng)造令人愉悅的AI體驗，讓人們能夠以前所未有的方式與自己的想象力以及他人的想象力進行互動。為了實現(xiàn)這一目標(biāo)，Decart實現(xiàn)了從底層優(yōu)化，如CUDA內(nèi)核，到模型設(shè)計、訓(xùn)練，直至最終提供體驗的全流程垂直整合。在未來幾個月，我們期待看到他們推出的一系列令人印象深刻的成果

Sonya Huang：Dean，感謝你今天加入我們。我今天早上剛玩了Oasis，玩得很開心。所以讓我先問一下，Oasis，這個非常可玩的AI游戲引擎。它是什么？你為什么要推出它？

Dean Leitersdorf：幾周前，我們推出了Oasis，這是一個技術(shù)上令人驚嘆的項目。它是第一個真正實時運行的視頻模型，用戶可以與之互動，可以在虛擬世界中移動，甚至可以破壞和放置方塊。雖然這聽起來像是一個游戲，但它并不僅僅是為了娛樂。

那么，為什么Oasis真正有趣呢？讓我們暫時忘掉Oasis 1，想象一下Oasis 3。你站在一面神奇的鏡子前，你可以與它對話，告訴它做一些很酷的事情。比如，你可以說：“嘿，我想要一把劍?！比缓?，鏡子里的你手里就會出現(xiàn)一把劍。你移動手，劍也會跟著移動。你可以說：“不，我想要更大的劍，變成藍色?！彼蜁缒闼缸兓Ｄ憧梢赃M一步說：“現(xiàn)在，讓我進入《權(quán)力的游戲》的世界”，然后你周圍的一切都變成了《權(quán)力的游戲》的場景，你甚至戴上了王冠。你還可以要求王冠有所變化，然后開始跳躍和移動，鏡子都會對你的動作做出反應(yīng)。

這非常有趣，因為它是一種全新的體驗，它讓我們能夠通過屏幕表達我們的想象力，連接了我們腦海中的想象和眼睛所看到的世界。我們的目標(biāo)可以用一句話來概括：如何通過生成式AI將我們的想象與屏幕上的視覺內(nèi)容相連接。通過這種方式，我們可以進入以前未探索過的世界，它可能會改變一切，從我們今天無法實現(xiàn)的應(yīng)用程序，到我們與計算機或硬件的互動方式。

Sonya Huang：我喜歡鏡子這個比喻。讓我們進一步探討。你打算用它做什么？這是一個社交媒體的東西嗎？你在構(gòu)建一個游戲嗎？一個互動的世界模型嗎？我應(yīng)該如理解Decart和Oasis？

Dean Leitersdorf：那么讓我來問你。ChatGPT能解決什么問題？

Sonya Huang：作業(yè)。

Dean Leitersdorf：作業(yè)，確實……它還解決了哪些問題？

Shaun Maguire：使與計算機進行對話變得更加容易了。

Dean Leitersdorf：沒錯。簡而言之，ChatGPT并沒有解決某個特定的問題，而是幫助你更高效地完成家庭作業(yè)、撰寫電子郵件、進行總結(jié)。它并沒有直接解決問題，但它克服了一些根本性的限制，正如Shaun所說，它打破了人類與計算機之間的溝通壁壘。計算機使用結(jié)構(gòu)化語言，而人類則使用非結(jié)構(gòu)化或復(fù)雜結(jié)構(gòu)的語言。大語言模型正是縮小了這一差距，使計算機和人類能夠用雙方都能理解的語言進行交流。一旦實現(xiàn)了這一點，你就可以在此基礎(chǔ)上解決上百個不同的問題。因此，無論是通過鏡子還是生成式互動視頻，我們現(xiàn)在不僅通過文本，而且通過視覺克服了溝通障礙。

現(xiàn)在，計算機能夠以我們看待世界的方式來看待世界，它們能夠以我們能理解的方式來向我們展示世界。你解決了這個問題，構(gòu)建了一個平臺，允許在其上構(gòu)建一切，從下一代的Snapchat或TikTok到戰(zhàn)斗機飛行員的模擬器。這正是這里的奇妙之處。而且，現(xiàn)在是2024年，我認(rèn)為最令人興奮的事情之一是我們有機會在正確的時機建立一些不是解決問題，而是克服限制的公司。

99%的公司都在解決問題。當(dāng)你看到那些向紅杉或其他風(fēng)險投資公司推銷的公司時，他們通常會這樣開始：這是我們要解決的問題，這個問題有多大，我們的市場規(guī)模是多少，以及我們將如何解決問題。通常，前兩個方面是不變的。如果你改變了你正在解決的問題，那就叫做轉(zhuǎn)型。如果你500次改變了解決問題的方式，那么這就是99%的公司的做法。這是在任何正常年份你所能做的事情。

歷史上有些時刻，大約每十年或十五年，你會有機會建立一些不是解決問題，而是克服限制的東西。讓我換個方式問你這個問題：Mac是面向消費者的產(chǎn)品還是企業(yè)產(chǎn)品呢？

Shaun Maguire：還有，這是一家硬件公司還是軟件公司.

Dean Leitersdorf：是的，這家公司究竟是硬件公司還是軟件公司？它解決了哪些問題？如果我們要列舉個人計算機解決的問題，那可真是包羅萬象，從游戲到Excel應(yīng)有盡有。這就是它的優(yōu)勢所在，你正在構(gòu)建一項驚人的技術(shù)，這項技術(shù)可以以多種不同的方式進行產(chǎn)品化。

Sonya Huang：我喜歡這個觀點。你構(gòu)建的東西中一個非?？岬奶攸c是，據(jù)我所知，里面沒有游戲引擎。你怎么看這一點？你認(rèn)為游戲引擎是過時的產(chǎn)物嗎？

Dean Leitersdorf：游戲引擎的目的是讓一個人能夠創(chuàng)造一個世界，而另一個人能夠與這個世界互動。這就是游戲引擎的核心功能。我們有游戲開發(fā)者，也有使用這些引擎的用戶。它不僅適用于游戲，還適用于電影等其他領(lǐng)域。最近，Unreal Engine在電影制作中的使用也變得非常廣泛，這是一個非常有價值的產(chǎn)品，它有很多優(yōu)點，比如能夠創(chuàng)造出非常一致和精確的世界。但問題是，與這樣的世界互動需要花費很多時間。

人們喜歡從基礎(chǔ)游戲出發(fā)，將其改造成各種不同的形態(tài)。當(dāng)我們深入了解并觀察人們實際上如何使用這些工具時，你會發(fā)現(xiàn)，比如有人在《我的世界》中加入了寶可夢模組，你可以在森林里漫步，看到寶可夢四處奔跑。這是一個真實的模組，有人創(chuàng)造了它。人們天生就有這種欲望：我們有了這個平臺，我們想要改變它。這就是模組的魅力所在。

如果運行你的游戲或環(huán)境的是一個AI，你就可以以我們習(xí)慣與AI互動的方式與它互動。你可以這樣說：“嘿，你能把它變成艾莎主題嗎？”然后突然之間，一切都變成了艾莎主題。你可以要求加入一個飛象，然后游戲中就真的出現(xiàn)了一個飛象，而且不僅僅是一個圖像，你實際上可以與它互動。你可以攻擊大象，它可能會反擊，或者你可以做任何與大象互動的事情。

我認(rèn)為，如果這種趨勢要取代游戲引擎，它必須能夠達到可以編程的狀態(tài)，這樣它就是一個機器，一個人可以在上面構(gòu)建世界，另一個人可以與之互動。這肯定會到來。不僅如此，為這個編程將會容易得多，你可以只用語言來完成，不必寫代碼。即使你懂得如何寫代碼，你也可以更快地進行迭代?？偟膩碚f，我認(rèn)為這將使我們的模組制作速度加快，并實現(xiàn)更具互動性的模組創(chuàng)作。

Oasis技術(shù)細(xì)節(jié)

Shaun Maguire：為了更深入地探討技術(shù)層面的問題，你們構(gòu)建了我見過的第一個能夠?qū)崿F(xiàn)實時推理的視頻模型。實現(xiàn)實時推理需要哪些技術(shù)？難度有多大？給我們介紹一下這背后的技術(shù)細(xì)節(jié)。

Dean Leitersdorf：如果我們回顧三四個月前，也就是夏天的時候，有一些頭條新聞提到了NVIDIA的Blackwell芯片發(fā)布后，它將能夠?qū)崿F(xiàn)實時視頻處理。Hopper架構(gòu)的芯片做不到這一點，H100芯片也不行。然而，事實上H100芯片是能夠?qū)崿F(xiàn)實時視頻處理的。要達到這一點，需要同時做兩件事：首先，必須對模型本身進行很多改變。并不是每個視頻模型都能實時運行，必須以不同的方式訓(xùn)練模型，架構(gòu)也需要有所不同。雖然這不是重大的架構(gòu)變化，但確實需要進行這些調(diào)整。其次，還需要做很多系統(tǒng)層面的工作。

這意味著必須編寫自己的CUDA內(nèi)核，甚至可能需要從頭開始編寫一些系統(tǒng)組件，比如拋棄PyTorch的垃圾收集器，自己從頭開始編寫一半的代碼。如果你只做其中一件事，就需要等待別人來做另一半——如果你只做系統(tǒng)層面的部分，那么你就無法實現(xiàn)另外一點，因為你沒有準(zhǔn)備好以這種方式交互的模型。如果你只做建模方面的工作，你將沒有系統(tǒng)層面的支持來使其實時運行。因此，要實現(xiàn)實時視頻處理，不僅需要在模型訓(xùn)練和架構(gòu)上做出改變，還需要在系統(tǒng)層面進行深入的工作，包括編寫CUDA內(nèi)核等。這樣的全面努力是實現(xiàn)實時視頻處理能力的關(guān)鍵。

Sonya Huang：可以介紹一下這個模型的工作原理嗎？它和Sora這樣的模型類似嗎？

Dean Leitersdorf：簡單來說，這個模型和Sora這樣的模型非常相似，唯一的區(qū)別在于輸入提示是用戶操作而不是文本。這是理解這個概念最簡單的方式。你有文本到視頻的模型，比如Sora，你輸入一個句子，然后得到一個視頻。在這里，你輸入的是鍵盤操作和之前的幀作為提示，然后模型生成下一幀。

Sonya Huang：你是如何將操作和視頻數(shù)據(jù)關(guān)聯(lián)起來的？

Dean Leitersdorf：這里需要做一些預(yù)處理步驟，這是常規(guī)視頻模型不需要的。比如，你必須對原始的游戲錄像進行標(biāo)注，記錄下每個步驟中執(zhí)行的操作。我們訓(xùn)練了一個小模型來自動化這個任務(wù)。實際上，這個過程不需要太多的數(shù)據(jù)。一個小模型就能搞定，它不需要太多的例子。你只需要讓我們的團隊玩一會兒游戲，然后錄制下來。這樣，你就能獲得一個小模型，用它來標(biāo)注所有的數(shù)據(jù)。

Sonya Huang：非常有趣。你是在構(gòu)建一個世界模型，還是這只是純粹的像素表示？

Dean Leitersdorf：這里的精妙之處在于它完全基于像素表示。現(xiàn)在，讓我們來對比一下你提到的世界模型、3D內(nèi)容等其他技術(shù)。在AI領(lǐng)域，過去十多年一直存在一個普遍的問題：你是選擇端到端的解決方案，還是優(yōu)化現(xiàn)有的工作流程？這個問題有兩種處理方式。你可以直接利用現(xiàn)有的游戲引擎，比如Unity和Unreal，它們已經(jīng)很出色了。我們可以直接融入這個工作流程，構(gòu)建從文本到3D的模型。我描述一頭大象，然后得到一個3D網(wǎng)格模型，再將其導(dǎo)入到Unity、Unreal或其他你使用的游戲引擎中。

相比之下，端到端的解決方案是，最終我有一個屏幕，屏幕需要顯示內(nèi)容，并且需要工作。最終，人們看到的是電腦屏幕，操作鍵盤和鼠標(biāo)，這就是你的界面，你從按鍵到幀，端到端地解決這個問題。顯然，這兩種方法是相互競爭的。但隨著時間的推移，我認(rèn)為它們會有所融合，因為從技術(shù)角度來看，它們各自都有優(yōu)勢。第一種方法在時間上更加一致，更容易保持物體的外觀不變。而端到端的像素處理方法更加靈活，可以實時編輯，比如改變大象尾巴的大小。

所以，從長遠(yuǎn)來看，這兩種方法可能會融合。如果我們大致展望一下，今天我們主要是從提示到像素，從按鍵到像素的轉(zhuǎn)換。理論上，在未來兩三年內(nèi)，解決這個問題的正確方法可能是擁有兩個模型。一個是負(fù)責(zé)持有狀態(tài)的模型，比如游戲的狀態(tài)，這與像素?zé)o關(guān)，類似于LLM式的Transformer，它只獲取當(dāng)前狀態(tài)，獲取新的用戶操作，并輸出對該狀態(tài)的更改。另一個模型則將該狀態(tài)渲染成像素。這大概就是我們會融合的地方，因為這將真正結(jié)合世界模型和像素模型的優(yōu)勢。

Sonya Huang：兩種模型你們都想要構(gòu)建嗎？

Dean Leitersdorf：當(dāng)然，的確如此。但是，我認(rèn)為我們還沒有到達那個階段，我們需要更多的時間才能達到。

推進垂直整合

Shaun Maguire：我對Dean和Decart印象深刻的一點是他們打造完全垂直整合的系統(tǒng)的雄心。他們真正理解電子的本質(zhì)。他們不僅掌握電子在邏輯門及其不同類型中的傳輸方式，還擁有對比匯編語言更基礎(chǔ)的層次的透徹理解，并能夠優(yōu)化匯編中的CUDA內(nèi)核。他們從電子到人眼所見的像素之間的各個環(huán)節(jié)都進行了全面優(yōu)化。通過這種方式，我認(rèn)為他們將始終比那些只在應(yīng)用層面工作的人擁有至少10倍的優(yōu)勢。

Sonya Huang：實際上，關(guān)于這一點，我認(rèn)為有一種反駁的觀點是關(guān)于專業(yè)化的，因為有成千上萬的聰明人在NVIDIA或其他公司工作并專注于此。而你應(yīng)該專注于構(gòu)建最佳的用戶體驗和病毒式傳播。那么，能否分享一下你們選擇進行垂直整合的原因呢？

Shaun Maguire：讓我來說幾句，因為Dean不能像我這樣自夸。我一生都在研究商業(yè)模式。從年輕時起，這就是我的熱情所在。對我來說，Google是我見過的最了不起的公司之一，也是最了不起的商業(yè)模式之一。我在Google工作過幾年。我真的覺得人們對Google的護城河有誤解，對NVIDIA今天的護城河有誤解。

在我看來，Google真正的優(yōu)勢不在于Sergey和Larry發(fā)明的PageRank，這是一種深刻但簡單的算法，本質(zhì)上是基本的圖論。PageRank問世后很快被廣泛模仿。Google真正的優(yōu)勢在于其在分布式系統(tǒng)和底層系統(tǒng)優(yōu)化方面的頂級水平。他們從早期就有一個非常深刻的見解，基本上所有其他搜索引擎都在購買Sun Microsystems的服務(wù)器機架，通過購買昂貴的硬件來獲得容錯能力。而Google則發(fā)現(xiàn)可以通過購買便宜易失的消費級硬件，比如游戲電腦中使用的Intel Pentium處理器或SanDisk內(nèi)存，然后用五倍于其他硬件的數(shù)量來提升總能效或容量。盡管失敗率高，但這種方案的性能成本僅為其他方案的1/50。通過深入優(yōu)化分布式系統(tǒng)以最大化硬件性能，他們贏得了十倍的成本優(yōu)勢。

回想第一次使用Google時，它的界面非常簡單，僅是一帶有搜索框的白色網(wǎng)頁。我認(rèn)為它當(dāng)時比Yahoo的用戶界面更差。Yahoo還有聊天室和其他更閃亮、更令人興奮的東西，但Google 的魔力在于成本優(yōu)勢下的后端性能，這得益于對硬件層面的極致優(yōu)化。Dean和Decart的故事讓我很有共鳴。但我們需要保持謙遜，這家公司還沒有做任何事情，在他們值得與Google相提并論之前還有很長的路要走。對我們來說，Sequoia共同領(lǐng)投了Google的A輪融資，我為此感到自豪；我們也參與了NVIDIA的種子投資，可以說，我們有良好的投資歷史。

Shaun Maguire：我認(rèn)為要真正提供那些令人愉悅的體驗，比如一個簡單的鏡像體驗，你需要一個極其強大的后端。我認(rèn)為這是一全有或全無的事情。如果不能實時提供服務(wù)，那么體驗就不夠好。我堅信，如果你不深入到底層優(yōu)化，是無法實現(xiàn)實時體驗的。至少對我來說，我認(rèn)為你必須這么做。在我見過的人中，這些人是唯一真正這么做的。

Dean Leitersdorf：我非常喜歡Shaun剛才所說的話，其中有兩點特別引起了我的注意。一點是關(guān)于垂直整合的內(nèi)容，這也是我們稍后會討論的，這也回應(yīng)了最初的問題。另一點是，我不會透露名字，但最近我與Google的一位非常資深的高管進行了交談。我們回憶過去，試圖了解一些情況。因為在Google成立時，我才僅僅三個月大，我那時在場，但并沒有真正關(guān)注。

Shaun Maguire：Dean，我知道你可能一直在密切關(guān)注。

Dean Leitersdorf：我試圖弄清楚那里究竟發(fā)生了什么，以及為什么那件事如此有趣。這源于一次不相關(guān)的對話。在那次對話中，我們討論了GPU集群的不可靠性。通常情況下，如果你今天嘗試在一個集群上訓(xùn)練我們訓(xùn)練的那種模型，無論是超大規(guī)模的還是GPU云，那個系統(tǒng)每隔幾小時就會崩潰。你會碰到很奇怪的問題，可能因為另外兩個節(jié)點之間的電纜上有灰塵，導(dǎo)致一個節(jié)點崩潰，而且沒有任何錯誤信息能告訴你到底發(fā)生了什么。所以你的訓(xùn)練模型會崩潰，你會疑惑為什么會這樣？你嘗試重啟，但不起作用。然后你嘗試移除隨機節(jié)點，直到你弄清楚問題所在。

這就是整個行業(yè)的現(xiàn)狀。幾乎只有Google和OpenAI在訓(xùn)練時沒有遇到這種情況。因為他們真的從硬件層面就開始構(gòu)建一切。OpenAI有很多時間來真正專注于這些可靠性問題，但其他的公司，從大公司到小初創(chuàng)公司的任何人都在經(jīng)歷這些挑戰(zhàn)。所以我和Google的一位高層人士交談。他說，我們現(xiàn)在的訓(xùn)練情況就像90年代的CPU一樣，沒有Kubernetes，也沒有VMware，服務(wù)器常常崩潰。大多公司不愿處理這種情況，因此要么支付更高費用給更好的高級服務(wù)，要么消耗更多時間。

硬件的發(fā)展最終會趨于穩(wěn)定，英偉達將致力于提高他們芯片的穩(wěn)定性，并優(yōu)化他們的代碼。GPU云服務(wù)將圍繞這一點找到解決方案。這是未來的趨勢，但目前還沒有實現(xiàn)。如果你現(xiàn)在想要訓(xùn)練一個模型，你將不得不面對所有這些問題。因此，這是你必須應(yīng)對的挑戰(zhàn)之一。在Decart實驗室，我們直面這個挑戰(zhàn)。我們能夠做到這一點的原因是，比如你看到的Oasis模型，從開始到結(jié)束僅需20小時就能收斂。

我們與其他AI實驗室有很多合作和交流，那些訓(xùn)練最先進模型的最佳實驗室，他們對此都感到震驚。對于這些模型，他們的收斂通常需要大約兩周時間。這不僅僅是因為他們沒有使用優(yōu)化的系統(tǒng)層面的東西，還因為他們每隔幾個小時或數(shù)天就會遇到崩潰。而我們實際上可以保持訓(xùn)練運行從頭到尾不崩潰。我們也可以保持訓(xùn)練運行一周或兩周不崩潰。這種可靠性真的非常重要。問題是，這并不容易實現(xiàn)。

我們有一個內(nèi)部文檔，我想現(xiàn)在大約有200頁，記錄了訓(xùn)練一個模型時可能出錯的所有事情。從一個節(jié)點上的錯誤信息要求硬件操作員檢查兩個節(jié)點間的問題，到另一個有趣的情況。比如，在我們訓(xùn)練Oasis模型的過程中，遇到了一個有趣的情況。我們需要生成一些合成數(shù)據(jù)，而我們擁有的集群既有GPU也有CPU。通常情況下，CPU的利用率只有3%左右，而GPU則被充分利用。因此，我們決定在訓(xùn)練模型的同時，利用這些未充分利用的CPU來生成合成數(shù)據(jù)。

這種做法讓我們的GPU云團隊感到驚訝，因為我們實際上將集群的利用率提高到了200%。我們不僅使用了CPU和GPU，還利用了InfiniBand在訓(xùn)練期間傳輸數(shù)據(jù)。這樣，我們從集群中獲得了比預(yù)期更多的資源。總的來說，我們通過并行運行合成數(shù)據(jù)生成任務(wù)，有效地利用了未充分利用的CPU資源，而沒有占用GPU資源。這一策略使得我們能夠更高效地使用集群資源，提高了整體的訓(xùn)練效率。

在進行Oasis模型訓(xùn)練的同時，我們還進行了合成數(shù)據(jù)的生成，這項工作僅使用了CPU資源，理論上不應(yīng)該影響到訓(xùn)練運行。然而，實際上這導(dǎo)致了訓(xùn)練運行出現(xiàn)問題。具體來說，我們遇到了一個隨機錯誤，團隊中可能有成員能夠更準(zhǔn)確地描述這個問題，但錯誤信息大致是關(guān)于數(shù)據(jù)加載器缺少鎖文件。這個錯誤背后的原因是，合成數(shù)據(jù)的生成過程中消耗了更多的RAM，這本不是什么大問題，但它導(dǎo)致在不同節(jié)點間傳輸數(shù)據(jù)時占用了更多的網(wǎng)絡(luò)帶寬。

這超出了Python數(shù)據(jù)加載器通常使用的網(wǎng)絡(luò)映射鎖文件的處理能力，導(dǎo)致鎖文件被移動到了磁盤上。結(jié)果就是不同節(jié)點上出現(xiàn)了不同的鎖文件，最終導(dǎo)致數(shù)據(jù)加載器崩潰。簡而言之，我們本以為這樣做是合理的，但卻遭遇了一個意外的錯誤。這就是我們?nèi)粘９ぷ鞯囊徊糠郑覀冇幸粋€200頁的文檔記錄了所有這類問題，這也是我的工作內(nèi)容之一。

Shaun Maguire：Dean愿意分享一個簡單的例子，這是他們遇到的挑戰(zhàn)中較為簡單的一個。實際上，還有比這困難和重要百倍的問題需要他們?nèi)ソ鉀Q。關(guān)于AI的現(xiàn)狀，還有一個相對簡單的例子可以說明。Dean，如果你不愿意討論這個，可以跳過，但你們有一次獲得了一個新集群的使用權(quán)。這個集群的內(nèi)存尚未安裝，GPU只有一些非常有限的內(nèi)存，以至于大多數(shù)人幾乎無法使用這些GPU。能否分享一下這個故事？

Dean Leitersdorf：這確實是一個精彩的故事。我們常說，要構(gòu)建一個理想的視頻模型訓(xùn)練環(huán)境，需要的不僅僅是集群，還包括存儲和網(wǎng)絡(luò)等基礎(chǔ)設(shè)施。我們距離實現(xiàn)這個目標(biāo)還有很長的路要走。我預(yù)計在未來半年左右，這些配套會逐漸穩(wěn)定下來，許多GPU云服務(wù)提供商正在努力實現(xiàn)這一點。在我們遇到的一個情況中，我們獲得的一個集群完全沒有存儲，而且這并不是個例。這種情況發(fā)生在幾個不同的集群和不同的云服務(wù)上。這些云服務(wù)提供商雖然提供了GPU，但要讓一切正常運作，還有許多工作要做。

Shaun Maguire：他們過于專注于關(guān)注H100s，因此忽視了內(nèi)存和存儲部分。

Dean Leitersdorf：這種情況是可以理解的。云服務(wù)提供商計劃安裝存儲系統(tǒng)，并且他們會完成這項工作。他們急于盡快推出服務(wù)，這是合理的。然而，由于缺乏穩(wěn)定的存儲和優(yōu)化的存儲節(jié)點或者S3存儲桶等類似的服務(wù)，我們面臨了一些挑戰(zhàn)。于是我們提出一個想法：如果每個節(jié)點都連接了幾個SSD，我們是否可以在這些SSD上構(gòu)建自己的迷你分布式文件系統(tǒng)呢？

我們確實這么做了，而且這個方法是有效的。盡管在實現(xiàn)過程中遇到了許多需要克服的問題，但最終我們成功了。這再次回到了垂直整合的問題上。Shaun在這個領(lǐng)域的知識和經(jīng)驗都比我豐富得多，他在這個行業(yè)的時間也比我長。我主要是做研究工作，完成我的博士學(xué)位...

Sonya Huang：我覺得他好像剛剛稱呼你為“年紀(jì)大”。

Shaun Maguire：我說的是經(jīng)驗……我從Google剛推出的時候就開始使用它，在NVIDIA首次公開募股時就買了它的股票，那正是我出生的時候。

Dean Leitersdorf：我記得NVIDIA上市是在我出生之前的事情，是1996年還是1999年？不管怎樣。對于我而言，垂直整合通常能帶來兩個主要好處：一是降低成本，從而提高利潤率；二是加快行動速度，使企業(yè)能夠更迅速地響應(yīng)市場變化。在人工智能領(lǐng)域，這兩點都非常重要，但我認(rèn)為行動速度的重要性超過了成本降低。

我們面臨的所有問題最終都會被解決，但這需要時間。有一篇發(fā)表在《The Information》雜志上的文章提到，一些離開谷歌的創(chuàng)業(yè)者發(fā)現(xiàn)，他們在外部創(chuàng)業(yè)時缺乏必要的基礎(chǔ)設(shè)施支持，比如存儲和云服務(wù)，這些都是他們在谷歌內(nèi)部時不曾意識到的問題。隨著時間的推移，云服務(wù)提供商會逐步提供這些支持，一些公司也會提供系統(tǒng)中間層的服務(wù)，甚至簡化模型訓(xùn)練過程。

但如果你能實現(xiàn)端到端的垂直整合，就能比競爭對手提前一到兩年進入市場，這是至關(guān)重要的。因為技術(shù)優(yōu)勢不會永遠(yuǎn)持續(xù)，例如谷歌和Bing，盡管谷歌擁有更多數(shù)據(jù)，但微軟的Bing也在不斷進步，盡管兩者之間仍有差距。歸根結(jié)底，整個游戲的關(guān)鍵在于快速獲得技術(shù)護城河，比如谷歌和OpenAI，并盡可能早地將這一優(yōu)勢轉(zhuǎn)化為市場競爭力。這就是游戲規(guī)則，因為我們都可以說，“紅杉投資了，很好。我們先把錢存入銀行，讓我們從中賺取一些利息。我們會去海灘待兩年，等一切穩(wěn)定下來，兩年后再回來，然后建立同一家公司?！蹦菚馨簦渌嗽缇妥鲞^了。

這就是我們選擇垂直整合的原因。通過垂直整合，我們可以更快地將技術(shù)轉(zhuǎn)化為產(chǎn)品，從而在市場上獲得先發(fā)優(yōu)勢。

未來發(fā)展及商業(yè)模式規(guī)劃

Sonya Huang：我喜歡這個，那你的護城河是呢？

Dean Leitersdorf：是長期的還是短期的？

Shaun Maguire：兩個都有。

Dean Leitersdorf：關(guān)于短期技術(shù)，我們擁有業(yè)界領(lǐng)先的系統(tǒng)層技術(shù)，同時也在模型層進行深耕。我們的業(yè)務(wù)實現(xiàn)了完全的垂直整合，這構(gòu)成了我們的短期競爭優(yōu)勢。

談到長期發(fā)展，這是一個值得深思的問題。我想分享一些我最近發(fā)現(xiàn)的有趣現(xiàn)象。現(xiàn)在，一種新型的、較弱的網(wǎng)絡(luò)效應(yīng)正在形成，這種效應(yīng)以前并不存在，它與TikTok上的討論有關(guān)。為什么這很有趣呢？我們從Character AI這家公司學(xué)到了很多，它是一家非常出色的公司。盡管最終沒有被谷歌收購，但他們選擇回去繼續(xù)訓(xùn)練大型模型。Character AI迅速崛起，很快面臨了激烈的競爭。

例如，他們的技術(shù)領(lǐng)先了大約半年，直到Meta發(fā)布了開源模型，其他競爭者也開始跟進。Character AI依然保持著垂直整合的優(yōu)勢，使得他們的成本比其他競爭者低了十倍，這是一個巨大的優(yōu)勢。但讓我印象深刻的是他們的TikTok策略。如果你在TikTok上搜索Character AI的競爭對手，你會發(fā)現(xiàn)關(guān)于這些競爭對手的視頻，然后繼續(xù)瀏覽，你會發(fā)現(xiàn)上百個關(guān)于Character AI的視頻。即使你查看那些不是關(guān)于Character AI的視頻，評論中也充滿了對Character AI的討論。

如果你與一個普通的Character AI用戶交談，他們甚至可能不知道有其他競爭對手存在。因此，我們可以看到，由于TikTok的存在，似乎形成了一種新型的小型網(wǎng)絡(luò)效應(yīng)，或者說是品牌效應(yīng)。這種效應(yīng)讓人們在TikTok上的話語成為了一種新的品牌影響力。

Sonya Huang：這種新型效應(yīng)與品牌有何不同？

Dean Leitersdorf：這種效應(yīng)與品牌非常相似，但它是即時可見的。就像20年前的品牌效應(yīng)，你是否曾聽朋友或家人談?wù)撨^某個品牌？而現(xiàn)在，尤其是年輕一代，他們總是活躍在TikTok這樣的平臺上。因此，他們可以迅速接觸到這些內(nèi)容。這里有一個重要的問題：這種護城河效應(yīng)能否持續(xù)兩三年，直到建立起像谷歌那樣強大的品牌或分銷網(wǎng)絡(luò)等長期護城河?；蛘撸欠衲苄纬梢环N分銷模式。我認(rèn)為我們正處于一個新市場環(huán)境中，我們可能不會擁有10年前那樣的傳統(tǒng)護城河。

Sonya Huang：非常有趣。

Shaun Maguire：硬件始終是最強的競爭優(yōu)勢，谷歌已經(jīng)將其最初的軟件和分布式系統(tǒng)優(yōu)勢轉(zhuǎn)化為硬件優(yōu)勢。我認(rèn)為谷歌在應(yīng)用層面并沒有充分利用這一硬件優(yōu)勢。盡管自早期以來，谷歌并沒有推出許多突破性的消費者產(chǎn)品，但在硬件層面，他們擁有巨大的成本優(yōu)勢。在我任職于谷歌期間，有一個項目讓我印象深刻，它為一些投資決策提供了洞見。

Google通過構(gòu)建光交換機提高了數(shù)據(jù)中心的數(shù)據(jù)傳輸能力，這在“Jupiter Rising: Google Data Center”論文中能夠找到。這些光交換機的使用，實際上使數(shù)據(jù)中心的性能翻倍，它們主要用于數(shù)據(jù)中心內(nèi)機架之間的通信，實現(xiàn)了從電子到光子的信號轉(zhuǎn)變。制造這些設(shè)備非常困難。如果當(dāng)時詢問谷歌之外的專家，他們可能會認(rèn)為制造每秒百太比特的交換機是不可能的，但谷歌做到了。外界甚至不知道谷歌擁有這項技術(shù)，它使數(shù)據(jù)中心的功耗降低了約30%。

這些都是谷歌的真競爭優(yōu)勢。雖然很難預(yù)測公司未來的競爭優(yōu)勢會是什么，但我堅信硬件是最終的護城河。部分原因是，移動原子、啟動晶圓廠、獲取電力、建造發(fā)電廠等過程總是需要長周期。即使是在擁有AGI和十億個Optimus機器人的世界，制造新硬件的時間度也會很長。因此，無論如何，我希望Decart能在某個地方建立起硬件護城河。

Dean Leitersdorf：我認(rèn)同你的觀點。從長遠(yuǎn)來看，這讓我們回想起創(chuàng)建Decart的初衷。我們認(rèn)為，人生中可能只有一次黃金機會去創(chuàng)辦一家公司。當(dāng)時我們認(rèn)為，與其在某個革命性技術(shù)變革中創(chuàng)建公司，不如說我們有機會去解決一些根本性的問題。我們分析了這個領(lǐng)域，認(rèn)為有三個巨大的機會可以把握。

首先，可以創(chuàng)建一個NVIDIA的競爭對手，比如開發(fā)下一代AI芯片。這非常困難，因為NVIDIA不僅是芯片巨頭，還是供應(yīng)鏈巨頭。但如果在行業(yè)中努力，會得到許多人的幫助。如果你在商業(yè)上表現(xiàn)出色，這是可行的。

其次，可以建立下一個AWS，因為工作負(fù)載正在變化，有機會創(chuàng)建一個新的云服務(wù)。這同樣非常困難，因為市場上有一個默認(rèn)的贏家。即使其他人都失敗了，三大巨頭和甲骨文等云服務(wù)提供商仍然會成功。

第三，是創(chuàng)造新的體驗。這些新體驗將非常劇烈，以至于下一家萬億美元的公司可能在五年內(nèi)而不是30年內(nèi)從這些體驗中誕生。因此，我們必須選擇一個方向開始，我們選擇了創(chuàng)造新的用戶體驗這一領(lǐng)域。但第二個好選擇是成為NVIDIA的競爭對手，這也是我們一直考慮的一個選項，我們總有一天會回到這個想法上來。

Sonya Huang：讓我以最后一個問題結(jié)束：如果一切按計劃進行，Decart在未來10年、15年、20年后會發(fā)展成什么樣子？你們將創(chuàng)造怎樣的體驗？消費者娛樂的未來又將如何？我不確定這是否是正確的市場定位。

Dean Leitersdorf：我想引用紅杉資本的James的話，是他提出了“生成體驗”（GX）這個概念。我們認(rèn)為用戶體驗（UX）已死，現(xiàn)在是GX的時代?；旧希覀儗?chuàng)造新的體驗，這些體驗將根據(jù)人類與計算機互動的自然方式生成，包括從角色AI到實時視頻模型等各種形式的生成體驗。這就是我們預(yù)見的未來。

Decart將成為一家生成體驗的公司，通過完全垂直整合和系統(tǒng)層面的創(chuàng)新來實現(xiàn)這一點。最終，Decart將成為一家創(chuàng)造新一代體驗的公司，這些體驗將影響地球上的每一個人，這就是笛卡爾的目標(biāo)所在?，F(xiàn)在的問題只是實現(xiàn)這一目標(biāo)需要多長時間——是10年還是15年。在當(dāng)今時代，可能不需要那么長時間。過去的巨頭花了很長時間才統(tǒng)治世界，我不知道Decart是否也需要那么長時間。但可以肯定的是，至少需要五年時間。

Sonya Huang：你們在不同的時間尺度上運作，這與許多我們領(lǐng)域內(nèi)的頂級AI研究人員不同。我非常尊重這一點。我們是否應(yīng)該以一個快速問答環(huán)節(jié)結(jié)束？

Shaun Maguire：當(dāng)然可以。

Sonya Huang：除了Oasis，你最喜歡的AI應(yīng)用是什么？

Dean Leitersdorf：就是ChatGPT和Character中的一個。

Sonya Huang：你會用Character干什么呢？

Dean Leitersdorf：即使你不會使用Character……從基本概念上講，我們將擁有作為實體的應(yīng)用程序，這些應(yīng)用程序?qū)⒃谟脩糁g維持某種關(guān)系，無論是友誼還是功利性的。我認(rèn)為，Character將成為未來眾多事物的基本平臺。

Sonya Huang：我確實喜歡這樣。至于你最喜歡的 AI 公司，可能和你剛剛提到的一樣。

Dean Leitersdorf：是的。

Shaun Maguire：你第一次編程是在什么時候？

Dean Leitersdorf：我第一次編程是在13歲，為游戲RuneScape編寫機器人腳本。RuneScape是一款很棒的游戲，我玩了好幾年。直到第六年，我使用了一款從網(wǎng)上下載的機器人軟件，結(jié)果24小時后賬號被封。

Sonya Huang：我們會先迎來AI生成的視頻游戲還是小說？我的意思是，達到我愿意為之付費的水平。

Dean Leitersdorf：首先出現(xiàn)的將是一個平臺，允許人們利用他們的創(chuàng)造力來制作這些內(nèi)容，因為目前的AI技術(shù)還遠(yuǎn)遠(yuǎn)不能創(chuàng)造具有創(chuàng)意的內(nèi)容。

Shaun Maguire：你最喜歡的科學(xué)家是誰？

Dean Leitersdorf：關(guān)于最喜歡的科學(xué)家這個問題，我非常喜歡。我們選擇“Decart”這個名字是有深意的。我最喜歡的科學(xué)家是達芬奇，因為他不僅是一位杰出的科學(xué)家和工程師，還懂得如何獲得資助?；仡櫄v史，達芬奇不僅在科學(xué)和工程領(lǐng)域有著卓越的成就，還擅長從當(dāng)時的“風(fēng)險投資家”——也就是國王們那里籌集資金。因此，達芬奇無疑是我的首選，其次是笛卡爾和特斯拉。

選擇“Decart”這個名字，是因為我們對特斯拉公司及其命名方式感到欽佩。我們需要一個與尼古拉·特斯拉對特斯拉公司所代表的意義相似的名字。而笛卡爾正是這樣的人，因為他的哲學(xué)、理性主義和方法論，“我思故我在”與當(dāng)今人工智能的許多理念不謀而合。這是一個絕妙的選擇。

Sonya Huang：這是一個完美的結(jié)束語。Dean，對你所做的一切表示敬意。感謝你今天的參與，我們很享受這次對話。

Shaun Maguire：我不會提前祝賀你，因為我們還沒有實現(xiàn)目標(biāo)。讓我們?nèi)?chuàng)造一些非凡的成果。不過，我非常欣賞你這樣的態(tài)度。

Dean Leitersdorf：在我們真正成功之前，我們不會慶祝。我們不慶祝小勝利。