編譯/VR陀螺

近日，谷歌Deepmind發(fā)布Genie 3，這是一個(gè)世界模型，可根據(jù)文本提示生成實(shí)時(shí)交互的3D視頻流。

初代Genie于2024年初發(fā)布，能夠以256×256的分辨率生成2D橫向卷軸游戲，但該模型穩(wěn)定性不佳，只能穩(wěn)定運(yùn)行幾十幀、幾秒的內(nèi)容。隨后Genie 2于去年12月發(fā)布，此時(shí)它已經(jīng)能夠生成3D世界模型，這就像是一款3D游戲，玩家可以基于鼠標(biāo)和鍵盤(pán)操縱人物在場(chǎng)景里面進(jìn)行探索。不過(guò)當(dāng)時(shí)該版本輸出的世界比較模糊，同時(shí)細(xì)節(jié)也較少。

相比之下，Genie 3是一個(gè)巨大的飛躍，它以720p 24fps的速度輸出高度逼真的圖形，環(huán)境在1 分鐘內(nèi)能保持完全一致，并在幾分鐘內(nèi)保持“基本”一致。值得一提的是，Genie 3生成的虛擬世界已經(jīng)非常趨近真實(shí)世界，如門(mén)可以打開(kāi)，運(yùn)動(dòng)的物體具有真實(shí)的動(dòng)態(tài)陰影，水面擾動(dòng)時(shí)也會(huì)產(chǎn)生水花、漣漪之類(lèi)的特效。

此外，Genie 3還增加了對(duì)“可提示的世界事件”的支持，如能夠改變天氣、添加新物體和角色等。谷歌透露，Genie 3的端到端控制延遲為50毫秒，已經(jīng)非常接近24 fps平板游戲的理論最低延遲41.67毫秒。

不過(guò)，Genie 3目前還存在不少局限，如無(wú)法模擬多個(gè)獨(dú)立智能體之間的復(fù)雜交互，無(wú)法以完美的地理精度模擬真實(shí)世界的位置，而且通常只有在文本提示中明確提供才能生成清晰易讀的文本。谷歌將這些問(wèn)題描述為“持續(xù)的研究挑戰(zhàn)”。

來(lái)源：UploadVR