PixVerse 發(fā)布了一個新東西，感覺...這是一場無限月讀的夢境

畫面持續(xù)生成，輸入的指令可以即時改變畫面內(nèi)容

官方技術(shù)報告的說法是：無限、連續(xù)的視覺流式傳輸

分辨率最高 1080P，響應(yīng)延遲秒級
（現(xiàn)在的 Demo 只是 720P，算力實在有限）

下面這個，是官方宣傳片，文末還有更多試玩錄屏：

世界模型到底在說什么

在世界模型這塊，老實說我只能算個門外漢，看到這個 PixVerse 的發(fā)布之后，我趕忙的去查看了相關(guān)的技術(shù)報告，以及詢問各種行業(yè)專家，以求給大家?guī)砀鼫?zhǔn)確的描述

恰好的，昨天 Luma AI 的模型產(chǎn)品負(fù)責(zé)人來到 AGI Bar，我們聊了一會兒，他平時在灣區(qū)，對技術(shù)細(xì)節(jié)比較了解，前段時間剛?cè)诹?9 個億的美金，做世界模型

這就很...及時了，我們聊了半個多小時的模型發(fā)展，也包括現(xiàn)在各家的進展，再結(jié)合我之前學(xué)習(xí)的各類報告，有了這篇文章

對于世界模型，楊立昆有個說法，大意是：

給定一個現(xiàn)在的物理世界的狀態(tài)，比如這個杯子停在桌子邊緣。再給定一個事件，比如：我把杯子推下去，會怎樣 對于人類的我們，可以想象：塑料杯的話，會彈起來；玻璃杯，則會摔碎 不得不說，人腦真的很厲害 現(xiàn)在的模型怎么知道這些？它得看過塑料杯摔在地上，看過玻璃杯摔在地上，看過各種杯子摔在地上的視頻 但如果我能通過語言模型的知識，知道這是玻璃杯還是塑料杯，知道玻璃落地會碎、塑料落地會保持完整，然后根據(jù)這個推斷去生成視頻，那就不一樣了

這個「杯子理論」，核心要表達的是：模型到底是在做模式匹配，還是真的理解了物理規(guī)律

兩條技術(shù)路線

現(xiàn)在做世界模型的團隊，技術(shù)路線上分成兩派：視頻路線和3D 重建路線

視頻路線 vs 3D重建 視頻路線

Genie 3、PixVerse R1、Luma 走的都是這條路
核心思路是：通過足夠多的視頻信息，去理解 3D 的構(gòu)成

比如怎么知道一個物體從正面看是什么樣、從側(cè)面看是什么樣、從上面看是什么樣。模型從大量視頻中學(xué)習(xí)這些視角關(guān)系

講道理，我覺得人腦是這么學(xué)習(xí)的

3D 重建

李飛飛的 World Labs 走的是另一條路
用 Gaussian Splatting 把 3D 世界重建出來，人在里面走動，場景產(chǎn)生變化，這個有點像小扎之前提到的元宇宙

他們是直接用 Gaussian Splatting，把 3D 的世界給重建出來了。然后人在里面走，產(chǎn)生交互或者動作，去模擬出來

兩條路線，各有側(cè)重（只是目前來說）

3D 重建：空間一致性更強、可以導(dǎo)出資產(chǎn)
視頻路線：生成速度快、可以做實時交互；

PixVerse R1 的技術(shù)架構(gòu)

伴隨 PixVerse R1 發(fā)布的，還有一份技術(shù)報告，有興趣的可以讀一下

https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model

根據(jù)這份報告，PixVerse R1 由三個模塊支撐：Omni、Memory 和 IRE

Omni：原生多模態(tài)基座

端到端的多模態(tài)模型，文本、圖像、視頻、音頻被統(tǒng)一編碼成連續(xù) token 流

「原生」的含義是：多模態(tài)融合發(fā)生在模型底層，而非通過外掛編碼器拼接。減少模態(tài)之間的接口誤差

基座模型在大規(guī)模真實世界視頻上訓(xùn)練，學(xué)習(xí)場景演化的規(guī)律

Memory：自回歸流式生成

擴散模型生成固定長度片段，PixVerse R1 用自回歸機制，逐幀預(yù)測，理論上無長度限制

自回歸的經(jīng)典問題是誤差累積。PixVerse R1 加了記憶增強注意力機制：當(dāng)前幀生成時，會參考前序幀的隱狀態(tài)表示，維持長程一致性

聊到這里，朋友提了一個有意思的點：

自回歸的圖片模型從去年開始有了，Grok、GPT-4o Image、Gemini 的圖片生成，基本上都是自回歸加 Diffusion 的某種 Fusion 架構(gòu) 圖片模型上能看到對文字、對物理規(guī)律有更好的呈現(xiàn) 那大家猜測，用同樣的架構(gòu)在視頻上實現(xiàn)，可能也能更好的理解物理世界規(guī)律 但自回歸的視頻模型，真的很難

國內(nèi)最早探索這個方向，并產(chǎn)出成果的，應(yīng)該是 Sand AI，曹越他們

PixVerse R1 的這次嘗試，則是把這個東西，推向了一個新的高度

IRE：實時響應(yīng)引擎

實現(xiàn)「實時」的關(guān)鍵模塊

擴散模型通常需要幾十步去噪迭代，延遲高。PixVerse R1 把采樣步數(shù)壓到 1 到 4 步

這里有三個技術(shù)點：

Direct Transport Mapping
網(wǎng)絡(luò)直接預(yù)測目標(biāo)分布，跳過逐步去噪

引導(dǎo)蒸餾
把 Classifier-Free Guidance 的條件梯度合并進學(xué)生模型，省掉推理時的額外計算

稀疏注意力
減少長序列依賴的冗余計算

產(chǎn)業(yè)背景

世界模型這個詞，最早進入大眾視野可能要追溯到 Sora

標(biāo)題：視頻生成模型，也是世界模擬器

Sora 的時候大家都覺得這是一個視頻模型。但 OpenAI 當(dāng)時說的是 World Model 他們當(dāng)時說的 World Model，是指在視頻的基礎(chǔ)上，模型能夠符合我們對于一個視頻的正常預(yù)期。比如鳥飛是什么樣的，原來的 Diffusion 模型很多東西跑起來不太符合客觀規(guī)律。Sora 把這個事情做了

現(xiàn)在各家的布局：

Google Genie 3（2025年8月） 720p 分辨率，24fps 幀率，持續(xù)交互可達數(shù)分鐘。還是基于 DiT 架構(gòu)，做了一些改進

World Labs Marble（2025年11月） 李飛飛創(chuàng)立，首輪融資 2.3 億美元。生成持久化、可下載的 3D 環(huán)境，支持導(dǎo)出 Gaussian Splats 和 Mesh 格式

NVIDIA Cosmos（2025年1月） 物理 AI 基礎(chǔ)設(shè)施平臺，已被下載超 200 萬次。定位是服務(wù)自動駕駛和機器人訓(xùn)練

Runway GWM-1（2025年12月） 分化為三條產(chǎn)品線：交互式探索、機器人合成數(shù)據(jù)、人類行為模擬

PixVerse R1 剛剛發(fā)布，聚焦實時響應(yīng)。公司2025年9月獲得阿里巴巴領(lǐng)投的 6000 萬美元融資，年化經(jīng)常性收入約 4000 萬美元

局限性

技術(shù)報告里提到兩個約束：

誤差累積 長時間生成后，早期的小誤差可能逐步放大

物理精度與速度的權(quán)衡 為了實現(xiàn)實時，物理細(xì)節(jié)的渲染精度有所妥協(xié)

目前單次會話限時 5 分鐘，算力消耗較大

還有一個更根本的問題，字節(jié) Seed 團隊 2024年11月的研究（ICML 2025 發(fā)表）指出：視頻生成模型在分布外泛化上表現(xiàn)不好，縮放模型規(guī)模也沒用。核心問題是模型可能并沒有真正學(xué)會物理規(guī)則，只是在做模式匹配

這也是杯子理論指向的問題：看過足夠多杯子摔碎的視頻，和真正理解「玻璃落地會碎」，可能是兩回事

收尾

體驗地址：realtime.pixverse.ai

目前內(nèi)測中，需要邀請碼，我爭取了，但算力實在有限，實在沒有多余的，能在這里群發(fā)了（

最后，放一下更多 case 的試玩錄屏