国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

Pixverse悄悄上線世界模型R1,我做的AI視頻能無限實(shí)時(shí)交互了

0
分享至

AI視頻的下一步會(huì)是什么?

更快?更清晰?更可控?這些點(diǎn)都很明確了,

但我確實(shí)兒沒想到,我26年先看到的會(huì)是這樣一個(gè),

能夠一邊打字一邊實(shí)時(shí)生成的新視頻生成模型,也可以叫實(shí)時(shí)世界模型,

Pixverse R1

可能我這么說,大家還感受不太到,直接給大家看一個(gè)case。

試玩demo https://realtime.pixverse.ai/

這個(gè)過程最頭皮發(fā)麻的地方在于,世界是連續(xù)的。

不是重新生成了一個(gè)新視頻,而是在剛剛那個(gè)世界的基礎(chǔ)上,實(shí)時(shí)地為林克裝備了一把武器。這感覺就像你在玩游戲時(shí),突然擁有了開發(fā)者權(quán)限,可以隨時(shí)用語言為游戲增加新的元素。

這段演示里還有一個(gè)細(xì)節(jié),當(dāng)指令變得復(fù)雜,比如讓怪物追趕林克時(shí),怪物的行為會(huì)有些笨拙。


這種不完美反而證明了它不是一段預(yù)設(shè)好生成好拼接好的AI動(dòng)畫,

而是一個(gè)真的擁有初步物理和行為邏輯的世界。

可能它的清晰度還不太完美,

但仔細(xì)想想從360p的AI視頻畫質(zhì)到穩(wěn)定低價(jià)的1080p,我們只用了18個(gè)月。

所以我根本不擔(dān)心這個(gè)問題,我關(guān)心的是它在根據(jù)我的指令,實(shí)時(shí)地進(jìn)行演算。

這種可被觀察的演算過程,正是它與傳統(tǒng)AI視頻最大的不同。

修的都不是同一個(gè)體系,而且從他們技術(shù)報(bào)告上看,這個(gè)視頻能自己無限期演下去。


技術(shù)報(bào)告 https://pixverse.ai/en/blog/pixverse-r1-next-generation-real-time-world-model

R1叫世界模型,3D模型也叫世界模型,Banana2也叫世界模型,

用人話來說,世界知識(shí)就是給生成內(nèi)容裝上一個(gè)能自洽的底層引擎,讓它不止能把畫面長(zhǎng)得像,還得把因果,物理,常識(shí)都對(duì)上號(hào)。

經(jīng)得起推敲的,不會(huì)穿幫的,能按照你模糊的提示語補(bǔ)充細(xì)節(jié)的。

打開Demo,打開麥克風(fēng),就這樣一邊說話,R1一邊就把劇情全出了。


聲畫一體的Sora和Veo都很強(qiáng)大,創(chuàng)作流程基本上也都是許愿-等待-開獎(jiǎng)。

當(dāng)我寫下一段幾百字的咒語,點(diǎn)擊生成,然后就是盯著進(jìn)度條等。幾分鐘,甚至十幾分鐘后,才能打開那個(gè)盲盒。運(yùn)氣好,開出神作;運(yùn)氣不好,人物崩了,物理飛了,只能自認(rèn)倒霉,回頭再去改那段天知道哪里不對(duì)的咒語,然后開始新一輪的抽卡。

Veo3.1還可以用json約束一下,但很多別的視頻模型還是要慢慢磨自然語言。


Pixverse這個(gè)就給我一個(gè)很新的感受,

它的整個(gè)過程其實(shí)有點(diǎn)像是導(dǎo)演在現(xiàn)場(chǎng)指揮演員。

你可以設(shè)想一下,在一個(gè)電視劇或電影的片場(chǎng),演員在表演時(shí),導(dǎo)演有時(shí)會(huì)在畫外音中進(jìn)行一些實(shí)時(shí)指導(dǎo),告訴演員如何去演、做哪些動(dòng)作,或者表情哪里不到位。

這樣的實(shí)時(shí)指導(dǎo)就非常像我現(xiàn)在用PixVerse R1的感覺,通過打字告訴視頻,我需要接下來的這個(gè)人物去進(jìn)行怎樣的動(dòng)作,或者進(jìn)入到什么樣的場(chǎng)景。

這種交互體驗(yàn)真的蠻能圓我導(dǎo)演夢(mèng)的。

比如這個(gè)太空駕駛的場(chǎng)景,

一連串的文字像寫劇本一樣,實(shí)時(shí)駕駛著飛船逃離地球、飛向月球、遭遇神秘光線、最后被巨大的土星所震撼。我感覺自己不再是觀眾,而是第一人稱的導(dǎo)演。我輸入的每一個(gè)字,都像是在給飛船添加燃料,驅(qū)動(dòng)著它飛向我想象中的下一幀。

再比如這個(gè),直升機(jī)飛越巴黎時(shí),輸入突然天空轉(zhuǎn)暗,電閃雷鳴,畫面立刻風(fēng)云突變;接著輸入“遠(yuǎn)處一個(gè)巨大的煙花綻放”,天空中真的就升起了一朵煙花,天氣也隨之轉(zhuǎn)晴。整個(gè)環(huán)境和特效都能配合著指令實(shí)時(shí)做出互動(dòng),是一個(gè)非常連續(xù)性的展示。

你就看這個(gè)Pixverse實(shí)機(jī)操作的錄屏界面,我感覺這玩意兒根本不只是一個(gè)視頻生成器,更像是一個(gè)可以被語言實(shí)時(shí)編程的微型世界。

我就好奇了,這背后到底是怎么做出來?為什么要做一個(gè)跟別人不一樣的?

我去啃了一下他們的技術(shù)論文,

用人話翻譯一下,R1能做到這個(gè)實(shí)時(shí)生成的效果,主要靠這三樣:

第一個(gè)是叫Omni的原生多模態(tài)大模型。

你可以把它想象成一個(gè)從小就同時(shí)學(xué)習(xí)了看、聽、說三種語言的天才。它不像別的模型需要把音視頻翻譯成文本才能懂,它天生就能在一個(gè)系統(tǒng)里,同時(shí)理解視頻、音頻和文字。這讓它的反應(yīng)快得像是本能。


第二個(gè)零件是一種叫自回歸的機(jī)制。

這東西就像一個(gè)擁有超強(qiáng)短期記憶的說書人,它永遠(yuǎn)記得自己上一秒講了什么,所以下一秒的故事,總能和前面無縫銜接。這保證了視頻可以像一條無限的河流一樣,持續(xù)地連貫地生成下去。


最后,也是最關(guān)鍵的,是一種叫即時(shí)響應(yīng)引擎(IRE)的技術(shù)。

如果說傳統(tǒng)AI視頻生成,像是搭樂高,需要一步步拼接(幾十步的采樣),IRE就像是變魔術(shù),它能直接預(yù)測(cè)出最終成品的輪廓,然后用極少的步驟(一到四步)就把它變出來。


這些正是它能實(shí)現(xiàn)實(shí)時(shí)交互的秘密武器。

所以,它到底用在哪?

我個(gè)人是感覺,PixVerse R1這類實(shí)時(shí)模型,并非要取代Veo們?cè)跀⑹滦远唐瑒?chuàng)作上的作用。它們其實(shí)可以并駕齊驅(qū),Sora們?cè)谧非蟪蔀轫敿?jí)的電影工作流,

而R1正在努力成為一個(gè)充滿無限可能的互動(dòng)娛樂引擎。

它真正開疆拓土的地方,在于那些極度依賴實(shí)時(shí)交互的領(lǐng)域。

比方游戲, 想象一下你走到NPC面前,不需要幾周目才能引導(dǎo)變化,不再是從預(yù)設(shè)的三個(gè)選項(xiàng)里選一句對(duì)話。你可以自由輸入任何你想說的話,NPC會(huì)根據(jù)他的性格和你們之前的經(jīng)歷,實(shí)時(shí)生成獨(dú)一無二的表情和互動(dòng)場(chǎng)景,

我甚至可以開個(gè)上帝模式,對(duì)游戲世界本身下指令,

我希望我這個(gè)賽博釣魚佬可以回回上魚,那我真的要笑到合不上嘴了


也就是說,游戲,將從一個(gè)玩家只能被動(dòng)體驗(yàn)的故事,變成一個(gè)真正可參與的世界。

再再比方說互動(dòng)電影,

現(xiàn)在去大商場(chǎng)體驗(yàn)4D電影都要out了,我大膽想象一下,我可以擺脫A/B選項(xiàng)式的偽互動(dòng),隨時(shí)暫停,給主角下達(dá)一個(gè)全新的指令,別相信他,先看看他口袋里藏了什么,

然后電影會(huì)為你即時(shí)地生成一段新的故事脈絡(luò),我就經(jīng)常在想要是故事不會(huì)結(jié)束就好了。


盜夢(mèng)空間這個(gè)陀螺我是真希望能看到它停下來,被一個(gè)新的幕后之人拿起來

寫到這里,

我突然想到了一個(gè)可能離我們每個(gè)人都更近的使用場(chǎng)景。

你有沒有過這樣的經(jīng)歷?

做了一個(gè)無比清晰的奇幻夢(mèng),畫面感強(qiáng)到你自己都起雞皮疙瘩,

但我醒來后想跟朋友描述,搜腸刮肚用了無數(shù)的形容詞,要不就發(fā)現(xiàn)忘了,要不就是形容不出來,

什么叫我在鰲太線拿著四塊壓縮餅干在大爺海煮火鍋?。ㄎ抑两裥稳莶怀鰜砩衩貓@究竟在我腦子里留下了什么)。

這還能聯(lián)系上一個(gè)科學(xué)名詞,

夢(mèng)境遺忘(dream amnesia)

夢(mèng)大多發(fā)生在REM期(快速眼動(dòng)睡眠)或臨近醒來的過渡階段,醒來屬于從一個(gè)腦狀態(tài)跳到另一個(gè)腦狀態(tài),所以會(huì)出現(xiàn)一種典型的感覺,

就是我知道我剛剛看到了什么,但現(xiàn)在就是想不起來。

因?yàn)樵趬?mèng)里體驗(yàn)的是視覺,空間,情緒,氛圍,象征感,但醒來我要把它壓縮成線性的句子的話,這個(gè)過程中會(huì)出現(xiàn)一種夢(mèng)的不可言說感(dream ineffability)。

這時(shí)候想要最大程度保證夢(mèng)不被遺忘,可以先寫關(guān)鍵詞,不要追求完整敘事,比如,銀色樓梯,潮濕的風(fēng),我逃跑的時(shí)候踩空了,也可以用感官描述替代抽象形容詞,光像浸水的霓虹、空氣里有鐵銹甜味、遠(yuǎn)處的聲音像倒放的合唱。


說實(shí)話,我每天都在跟這種轉(zhuǎn)達(dá)的損耗作斗爭(zhēng)。

但R1這類實(shí)時(shí)模型的出現(xiàn),

或許為我們提供了一種全新的表達(dá)方式。

它能讓我能把那個(gè)轉(zhuǎn)瞬即逝的夢(mèng)境,用一種更直觀,更無損的方式復(fù)現(xiàn)出來。

它將創(chuàng)作的反饋周期從數(shù)小時(shí)甚至數(shù)天,壓縮到了零。

而這種即時(shí)反饋極大地釋放了我的實(shí)驗(yàn)精神和表達(dá)欲望。

現(xiàn)在已經(jīng)可以排隊(duì)內(nèi)測(cè)了,

目前能體驗(yàn)360p了,

過幾天還能用上720p,

趁著還沒收費(fèi)之前,

我要多跑五六七八九十個(gè)。

@ 作者 / 卡爾

最后,感謝你看到這里如果喜歡這篇文章,不妨順手給我們點(diǎn)贊|在看|轉(zhuǎn)發(fā)|評(píng)論

如果想要第一時(shí)間收到推送,不妨給我個(gè)星標(biāo)

如果你有更有趣的玩法,歡迎在評(píng)論區(qū)和我聊聊

更多的內(nèi)容正在不斷填坑中……


特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
一路走好!2026年春晚才過10天,已有4位名人接連去世,令人唏噓

一路走好!2026年春晚才過10天,已有4位名人接連去世,令人唏噓

阿訊說天下
2026-02-26 11:23:19
突發(fā)!阿森納王牌被主帥主動(dòng)甩賣,巴薩準(zhǔn)備 2600 萬撿漏

突發(fā)!阿森納王牌被主帥主動(dòng)甩賣,巴薩準(zhǔn)備 2600 萬撿漏

奶蓋熊本熊
2026-02-27 06:47:20
236億,是不是保利為越秀挖的坑

236億,是不是保利為越秀挖的坑

科學(xué)發(fā)掘
2026-02-27 05:13:03
奈飛美股盤后漲幅擴(kuò)大至13%

奈飛美股盤后漲幅擴(kuò)大至13%

每日經(jīng)濟(jì)新聞
2026-02-27 06:57:25
微信出新功能,網(wǎng)友:簡(jiǎn)直是社恐福音

微信出新功能,網(wǎng)友:簡(jiǎn)直是社恐福音

南方都市報(bào)
2026-02-25 16:59:07
俄記者曝大瓜:俄軍進(jìn)攻潛力耗盡,英國(guó)否定英法用核彈保護(hù)烏克蘭

俄記者曝大瓜:俄軍進(jìn)攻潛力耗盡,英國(guó)否定英法用核彈保護(hù)烏克蘭

史政先鋒
2026-02-25 19:08:44
大批游客因機(jī)票太貴滯留三亞:來時(shí)幾百塊,回去一萬八

大批游客因機(jī)票太貴滯留三亞:來時(shí)幾百塊,回去一萬八

林子說事
2026-02-26 17:23:51
馬杜羅向美法院提交動(dòng)議,要求駁回其面臨的刑事起訴

馬杜羅向美法院提交動(dòng)議,要求駁回其面臨的刑事起訴

界面新聞
2026-02-27 07:14:00
廣東36歲媽媽,生7個(gè)孩子,交幾百萬社會(huì)撫養(yǎng)費(fèi),拒一千萬生意

廣東36歲媽媽,生7個(gè)孩子,交幾百萬社會(huì)撫養(yǎng)費(fèi),拒一千萬生意

三農(nóng)老歷
2026-02-26 10:38:37
近期,一名中國(guó)男子去泰國(guó)玩,花6000泰銖找21歲女孩,悲劇發(fā)生了

近期,一名中國(guó)男子去泰國(guó)玩,花6000泰銖找21歲女孩,悲劇發(fā)生了

福建平子
2026-02-26 13:52:26
水星離地球也很近,為什么探測(cè)器很少光顧,那里有什么秘密?

水星離地球也很近,為什么探測(cè)器很少光顧,那里有什么秘密?

觀察宇宙
2026-02-25 23:00:03
巴拿馬總統(tǒng)慌了,他猛然發(fā)現(xiàn):強(qiáng)吞中國(guó)18億資產(chǎn),竟是自尋死路

巴拿馬總統(tǒng)慌了,他猛然發(fā)現(xiàn):強(qiáng)吞中國(guó)18億資產(chǎn),竟是自尋死路

小陸搞笑日常
2026-02-26 18:39:03
齊魯醫(yī)院再擴(kuò)建,中建八局接手

齊魯醫(yī)院再擴(kuò)建,中建八局接手

醫(yī)脈圈
2026-02-26 20:14:22
“茶幾”正在退出中國(guó)家庭,學(xué)廣東人這樣做,實(shí)用性讓人大開眼界

“茶幾”正在退出中國(guó)家庭,學(xué)廣東人這樣做,實(shí)用性讓人大開眼界

室內(nèi)設(shè)計(jì)師有料兒
2026-02-19 11:17:18
香港粉嶺山火火線近百米,深圳可見!警方稱暫無人員傷亡報(bào)告

香港粉嶺山火火線近百米,深圳可見!警方稱暫無人員傷亡報(bào)告

南方都市報(bào)
2026-02-26 22:17:37
險(xiǎn)勝!東契奇38+11,里夫斯29+6,老詹成倒數(shù)第一,湖人結(jié)局注定

險(xiǎn)勝!東契奇38+11,里夫斯29+6,老詹成倒數(shù)第一,湖人結(jié)局注定

巴叔GO聊體育
2026-02-26 10:56:10
巴拿馬總統(tǒng)徹底傻眼了!突然發(fā)現(xiàn)強(qiáng)吞中國(guó)18億資產(chǎn),竟是自掘墳?zāi)?>
    </a>
        <h3>
      <a href=米果說識(shí)
2026-02-26 19:46:47
18歲亞馬爾新歡曝光:21歲網(wǎng)紅 巴薩鐵粉!取代閨蜜上位

18歲亞馬爾新歡曝光:21歲網(wǎng)紅 巴薩鐵粉!取代閨蜜上位

葉青足球世界
2026-02-26 16:21:14
阿里出手,最強(qiáng)Coding Plan出爐,OpenClaw可以痛快玩了

阿里出手,最強(qiáng)Coding Plan出爐,OpenClaw可以痛快玩了

蒼何
2026-02-26 11:08:53
買美元存款的人虧錢了

買美元存款的人虧錢了

第一財(cái)經(jīng)資訊
2026-02-26 21:53:23
2026-02-27 09:04:49
卡爾的AI沃茨 incentive-icons
卡爾的AI沃茨
前大廠算法工程師,3家科技公司技術(shù)總監(jiān)|致力打造最系統(tǒng)的Al學(xué)習(xí)體系,讓1萬人通過Al提高生產(chǎn)力
219文章數(shù) 101關(guān)注度
往期回顧 全部

科技要聞

英偉達(dá)業(yè)績(jī)亮眼仍跌5% 兩大因素成核心隱憂

頭條要聞

牛彈琴:中國(guó)的兩個(gè)鄰國(guó)大打出手 傷亡相當(dāng)慘重

頭條要聞

牛彈琴:中國(guó)的兩個(gè)鄰國(guó)大打出手 傷亡相當(dāng)慘重

體育要聞

從排球少女到冰壺女神,她在米蘭冬奧練出6塊腹肌

娛樂要聞

向華強(qiáng)公開表態(tài) 財(cái)產(chǎn)留給兒媳婦郭碧婷

財(cái)經(jīng)要聞

魅族手機(jī),終成棄子?

汽車要聞

40歲的吉利,不惑于內(nèi)外

態(tài)度原創(chuàng)

房產(chǎn)
時(shí)尚
教育
本地
軍事航空

房產(chǎn)要聞

2.2萬/m2起!三亞主城性價(jià)比標(biāo)桿 海墾·桃花源實(shí)景現(xiàn)房春節(jié)被瘋搶

今年春天最美搭配:西裝+半裙,怎么穿都好看!

教育要聞

圓內(nèi)接四邊形第2講,一個(gè)視頻學(xué)會(huì)!

本地新聞

津南好·四時(shí)總相宜

軍事要聞

美國(guó)11架F-22隱形戰(zhàn)機(jī)抵達(dá)以色列

無障礙瀏覽 進(jìn)入關(guān)懷版