公司情報(bào)專家《財(cái)經(jīng)涂鴉》獲悉，12月17日，騰訊混元發(fā)布世界模型1.5（Tencent HY WorldPlay)，成為國(guó)內(nèi)首個(gè)開放體驗(yàn)的實(shí)時(shí)世界模型。

據(jù)悉，混元世界模型1.5具備三大核心能力，包括實(shí)時(shí)的交互生成、長(zhǎng)范圍的3D一致性以及多樣化的交互體驗(yàn)，目前騰訊混元3D官網(wǎng)已開放申請(qǐng)使用。

使用方面，用戶輸入文字描述或者圖片即可創(chuàng)建專屬的互動(dòng)世界，通過鍵盤、鼠標(biāo)或手柄實(shí)時(shí)控制虛擬相機(jī)的移動(dòng)和轉(zhuǎn)向，即可像玩游戲一樣自由探索AI生成的世界。

騰訊方面表示，該模型將帶來(lái)世界建模的全新可能性。用戶可以在生成的世界里隨意移動(dòng)探索，離開某個(gè)區(qū)域后再次返回時(shí)，模型能夠“記住”該區(qū)域的三維結(jié)構(gòu)，呈現(xiàn)前后一致的場(chǎng)景——這種空間記憶能力標(biāo)志著模型在三維世界理解上的突破。

同時(shí)，混元世界模型1.5（WorldPlay）還首次開源了業(yè)界最系統(tǒng)、最全面的實(shí)時(shí)世界模型框架，涵蓋數(shù)據(jù)、訓(xùn)練、流式推理部署等全鏈路、全環(huán)節(jié)。

混元團(tuán)隊(duì)在技術(shù)報(bào)告中公開了模型預(yù)訓(xùn)練、持續(xù)訓(xùn)練、自回歸視頻模型強(qiáng)化學(xué)習(xí)、帶記憶力的模型蒸餾的訓(xùn)練細(xì)節(jié)，并詳述模型在控制（control space），記憶（reconstituted memory），蒸餾（context forcing），強(qiáng)化學(xué)習(xí)后訓(xùn)練幾大模塊上的思考與原創(chuàng)設(shè)計(jì)。

據(jù)悉，WorldPlay這一自回歸擴(kuò)散模型是混元世界模型1.5的核心。其采用Next-Frames-Prediction的視覺自回歸任務(wù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了長(zhǎng)范圍幾何一致性的實(shí)時(shí)交互式世界建模，破解了業(yè)界滿足實(shí)時(shí)性與幾何一致性的難題。

該模型依托三大核心，實(shí)現(xiàn)了諸多創(chuàng)新，包括雙分支動(dòng)作表征實(shí)現(xiàn)精準(zhǔn)控制、上下文記憶重構(gòu)機(jī)制保持幾何一致性、上下文對(duì)齊蒸餾技術(shù)增強(qiáng)長(zhǎng)視頻生成的視覺質(zhì)量和幾何一致性。

此外，該工作也構(gòu)建了一套新穎的基于3D獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架來(lái)進(jìn)一步增強(qiáng)生成視頻的視覺質(zhì)量和幾何一致性。

數(shù)據(jù)方面，混元團(tuán)隊(duì)構(gòu)建的自動(dòng)化3D場(chǎng)景渲染流程，可以獲得大量高質(zhì)量的真實(shí)世界渲染數(shù)據(jù)，進(jìn)一步激發(fā)核心算法的潛力。同時(shí)，混元世界模型1.5可支持24幀/秒的長(zhǎng)時(shí)流式生成，一致性與泛化能力適用于多樣化場(chǎng)景。

這一全新的內(nèi)容生成模式可以應(yīng)用在多個(gè)場(chǎng)景中。

例如，在AI游戲開發(fā)領(lǐng)域，它可以作為智能關(guān)卡生成器，根據(jù)玩家的文本描述實(shí)時(shí)創(chuàng)建可探索的游戲世界；在影視制作和虛擬現(xiàn)實(shí)（VR）領(lǐng)域，創(chuàng)作者通過簡(jiǎn)單的文本指令，就可以快速預(yù)覽和迭代場(chǎng)景設(shè)計(jì)；在具身智能（Embodied AI）研究領(lǐng)域，混元世界模型1.5提供了一個(gè)理想的訓(xùn)練和測(cè)試平臺(tái)，研究者可以通過借助這個(gè)平臺(tái)，以更高的效率、更大的規(guī)模，去探索具身智能體的感知、決策、規(guī)劃和長(zhǎng)期交互能力。

作者：蘇打

編輯：tuya

出品：財(cái)經(jīng)涂鴉（ID：caijingtuya）