上海
品玩4月15日訊，據(jù)CSDN消息，南洋理工大學(xué)MMLab團隊近日正式推出Hand2World模型。該模型使AI世界模型能夠通過空中手勢實時生成第一人稱交互視頻，真正實現(xiàn)了從“被動觀察”到“主動觸達”的技術(shù)跨越，解決了長期存在的手眼交互難題。
針對現(xiàn)有模型在訓(xùn)練與推理階段因手部遮擋導(dǎo)致的分布不匹配問題，Hand2World摒棄了傳統(tǒng)的2D掩碼，采用基于3D手部網(wǎng)格（MANO）的投影作為控制信號。同時，模型利用像素級Plücker射線嵌入顯式編碼相機運動，成功解耦了手部動作與頭部視角轉(zhuǎn)動，有效防止了背景漂移。
在技術(shù)架構(gòu)上，Hand2World將雙向擴散教師模型蒸餾為因果自回歸生成器，支持流式輸出與無限時長的連續(xù)交互。實驗數(shù)據(jù)顯示，該模型在ARCTIC等三大基準測試中FVD指標大幅下降，顯著提升了生成視頻的視覺質(zhì)量與3D一致性。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
