就在前段時(shí)間 分享了一個(gè)針對(duì)元宇宙Meta更新的新算法，其叫做3DSAM，支持人像以及現(xiàn)實(shí)中任意物體的分割，這項(xiàng)算法可以成為元宇宙與真實(shí)世界的底座。

對(duì)于做機(jī)器人的產(chǎn)品經(jīng)理，任何機(jī)械臂、肢體等，這些要想和真實(shí)物理世界能夠聯(lián)動(dòng)，首先就要把數(shù)字世界與真實(shí)世界的物品與人物、甚至是物理都一一搬運(yùn)到數(shù)字世界里去。

而現(xiàn)在物品與人物動(dòng)作等，這些都可以在虛擬世界，通過(guò)游戲或者AI合成視頻。

合成視頻是利用所謂的世界模型來(lái)完成視頻生成技術(shù)，所以現(xiàn)在還在依賴傳統(tǒng)機(jī)器人訓(xùn)練數(shù)據(jù)的公司可能會(huì)倒閉了

因?yàn)閷?duì)于真實(shí)場(chǎng)景產(chǎn)生數(shù)據(jù)，從而將其數(shù)據(jù)來(lái)分析作為機(jī)器人的訓(xùn)練這個(gè)方式幾乎就是代表著高成本、低效率、并且準(zhǔn)確率極高。

如下是現(xiàn)在在大廠樓下，經(jīng)常有機(jī)器人團(tuán)隊(duì)與產(chǎn)品經(jīng)理在樓下 做機(jī)器人的各類姿勢(shì)訓(xùn)練，甚至是還有動(dòng)作捕捉等，這些就可以完成機(jī)器人動(dòng)作訓(xùn)練所需要的數(shù)據(jù)采集與測(cè)試。

而其實(shí)數(shù)據(jù)采集的本質(zhì)數(shù)據(jù)就是video視頻類數(shù)據(jù)，有空間維度的3D視頻，這些視頻現(xiàn)在全部都可以通過(guò)高斯濺射這類相關(guān)技術(shù)完成生成。

如下是李飛飛的marble，可以生成世界模型

如下是字節(jié)跳動(dòng)更新的depth anything3，將其視頻可以生成3D

如下是EMU3.5 ，可以生成任何步驟

以上這類技術(shù)，讓現(xiàn)在還在做機(jī)器人數(shù)據(jù)采集不需要再花時(shí)間拍攝就可完成機(jī)器人動(dòng)作訓(xùn)練了，因此機(jī)器人產(chǎn)品經(jīng)理的數(shù)據(jù)訓(xùn)練將會(huì)有巨大的變化。

也就是用生成數(shù)據(jù)完成機(jī)器人動(dòng)作模型需要的訓(xùn)練，從而不需要再去錄制任何視頻。

在游戲世界里，利用Yolo這類視覺(jué)完成人體動(dòng)作捕捉方案

如下是利用高斯濺射與unity合成的游戲畫面，除了合成數(shù)據(jù)可以用于機(jī)器人訓(xùn)練，利用游戲的人物動(dòng)作來(lái)完成機(jī)器人的動(dòng)作訓(xùn)練也是一樣的。

Yolo這類視覺(jué)方案就是將其人類的特有的點(diǎn)位進(jìn)行特征化，從而得到機(jī)器人動(dòng)作所需要的數(shù)據(jù)集

所有物理世界所需要的數(shù)據(jù)最終都會(huì)用“數(shù)字孿生”的概念來(lái)解決， 現(xiàn)在特斯拉已經(jīng)利用生成真實(shí)世界畫面完成了各類場(chǎng)景的自動(dòng)化模型訓(xùn)練，其模型不僅是適用于車本身，還有機(jī)器人都可以適用。

特斯拉的自動(dòng)駕駛還是人形機(jī)器人，這些數(shù)據(jù)都可以通過(guò)生成來(lái)完成，只要數(shù)據(jù)符合物理學(xué)定律，就可完成。

自己訓(xùn)練自己，人類的自身數(shù)據(jù)還不能

而現(xiàn)在唯一還不能生成訓(xùn)練的就是人體的數(shù)據(jù)了，這些具有生理反應(yīng)與生理化指標(biāo)的數(shù)據(jù)，需要采集數(shù)據(jù)的同時(shí)，還需要了解人當(dāng)時(shí)的各類反應(yīng)，比如我們做腦機(jī)接口數(shù)據(jù)采集，生成的都是腦電數(shù)據(jù)，而僅僅有腦電數(shù)據(jù)是無(wú)法訓(xùn)練模型的，需要知道這個(gè)時(shí)候用戶在想什么、甚至是在做什么動(dòng)作，才能得到想要的波形，進(jìn)行降噪干預(yù)。

不過(guò)有一些醫(yī)學(xué)數(shù)據(jù)已經(jīng)可以達(dá)到自己訓(xùn)練了，比如患者的影像數(shù)據(jù)與診斷報(bào)告，兩者可以合并就可用讓模型自己訓(xùn)練自己，通過(guò)將圖像數(shù)據(jù)給模型進(jìn)行訓(xùn)練 ，模 型通過(guò)診斷報(bào)告來(lái)做數(shù)據(jù)模型的結(jié)果驗(yàn)證，從而完成自己監(jiān)督學(xué)習(xí)。

這也是現(xiàn)在在醫(yī)學(xué)領(lǐng)域使用無(wú)監(jiān)督學(xué)習(xí)方式

如下是現(xiàn)在無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練醫(yī)學(xué)模型的常見(jiàn)方式，也就是針對(duì)人類數(shù)據(jù)的訓(xùn)練就既需要采集的數(shù)據(jù)，還需要當(dāng)時(shí)數(shù)據(jù)的診斷（標(biāo)注），同時(shí)還需要有標(biāo)準(zhǔn)的診斷報(bào)告，報(bào)告不能是隨意或四分五裂的。

左邊是病歷數(shù)據(jù)，獲取了之后拿到對(duì)應(yīng)的醫(yī)學(xué)影像以及電子病歷，通過(guò)模型來(lái)識(shí)別影像比對(duì)電子病歷診斷結(jié)果完成訓(xùn)練。

在做腦電數(shù)據(jù)上，就可以采用這種方式來(lái)，比如BIDS-EEG，用于診斷癲癇、P300、ERP，他們有標(biāo)準(zhǔn)的數(shù)據(jù)采集格式與報(bào)告。

利用這些數(shù)據(jù)才能夠完成所謂“無(wú)監(jiān)督學(xué)習(xí)”，讓機(jī)器自己學(xué)習(xí)數(shù)據(jù)，自己訓(xùn)練自己。

以上就是未來(lái)的數(shù)據(jù)訓(xùn)練方式，從需要人參與、錄制視頻完成的

今天的分享就在這里。

“關(guān)注我，一個(gè)產(chǎn)品經(jīng)理的創(chuàng)業(yè)故事”

我最近的精選原創(chuàng)

和我一起每日拆解AI產(chǎn)品APP

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品。

在這里你可以隨時(shí)查詢到你想找的各類競(jìng)品行業(yè)APP，無(wú)須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。平均1天1塊錢，掃碼購(gòu)買即可加入，連續(xù)體驗(yàn)48款應(yīng)用，通過(guò)后原路退回。

報(bào)名后添加星球助理

PMTalk123