數(shù)字人這賽道也越來越卷了，

大模型可以寫劇本，語音模型可以配出百變語氣，當(dāng)我越來越不滿足于只是把口型對(duì)上這件事之后，

那這個(gè)只會(huì)坐著、不能走路、表情都是提前預(yù)設(shè)好的、臺(tái)詞數(shù)字人，會(huì)如何進(jìn)化？

剛好最近在內(nèi)測(cè)即夢(mèng)的數(shù)字人新模型 OmniHuman 1.5。（有新模型的地方就有我）

來看看用即夢(mèng)4.0圖像模型配合OmniHuman 1.5數(shù)字人模型做出的MV效果怎么樣：

數(shù)字人終于擺脫原地罰坐、罰站的設(shè)定了！

用下來的整體的感受是OmniHuman 1.5聽得懂音頻里的情緒和語義，能讓人物根據(jù)文本中的情緒自己隨地大小演，還能完成多人角色互動(dòng)，讓他們都配合鏡頭動(dòng)起來，同時(shí)也支持各種風(fēng)格角色的大幅度運(yùn)動(dòng)并配以口型。

也就是說，我不只是單單給它一個(gè)聲音讓它配個(gè)口型，

而是可以讓它走位、演戲、調(diào)鏡頭，完成一整場(chǎng)戲。

所以我打算客串影視導(dǎo)演主理人，從語義理解、動(dòng)作調(diào)度、情緒演繹、群體協(xié)同以及多風(fēng)格表演五個(gè)維度進(jìn)行全方位測(cè)評(píng)，Here we go！

首先來看語義理解，我先設(shè)定了一個(gè)場(chǎng)景，是一個(gè)女人在衣柜中挑選衣服，

然后我給上傳了一段音頻，音頻里講的話是：

“我的紅色外套呢？我今天要穿呢，誒，找到了，在這里，太好啦！”，

同時(shí)我在動(dòng)作提示語中沒有給出完全確定的指令，只是說她拿到了自己想要的衣服這樣模糊的說法，想要看看OmniHuman 1.5 是不是能成功拿出音頻提到的“紅色衣服”。

OmniHuman 1.5 生成的人物做出了東翻西找的動(dòng)作，

而且真的成功拿出衣柜中暗紅色的衣服并做出了開心的表情。

然后我又試了個(gè)更狠的，我直接只丟了一段音頻上去，連動(dòng)作提示都沒給，

直接讓OmniHuman 1.5給我生成看看效果。

結(jié)果就是，首先即夢(mèng)識(shí)別出了圖中的動(dòng)勢(shì)做出了兩個(gè)人一邊向前走一邊講話的場(chǎng)景，然后還能判斷出音頻中的內(nèi)容是對(duì)著另外一個(gè)人說的，所以會(huì)有男人轉(zhuǎn)頭對(duì)著女人說話的動(dòng)作，amazing??！

那如果基本的動(dòng)作不用我寫提示語即夢(mèng)自己就可以完成的話，那加上我的提示語是不是也可以完成更復(fù)雜的動(dòng)作調(diào)度呢？甚至能配合上鏡頭變化？

所以，這次我在讓他完成說話對(duì)口型的同時(shí)設(shè)置了一連串的時(shí)序動(dòng)作，同時(shí)還增加了鏡頭運(yùn)動(dòng)，

男人一直向前走，然后停下抬頭仰望天空，然后抬起右手摘下眼鏡，然后嘆了口氣

五個(gè)動(dòng)作都一一完成了，鏡頭最后也聚焦到了人物的臉部，

人物的表情也都可以配合著音頻的情緒來的，整體完成度很高。

再給即夢(mèng)出一個(gè)難題，讓主角在做復(fù)雜的連續(xù)動(dòng)作的同時(shí)還和周圍環(huán)境有所互動(dòng)，

男人慌張的快步走進(jìn)辦公室，然后慌張地坐下，然后打開桌子上的筆記本電腦，一邊打字一邊講話

生成的時(shí)候我們只能提供首幀畫面，也就是說 OmniHuman 1.5 在完成動(dòng)作的同時(shí)還能補(bǔ)充出來畫面中本來沒有的元素，比如說這個(gè)凳子、電腦都是模型自主生成的，但是人物依然能和這些新生成的物品進(jìn)行流暢的互動(dòng)。

接著我們來看情緒表演，測(cè)試數(shù)字人的情緒比較靈的辦法就是讓ta哭，

是不是哭得夠自然，能不能將這個(gè)悲傷的氛圍傳遞出去。

OmniHuman 1.5會(huì)根據(jù)音頻的情緒起伏決定角色的表演，像這個(gè)音頻中人物悲傷的情緒是克制的，是慢慢表露出的痛苦，更多的是迷茫和無奈，所以在最后角色慢慢坐在地上呆呆的看著地面的時(shí)候，我也覺得情緒是對(duì)的。

反過來，當(dāng)我用同一張圖片，但是換了一個(gè)情緒起伏非常大的音頻時(shí)，人物也會(huì)做出悲傷程度更加濃烈，表情動(dòng)作幅度都比較大的表現(xiàn)。

即使換成憤怒的情緒，只給“暴跳如雷”四個(gè)字的動(dòng)作指示，即夢(mèng)也能做出不錯(cuò)的效果（而且用即夢(mèng)內(nèi)置的配音時(shí)，尤其是憤怒的情緒可以多用嘆號(hào)表達(dá)憤怒的程度，實(shí)測(cè)還有點(diǎn)用，邪修辦法又+1）

PS：要是即夢(mèng)的音頻可以咬字不那么清晰就更像真人做的了。

其實(shí)前面已經(jīng)可以看到如果是多人畫面的話，除了正在說話的主人公之外，其余的角色也會(huì)對(duì)主角的行動(dòng)和表現(xiàn)做出相應(yīng)的反應(yīng)，這就說明即夢(mèng)的OmniHuman 1.5其實(shí)是可以演群戲的！

在多人場(chǎng)景中，即夢(mèng)會(huì)自動(dòng)識(shí)別出場(chǎng)景中的人物角色，我們可以自主選擇說話的人物然后生成，

可以看到，首先會(huì)判斷正在說話的女人對(duì)話的對(duì)象應(yīng)該是她身邊這個(gè)醒著的男人，而這個(gè)男人在聽到女人的講到“小聲點(diǎn)”之后竟然還做出了用手比噓的動(dòng)作，這個(gè)真的有點(diǎn)牛了。

而當(dāng)我換成人物更多的場(chǎng)景，需要更多人物進(jìn)行反應(yīng)時(shí)，即夢(mèng)也能很合理的安排好畫面中所有人的動(dòng)作和表情，就比如三個(gè)人在聽完女人講笑話之后全都拍桌大笑。

同時(shí)我還測(cè)試了一些風(fēng)格化的畫面，生成效果都有適配對(duì)應(yīng)風(fēng)格的動(dòng)態(tài)，人物的動(dòng)作效果也都蠻自然的。

如果說前幾代的數(shù)字人模型更像是布景演員，

擺好位置，架好相機(jī)，它們照著流程走。

那現(xiàn)在的OmniHuman 1.5，已經(jīng)可以在即夢(mèng)web端上體驗(yàn)，明天也會(huì)更新到App端，

它生成的人物就像是一個(gè)個(gè)可以被我們“執(zhí)導(dǎo)”的數(shù)字演員。

它能聽懂聲音背后的情緒起伏，是帶著語氣、帶著演技去演；是可以走進(jìn)場(chǎng)景、互動(dòng)交錯(cuò)、配合鏡頭的角色；甚至是在多人場(chǎng)景中自覺給自己合理加戲，

我已經(jīng)開始琢磨更多新的玩法了，

一個(gè)人拍多角劇？整段數(shù)字MV？或者做個(gè)第一人稱視角?。?/p>

OmniHuman 1.5 這次更新，

相當(dāng)于一次性打開了很多可能性，

快挑花眼了都。

@ 作者 / 卡爾 & 阿湯

最后，感謝你看到這里如果喜歡這篇文章，不妨順手給我們點(diǎn)贊｜在看｜轉(zhuǎn)發(fā)｜評(píng)論

如果想要第一時(shí)間收到推送，不妨給我個(gè)星標(biāo)

更多的內(nèi)容正在不斷填坑中……