前幾天即夢在 Web 端上線他們的數(shù)字人 Omnihuman 1.5 版本。

今天來做個(gè)測試，同時(shí)有個(gè)教程教大家怎么用圖像模型配合生成名人數(shù)字人視頻。

相較于之前的 Omnihuman 1.0，這次不只是上傳音頻和圖片他幫你生成帶有唇形同步的動態(tài)視頻，1.5 的控制能力大幅提升，你可以定義視頻中的人物表演和運(yùn)動方式。

幾乎搞定了原來 AI 視頻不好做的人物表現(xiàn)部分內(nèi)容。

可以看到在設(shè)置部分多了一個(gè)動作描述的提示詞輸入，極大的拓展了數(shù)字人的使用場景，基本上可以當(dāng)一個(gè)自定義程度極高的 Veo3 來使用了，你可以控制畫面內(nèi)容、人物、情緒、音色以及運(yùn)動和運(yùn)鏡方式。

昨天用這個(gè)做了一個(gè)比較搞的片子，最近不是模仿名人營銷很火嗎，我做了一個(gè)讓喬布斯賣破拖鞋的演講，這種具有熱門視覺標(biāo)定和反差感的視頻非常容易火。

我們先用幾個(gè)基礎(chǔ)測試來看一下 Omnihuman 1.5 的能力。

然后我會教一下大家如何用即夢圖片 4.0 和數(shù)字人 1.5 配合生成這種連貫的數(shù)字人視頻。

這次更新最明顯的一個(gè)改動就是數(shù)字人不再死板，我們可以通過動作控制讓鏡頭和人物動起來，包括不只是主角也包括其他人物。

比如上面這個(gè)案例，我們就可以讓女子先抬頭，到一個(gè)合適可以看到嘴唇的角度，然后再開始說話，同時(shí)鏡頭也在旋轉(zhuǎn)到她的正臉，背后的其他人也在正常行走，這是純粹的唇形同步模型不能做到的。

另外這次的模型升級在多風(fēng)格化以及非人形生物的唇形同步上效果也變得非常的自然。

這里這種平面插畫的眼睛、嘴部和面部運(yùn)動都非常自然而且生動，同時(shí)依然可以搭配他的動作比如抬手走動等，鏡頭平移的時(shí)候新出現(xiàn)的畫面風(fēng)格也跟原來的很好的保持一致。

這次更新的另一個(gè)優(yōu)勢是對表情和表演的響應(yīng)也更得加的好，上面的提示詞為：

女人先以平靜神情看向鏡頭，眼神柔和輕聲開口；隨即露出諷刺的表情，眉梢微挑、嘴角單側(cè)上揚(yáng)；短促輕笑后肩部微松；轉(zhuǎn)為溫和講述，目光上揚(yáng)，右手輕觸前景桌上的紙船；最后前傾半步以低語收束，食指輕抵唇邊作“噓”。

可以看到他響應(yīng)的很好，先是面無表情的說話，然后變成諷刺的表情，之后非常順暢的在輕笑之后變得溫和，然后人物后撤開始看向紙船，最后噓的動作也做了。

整個(gè)視頻長達(dá) 16 秒，這個(gè)長度和提示詞詞遵循已經(jīng)非常厲害了，市面上可以做到這么穩(wěn)定的保持人像 ID 不變同時(shí)精準(zhǔn)的提示詞遵循的幾乎沒有。

這次更新還有一個(gè)優(yōu)勢就是可以控制同一場景多人的對話和表現(xiàn)，我們可以指定聲音是由哪個(gè)角色發(fā)出的，這個(gè)一下就讓模型的可用性拓展了很多。

比如這里我們就可以做兩人的對唱視頻，多人對話劇情也可以做了，搭配即夢 4 的改圖能力去調(diào)整鏡頭的重點(diǎn)很容易就可以最常見的對話劇情，比某些只會一個(gè)固定鏡頭的電視劇強(qiáng)多了。

從上面這幾個(gè)測試也可以看到，以往類似模型那種夸張的嘴型問題也一定程度上得到了解決，不再是所有角色說話嘴都張的很大了，模型現(xiàn)在會根據(jù)聲音內(nèi)容和提示詞去調(diào)整，表現(xiàn)自然了非常多。

現(xiàn)在來看數(shù)字人教程的部分。

即夢的數(shù)字人 1.5 雖然可控和操作簡單是蹺蹺板的兩個(gè)部分，一般來說可控的模型操作就會相對復(fù)雜，所以還是需要一些門檻的。

我們可以看到數(shù)字人 1.5 做條視頻需要準(zhǔn)備三部分內(nèi)容，首先是首幀的圖片，然后就是音頻，最后就是對應(yīng)的動作和情緒提示詞。

如果你需要這個(gè)視頻更加的生動，就必然不可能一直用一個(gè)視角和背景，所以我們需要更多的分鏡圖片和對音頻進(jìn)行切分，這樣會讓畫面更生動。

這里我建議你先準(zhǔn)備一個(gè)表格將每個(gè)分鏡的這三個(gè)部分寫好，然后我們看怎么去準(zhǔn)備。

然后我們來講一下基礎(chǔ)的操作：

圖像這里沒啥問題你直接上傳首幀圖片就可以。

音頻這里說法比較多：

如果你自己沒有準(zhǔn)備音頻的話，你需要直接選擇音頻部分，這時(shí)候即夢一般會根據(jù)你上傳的角色推薦一個(gè)音色，當(dāng)然你也可以自己選擇，選擇完成后在說話內(nèi)容這里直接打字寫上要說的話就行。

當(dāng)然你也可以在音色選擇的彈窗「我的音色」這里去克隆你想用的音色，只需要 5 秒音頻就行。

如果你自己有音頻，這時(shí)候你需要點(diǎn)擊下面的「上傳音頻」按鈕，音頻就會回填，這時(shí)候角色說這部分就變成你上傳的音頻了不能打字。

另外還有一種情況是，你上傳的畫面里有多個(gè)角色，這時(shí)候即夢就會自動檢測到，你就可以選擇是圖片中的哪個(gè)角色在說話，可以選單個(gè)，也可以選全部。

比如他檢測到我這張圖片有兩個(gè)人，就會有三個(gè)選項(xiàng)，而且會有對應(yīng)角色的切圖，很直觀。

最后是動作描述，這里可以用他們推薦的提示詞模板，盡量遵循清晰、不矛盾、少否定，多寫具體的內(nèi)容，少用文學(xué)化和形容詞表達(dá)。

提示詞模板：

鏡頭運(yùn)動 + 說話角色情緒 + 說話狀態(tài)（說話/哭泣/唱歌/...） + 具體動作 + （可選）背景事件/其他角色的動作

了解完基礎(chǔ)操作之后我們就需要開始準(zhǔn)備素材了，首先我們克隆一下喬布斯的音色，你可以用即夢自帶的克隆功能，也可以自己用更大的數(shù)據(jù)量操作，我這里用的自己克隆的。

然后就是第一張圖片，我上面的分鏡表格這里顯示我們需要一張黑色背景的，提示詞：Black stage medium shot. Steve Jobs facing the camera，The background is a pure black PPT screen.

然后我們還需要一張拖鞋產(chǎn)品圖，哈哈，這里我用即夢生成的，提示詞寫像蘋果 PPT 就行。

蘋果風(fēng)格發(fā)布會 PPT，一直非常破的破拖鞋，上面產(chǎn)品名字寫著“iFlip One”

只有這兩個(gè)畫面太單調(diào)了怎么辦，這個(gè)時(shí)候就得用即夢 4.0 的圖像編輯能力了。

我們直接將原來第一張圖的黑色 PPT 背景變成剛做的拖鞋 PPT。

當(dāng)然第三個(gè)分鏡將會基于第二張圖去修改，直接給我們的拖鞋加上掛鉤，同時(shí)改掉 PPT 上的文字。

這樣三張非常模擬喬布斯發(fā)布會場景的圖片就做出來的，是不是已經(jīng)有那個(gè)味了。

然后我們將所有臺詞分成三段生成，第一段是提出懸念，然后第二段展示拖鞋，第三段介紹掛鉤和發(fā)售。

然后按照剛才的介紹的基礎(chǔ)操作分別將圖片上傳，然后寫上表格里面的語音和對應(yīng)的運(yùn)鏡及動作就行。

等待視頻的完成，之后的事情你們應(yīng)該都會了，用剪映之類的把三段合成一段視頻就行。

這種方式比單鏡頭的數(shù)字人效果要好非常多，同時(shí)通過切分鏡頭避免了超長鏡頭導(dǎo)致的長生成時(shí)間和 ID 保持不住的問題，再來看一下我們的結(jié)果：

近年來 AI 視頻模型飛速發(fā)展，一直以來視頻模型就是視頻模型，唇形同步模型就是唇形同步模型，這樣正常影視流程中最常見的動作運(yùn)鏡以及人物表演，被區(qū)分成了兩個(gè)部分。

過去我們面對 AI 視頻模型，就像在跟一個(gè)才華橫溢但性格古怪的藝術(shù)家合作。你給出「一個(gè)悲傷的女人在雨中行走」這樣的提示詞，然后祈禱它能理解你心中的「悲傷」是克制的還是崩潰的，「行走」是踉蹌的還是決絕的。每一次生成都像開盲盒，創(chuàng)作者被迫成為賭徒去抽卡。

Omnihuman 1.5 呈現(xiàn)的狀態(tài)更像是一臺精密的導(dǎo)演監(jiān)視器：首幀畫面 = 場景設(shè)定、音頻內(nèi)容 = 臺詞劇本、動作提示 = 分鏡腳本、多角色控制 = 群戲調(diào)度。把創(chuàng)作從玄學(xué)變成了工程學(xué)。

當(dāng)然 AI 指令精確之后，對于創(chuàng)作者的要求也變高了，那些更懂表演、調(diào)度具備「應(yīng)該讓它執(zhí)行什么指令」的導(dǎo)演思維的人更能發(fā)揮這個(gè)模型的價(jià)值。

據(jù)悉，新模型9月30日也將同步上線即夢手機(jī)端，屆時(shí)在軟件商店更新最新版本即夢app，就能體驗(yàn)。

如果覺得藏師傅的內(nèi)容對你有幫助的話，可以幫忙點(diǎn)個(gè)贊和喜歡，也可以??轉(zhuǎn)給你具有導(dǎo)演思維的朋友，謝謝各位