還在為制作趣味視頻、口播講解視頻發(fā)愁嗎？

今天帶來的LivePortrait，可以輕松控制圖像或視頻中的人物，參照參考視頻生成表情和動(dòng)作動(dòng)態(tài)視頻，適合各種趣味視頻和口播場景。

LivePortrait 框架簡介

LivePortrait是一個(gè)肖像動(dòng)畫生成框架，主要用于將靜態(tài)圖像與輸入?yún)⒖家曨l結(jié)合，生成逼真的動(dòng)態(tài)表情視頻。該框架特別注重泛化能力、可控性和效率，在提升視頻質(zhì)量的同時(shí)，優(yōu)化了框架的性能。

研發(fā)團(tuán)隊(duì)擴(kuò)展了訓(xùn)練數(shù)據(jù)至約6900萬高質(zhì)量幀，并采用了混合圖像-視頻的訓(xùn)練策略，極大提高了合成效果。

此外，通過引入隱式關(guān)鍵點(diǎn)（implicit keypoints），結(jié)合縫合模塊和重定向模塊，實(shí)現(xiàn)了低計(jì)算開銷下的高效動(dòng)畫生成。

系統(tǒng)要求與準(zhǔn)備

1. 顯卡要求

   電腦配置至少4GB顯存的顯卡，以確保最佳的性能和兼容性。

2. 環(huán)境配置Conda

   訪問Conda官網(wǎng)下載合適的操作系統(tǒng)安裝。

3. CUDA驅(qū)動(dòng)（NVIDIA顯卡用戶）

   訪問英偉達(dá)官網(wǎng)下載安裝CUDA 11.8。

安裝步驟

在準(zhǔn)備安裝Live Portrait的目錄下，地址欄輸入'cmd'打開命令窗口。

輸入以下指令克隆Live Portrait程序庫

1

git clone https://github.com/KwaiVGI/LivePortrait

程序克隆完成后，進(jìn)入克隆項(xiàng)目的文件目錄內(nèi)

1

cd LivePortrait

使用conda創(chuàng)建虛擬環(huán)境并激活

1

git clone https://github.com/KwaiVGI/LivePortrait

2

cd LivePortrait

conda create -n LivePortrait python=3.9

conda activate LivePortrait

進(jìn)入克隆的Live Portrait目錄，令安裝所需的依賴包

1

pip install -r requirements.txt

2

pip install -r requirements_macOS.txt

下載權(quán)重

1

git lfs install

2

git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights

mv temp_pretrained_weights/* pretrained_weights/

rm -rf temp_pretrained_weights

在Live Portrait目錄下，新建一個(gè)文本，命名為'run.bat'并打開

1

@echo off

2

CALL conda activate liveportrait

python app.py --server-name 127.0.0.1 --server-port 8890 --no-share

保存并關(guān)閉文件。

雙擊run.bat文件啟動(dòng)Live Portrait。

使用說明

1. 上傳照片與視頻
   在操作界面點(diǎn)擊“Upload Photo”上傳靜態(tài)圖片，點(diǎn)擊“Upload Video”上傳表情參考視頻。

2. 生成合成視頻
   點(diǎn)擊“Animate”開始生成。生成完成后，可以查看原視頻與合成視頻的對(duì)比，或下載生成的視頻。

3. 調(diào)整表情參數(shù)
   可通過滑塊調(diào)整眼睛和嘴巴的動(dòng)作幅度，生成表情包圖片。

表情控制參數(shù)

rotate_pitch：抬頭與低頭

rotate_yaw：左右轉(zhuǎn)頭

rotate_roll：歪頭

blink：閉眼與睜眼

eyebrow：皺眉與挑眉

wink：眨左眼

pupil_x：眼睛左右移動(dòng)

pupil_y：眼睛上下移動(dòng)

aaa：閉嘴與張嘴

woo：咧嘴與嘟嘴

smile：微笑

ComfyUI-AdvancedLivePortrait讓人臉編輯變得簡單高效，實(shí)現(xiàn)動(dòng)態(tài)效果，提升創(chuàng)作效率。感興趣的小伙伴們快去試試吧！