開源數(shù)字人大盤點，有沒有你在用的

這些項目里，有沒有你已經(jīng)在用了的？

數(shù)字人技術(shù)在 2024–2025 年迎來爆發(fā)，從“能動嘴”到“能演戲”，從“能對話”到“能直播”，開源生態(tài)也在快速成熟。

下面這份清單覆蓋了當(dāng)前 GitHub 上最具代表性的開源數(shù)字人項目，涵蓋驅(qū)動模型、視頻生成、音頻合成、虛擬主播系統(tǒng)、端側(cè)方案等多個方向。

01. Hallo3（復(fù)旦開源）

Hallo3 是復(fù)旦團(tuán)隊推出的新一代開源數(shù)字人生成框架，主打高保真、自然流暢的面部驅(qū)動效果。項目基于先進(jìn)的生成式視覺模型，能夠精準(zhǔn)捕捉音頻與表情之間的對應(yīng)關(guān)系，實現(xiàn)逼真的口型、眼神與面部細(xì)節(jié)同步。相比傳統(tǒng)方法，Hallo3 在表情細(xì)膩度、動作連貫性和視頻質(zhì)量上都有明顯提升，非常適合科研人員、開發(fā)者以及內(nèi)容創(chuàng)作者進(jìn)行二次開發(fā)或模型訓(xùn)練。其代碼結(jié)構(gòu)清晰、可擴(kuò)展性強(qiáng)，是當(dāng)前國內(nèi)學(xué)術(shù)界最具代表性的數(shù)字人開源項目之一。

地址： https://github.com/fudan-generative-vision/hallo3

STAR數(shù)：1.4k+

定位： 高質(zhì)量數(shù)字人視頻生成框架
亮點：

• ? 復(fù)旦團(tuán)隊出品，學(xué)術(shù)背景強(qiáng)

• ? 支持高保真面部驅(qū)動

• ? 適合科研、二次開發(fā)、模型訓(xùn)練

適用場景： 數(shù)字人研究、視頻生成算法驗證

2. LatentSync（字節(jié)跳動開源）

LatentSync 是字節(jié)跳動開源的高精度音頻驅(qū)動數(shù)字人框架，專注解決“嘴型不準(zhǔn)、節(jié)奏不穩(wěn)”這一行業(yè)痛點。它通過潛空間同步技術(shù)，將音頻特征與視頻生成過程深度綁定，使得口型與語音的對應(yīng)關(guān)系更加自然、準(zhǔn)確。項目在短視頻、虛擬主播、教育講解等場景中表現(xiàn)出色，尤其適合對口型同步要求極高的應(yīng)用。LatentSync 的模型推理速度快、效果穩(wěn)定，開源后受到大量開發(fā)者關(guān)注，是當(dāng)前數(shù)字人口型驅(qū)動領(lǐng)域的標(biāo)桿級項目。

地址： https://github.com/bytedance/LatentSync

STAR數(shù)：5.4k+

定位： 高同步性數(shù)字人口型驅(qū)動
亮點：

• ? 字節(jié)跳動開源，技術(shù)成熟度高

• ? 主打“音頻驅(qū)動 → 高精度口型同步”

• ? 適合短視頻、虛擬主播、教育內(nèi)容

適用場景： 需要“嘴型精準(zhǔn)同步”的數(shù)字人場景

3. EchoMimic V2（阿里開源）

EchoMimic V2 是阿里螞蟻團(tuán)隊推出的數(shù)字人表情與動作模仿框架，相比前代版本在自然度、細(xì)節(jié)還原和驅(qū)動穩(wěn)定性上全面升級。它支持音頻驅(qū)動、視頻模仿等多種模式，能夠生成更貼近真人的表情變化和頭部動作。項目在“擬真人”數(shù)字人方向表現(xiàn)突出，適合用于主持、講解、客服等需要高可信度的場景。其模型結(jié)構(gòu)經(jīng)過深度優(yōu)化，推理效率更高，適合本地部署或云端服務(wù)，是阿里在數(shù)字人領(lǐng)域最具代表性的開源成果之一。

地址： https://github.com/antgroup/echomimic_v2

STAR數(shù)：4.5k+

定位： 高質(zhì)量表情與動作模仿
亮點：

• ? EchoMimic 升級版，效果更自然

• ? 支持多模態(tài)驅(qū)動（音頻/視頻）

• ? 適合做“擬真人”數(shù)字人

適用場景： 數(shù)字人主持、講解、客服

4. Sonic（騰訊 & 浙大開源）

地址： https://github.com/jixiaozhong/Sonic

STAR數(shù)：3.2k+

定位： 實時數(shù)字人驅(qū)動
亮點：

• ? 騰訊 + 浙大聯(lián)合

• ? 強(qiáng)調(diào)實時性，延遲極低

• ? 適合直播、互動場景

適用場景： 虛擬主播、實時互動數(shù)字人

5. HunyuanVideo（騰訊開源）

HunyuanVideo 是騰訊混元大模型體系中的視頻生成模型，支持文生視頻、圖生視頻、動作生成等多種能力。雖然它不是專門的數(shù)字人框架，但在數(shù)字人背景生成、動作補(bǔ)全、場景擴(kuò)展等方面有極高價值。模型能夠生成高分辨率、長時序的視頻內(nèi)容，畫面穩(wěn)定性和細(xì)節(jié)表現(xiàn)都處于行業(yè)領(lǐng)先水平。對于希望打造“數(shù)字人 + 視頻生成”一體化內(nèi)容的開發(fā)者來說，HunyuanVideo 是一個非常強(qiáng)大的底層工具，適合創(chuàng)作短片、廣告、虛擬場景等內(nèi)容。

大視頻生成模型的系統(tǒng)框架

地址： https://github.com/Tencent/HunyuanVideo

STAR數(shù)：11.7k+

定位： 文生視頻 / 視頻生成大模型
亮點：

• ? 騰訊混元體系的一部分

• ? 支持高質(zhì)量視頻生成

• ? 可用于數(shù)字人背景、動作生成

適用場景： 數(shù)字人視頻增強(qiáng)、背景生成、動作生成

6. AIGCPanel

AIGCPanel 是一個簡單易用的一站式AI數(shù)字人系統(tǒng)，支持視頻合成、聲音合成、聲音克隆，簡化本地模型管理、一鍵導(dǎo)入和使用AI模型。

地址： https://github.com/modstart-lib/aigcpanel

STAR數(shù)：4.5k+

定位： 一站式數(shù)字人系統(tǒng)
亮點：

• ? 集成視頻合成、聲音合成、聲音克隆

• ? 本地模型管理非常方便

• ? 一鍵導(dǎo)入模型，適合非技術(shù)用戶

適用場景： 企業(yè)/個人快速搭建數(shù)字人系統(tǒng)

7. AI-Vtuber（虛擬主播系統(tǒng)）

Luna AI 是一款結(jié)合了最先進(jìn)技術(shù)的虛擬AI主播。它的核心是一系列高效的人工智能模型和平臺，包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、訊飛星火、智譜AI、谷歌Bard、通義星塵、阿里云百煉（通義千問、百川、月之暗面、零一萬物、MiniMax）、千帆大模型（文心一言）、Gemini、Kimi Chat、koboldcpp、FastGPT、Ollama、One-API、AnythingLLM、LLM_TPU、Dify、火山引擎（豆包）。這些模型既可以在本地運(yùn)行，也可以通過云端服務(wù)提供支持。當(dāng)然，為了讓對話照進(jìn)現(xiàn)實，還結(jié)合了多模態(tài)模型，包括 Gemini、glm-4v 的圖像識別能力，獲取電腦畫面進(jìn)行分析講解。

地址： https://github.com/Ikaros-521/AI-Vtuber

STAR數(shù)：4.3k+

定位： 全功能虛擬 AI 主播
亮點：

• ? 支持 GPT、Claude、通義、文心、Gemini 等幾十種模型

• ? 支持本地模型（Ollama、text-generation-webui）

• ? 支持多模態(tài)識別（如 Gemini、GLM-4V）

• ? 能讀取電腦畫面做講解（非常強(qiáng)）

適用場景：

• ? 24 小時 AI 直播

• ? 游戲主播

• ? 教育講解

• ? 虛擬客服

8. JoyGen

JoyGen 是一個多模態(tài)數(shù)字人生成框架，支持音頻驅(qū)動、視頻驅(qū)動等多種方式，主打自然、穩(wěn)定的數(shù)字人生成效果。項目結(jié)構(gòu)清晰，易于二次開發(fā)，適合科研團(tuán)隊和開發(fā)者進(jìn)行自定義訓(xùn)練或擴(kuò)展。JoyGen 在表情細(xì)節(jié)、頭部動作和嘴型同步方面表現(xiàn)均衡，是一個“上手快、效果穩(wěn)”的數(shù)字人方案。對于內(nèi)容創(chuàng)作者來說，它能快速生成高質(zhì)量數(shù)字人視頻；對于開發(fā)者來說，它是一個優(yōu)秀的研究與工程結(jié)合的開源項目。

地址： https://github.com/JOY-MM/JoyGen

STAR數(shù)：419

定位： 多模態(tài)數(shù)字人生成框架
亮點：

• ? 支持音頻驅(qū)動、視頻驅(qū)動

• ? 效果自然，適合內(nèi)容創(chuàng)作

• ? 結(jié)構(gòu)清晰，適合二次開發(fā)

適用場景： 內(nèi)容創(chuàng)作、短視頻數(shù)字人

9. Duix-Avatar

地址： https://github.com/duixcom/Duix-Avatar

STAR數(shù)：12.2k+

定位： 高質(zhì)量數(shù)字人生成
亮點：

• ? Duix 系列主力項目

• ? 支持高保真面部驅(qū)動

• ? 效果接近商業(yè)級

適用場景： 商業(yè)數(shù)字人、品牌 IP、虛擬主持

10. Duix Mobile

Duix-Mobile 是 Duix 系列的移動端版本，主打“輕量化 + 端側(cè)可運(yùn)行”。它能夠在手機(jī)等移動設(shè)備上生成數(shù)字人視頻，非常適合 App 內(nèi)嵌數(shù)字人助手、小程序數(shù)字人、移動端內(nèi)容創(chuàng)作等場景。項目對模型進(jìn)行了深度壓縮與優(yōu)化，在保證效果的同時顯著降低算力需求。對于希望在移動端落地數(shù)字人功能的開發(fā)者來說，Duix-Mobile 是目前最成熟的開源方案之一。

地址： https://github.com/duixcom/Duix-Mobile

STAR數(shù)：7.8k+

定位： 端側(cè)數(shù)字人（手機(jī)可跑）
亮點：

• ? 主打“輕量 + 端側(cè)可用”

• ? 適合移動端應(yīng)用、App 內(nèi)嵌數(shù)字人

• ? 性能優(yōu)化優(yōu)秀

適用場景：

• ? 手機(jī) App 數(shù)字人

• ? 小程序數(shù)字人

• ? 端側(cè) AI 助手

需求

推薦項目

高質(zhì)量數(shù)字人視頻

Hallo3、Duix-Avatar、EchoMimic V2

口型同步最強(qiáng)

LatentSync

實時互動/直播

Sonic、AI-Vtuber

文生視頻/動作生成

HunyuanVideo

一站式數(shù)字人系統(tǒng)

AIGCPanel

移動端數(shù)字人

Duix-Mobile

多模態(tài)虛擬主播

AI-Vtuber