近年來，大型語言模型（LLM）的飛速發(fā)展顯著提升了人工智能的文本對話能力，然而，如何將這種“語言智能”有效地具身化到一個擁有視覺、聽覺、動作等物理形態(tài)的數(shù)字軀體中，并實(shí)現(xiàn)實(shí)時、富有表現(xiàn)力的交互，是當(dāng)前具身智能領(lǐng)域的核心挑戰(zhàn)。

新加坡南洋理工大學(xué)與商湯科技聯(lián)合推出的數(shù)字生命計劃2(Digital Life Project 2, DLP3D)，正是為解決這一挑戰(zhàn)而設(shè)計。作為一個端到端的實(shí)時具身智能框架，DLP3D將LLM的心智與一個擁有表情、聲音、全身動作、情緒與記憶的數(shù)字軀體相融合，實(shí)現(xiàn)了在瀏覽器內(nèi)通過語音進(jìn)行實(shí)時且富有情感和適應(yīng)性的多模態(tài)交互。

項(xiàng)目主頁： https://github.com/dlp3d-ai/dlp3d.ai 在線體驗(yàn)： https://dlp3d.ai/ 相關(guān)視頻： https://www.bilibili.com/video/BV1nEkkBbECA

DLP3D的技術(shù)亮點(diǎn)在于對實(shí)時性和表現(xiàn)力的系統(tǒng)級優(yōu)化，主要集中于以下三個方面：

1）混合多LLM協(xié)調(diào)器(Hybrid multi-LLM orchestration)。設(shè)計了一個作為角色“數(shù)字大腦”的協(xié)調(diào)器，包含用于生成對話的主LLM，且并行運(yùn)行著輕量級副LLM，用于實(shí)時分析主LLM的輸出，并負(fù)責(zé)：

情緒機(jī)制展示

• 情緒&關(guān)系維護(hù)：根據(jù)對話內(nèi)容更新角色的情緒和與用戶的關(guān)系狀態(tài)；

• 動作關(guān)鍵詞生成：觸發(fā)具有語義豐富度和表現(xiàn)力的全身動作；

• 中斷及行為控制：副LLM在檢測到對話狀態(tài)需要進(jìn)行適應(yīng)性調(diào)整時，可干預(yù)主LLM的輸出，以確保角色在不同情境下的即時響應(yīng)和行為一致性。

2）流式動畫管線。傳統(tǒng)的數(shù)字人流程往往是分段且串行的，DLP3D實(shí)現(xiàn)了交互鏈路的流式化，允許角色在一邊思考的同時，并行生成語音、面部表情和全身動作。關(guān)鍵優(yōu)化包括：

• 并行化處理：將角色的語音分割成子句，并與時間戳對齊，并行進(jìn)行動作檢索，實(shí)現(xiàn)平滑且語義準(zhǔn)確的動作同步；

• 跨模態(tài)數(shù)據(jù)封裝：通過定義一種跨模態(tài)數(shù)據(jù)序列化機(jī)制，實(shí)現(xiàn)了對核心數(shù)據(jù)幀的可變長編碼，顯著提升了動作、表情和音頻數(shù)據(jù)流的傳輸效率；

• 自適應(yīng)播放：采用流式傳輸數(shù)據(jù)與本地資源的混合渲染模式以實(shí)現(xiàn)低延遲播放，并集成了自適應(yīng)緩沖和斷流恢復(fù)等魯棒性機(jī)制以應(yīng)對網(wǎng)絡(luò)波動。

語音對話展示

3）具身對話基礎(chǔ)設(shè)施。DLP3D提供了一個模塊化、靈活的后端基座，包含了統(tǒng)一的 ASR/LLM/TTS接口、記憶與關(guān)系機(jī)制等。這種設(shè)計使得開發(fā)者可以輕松替換框架內(nèi)的任何核心模塊，從而將其作為一個完整的實(shí)時AI具身基礎(chǔ)設(shè)施，而非一個封閉的應(yīng)用。

布料模擬展示 二、整體架構(gòu)

DLP3D由三大核心模塊組成，協(xié)同工作以實(shí)現(xiàn)端到端實(shí)時具身對話：

1）Web應(yīng)用：人人都能操控數(shù)字生命，零門檻使用，無需3D或AI背景。只需打開網(wǎng)頁即可選擇角色，并定制人格、記憶、音色等屬性，開啟麥克風(fēng)就能與角色實(shí)時對話。在聊天過程中，聲音、表情、動作以流式數(shù)據(jù)實(shí)時傳輸；為增強(qiáng)互動的沉浸感，支持視線追蹤、布料模擬等機(jī)制；此外，為獲得“低延遲、高響應(yīng)”的角色動畫，實(shí)現(xiàn)了自適應(yīng)動作平滑、斷流恢復(fù)、網(wǎng)絡(luò)健康檢測等算法，確保角色反應(yīng)自然、穩(wěn)定、順滑。

2）協(xié)調(diào)器（Orchestrator）：AI多模態(tài)的總指揮，匯聚了自動語音識別（ASR）、大語言模型（LLM）、關(guān)系&記憶機(jī)制、情感分析、語音轉(zhuǎn)動作（Speech2Motion）、語音驅(qū)動面部表情（Audio2Face）等關(guān)鍵算法模塊，將整個鏈路從“理解用戶→生成語音→面部表情→全身動作”全部串聯(lián)為一次自然的實(shí)時互動。無論使用OpenAI、DeepSeek、商湯日日新、或是自研模型，Orchestrator都能無縫切換。

3）云端及后端服務(wù)：系統(tǒng)的基座，包括：統(tǒng)一的LLM/TTS/ASR接口、用戶鑒權(quán)、角色素材與數(shù)據(jù)庫管理等，使得開發(fā)者能輕松部署自己的自主角色系統(tǒng)。

DLP3D的架構(gòu)總覽 三、你能用DLP3D做什么？

1）AI陪伴：虛擬伴侶、助理、導(dǎo)師、陪練……有表情、有動作，情緒更自然。

2）游戲/虛擬世界NPC：從“腳本”走向“智能”，NPC不再重復(fù)有限的臺詞，而是能夠理解玩家意圖，會根據(jù)記憶改變態(tài)度，并通過肢體動作表達(dá)情緒。

3）開發(fā)者的實(shí)驗(yàn)樂園：DLP3D是開源的，你可以自由替換LLM、ASR /TTS、動作生成模型，并自定義Web前端及角色系統(tǒng)。DLP3D是一套完整的實(shí)時AI具身基礎(chǔ)設(shè)施，而不是一款應(yīng)用。

ASR/TTS 設(shè)置

四、展望與開源邀請

DLP3D為虛擬具身AI提供了一個實(shí)用的系統(tǒng)，同時也為實(shí)時圖形與多模態(tài)智能的融合提供了一個重要的藍(lán)圖，它將AI角色從純粹的文本生成器，推進(jìn)到可以進(jìn)行情感互動、具有記憶、能展現(xiàn)身體語言的數(shù)字生命體，預(yù)示著從“語言智能”邁向“具身智能”的新紀(jì)元。

項(xiàng)目已開源，并將在 SIGGRAPH Asia 2025 Real-Time Live! 現(xiàn)場進(jìn)行演示和互動。

獨(dú)木不成林，我們誠摯邀請開發(fā)者與社區(qū)伙伴加入，一起將DLP3D打造成更易用、更強(qiáng)大的虛擬具身智能基礎(chǔ)設(shè)施。

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈