AI在商業(yè)游戲中的實(shí)際應(yīng)用。

整理/秋秋&青暉

在今天的2026GDC現(xiàn)場(chǎng)（Game Developers Conference，游戲開(kāi)發(fā)者大會(huì)），騰訊游戲的AI負(fù)責(zé)人廖詩(shī)飏Elvis，帶來(lái)了一場(chǎng)關(guān)于“在3D格斗游戲中利用實(shí)時(shí)AI技術(shù)生成過(guò)渡動(dòng)畫(huà)”的技術(shù)演講。

本次演講的落地案例，是目前騰訊魔方備受關(guān)注的漫改IP格斗新作——《異人之下》（The Hidden Ones）。該作采用虛幻引擎開(kāi)發(fā)，配合“三渲二”技術(shù)，呈現(xiàn)了高質(zhì)量的動(dòng)作視覺(jué)表現(xiàn)，目前游戲全網(wǎng)預(yù)約量已突破2800萬(wàn)。

在快節(jié)奏的格斗游戲中，角色動(dòng)作的流暢度與打擊感是核心體驗(yàn)。但海量的動(dòng)作狀態(tài)切換往往會(huì)導(dǎo)致“滑步”或動(dòng)作僵硬。

在本次分享中，演講者詳細(xì)拆解了團(tuán)隊(duì)如何通過(guò)無(wú)標(biāo)記動(dòng)捕、輕量級(jí)神經(jīng)網(wǎng)絡(luò)（僅6MB）以及異步引擎部署，在頭部商業(yè)游戲中跑通了這套AI動(dòng)作生成管線。

以下為經(jīng)過(guò)整理的演講實(shí)錄，內(nèi)容有所刪減調(diào)整：

01

為什么格斗游戲需要AI動(dòng)作生成？

大家好，我是騰訊游戲的AI負(fù)責(zé)人廖詩(shī)飏Elvis。今天我將向大家分享，在即將推出的新作《異人之下》中，我們是如何利用實(shí)時(shí)AI技術(shù)來(lái)生成過(guò)渡動(dòng)畫(huà)（transition motions），從而創(chuàng)造出流暢且自然的角色動(dòng)作的。

簡(jiǎn)單介紹下我的背景：我在英國(guó)伯明翰大學(xué)獲得了計(jì)算機(jī)科學(xué)博士學(xué)位，專(zhuān)攻大規(guī)模仿真系統(tǒng)；隨后在IBM Research進(jìn)行百億億次超級(jí)計(jì)算機(jī)的前沿研究；之后在新加坡南洋理工大學(xué)（NTU）擔(dān)任助理教授，教授計(jì)算機(jī)圖形學(xué)、VR及游戲開(kāi)發(fā)等課程。

2020年我加入騰訊，目前擔(dān)任魔方工作室的AI負(fù)責(zé)人，同時(shí)兼任游戲領(lǐng)域頂刊《IEEE Transactions on Games》的副主編。

《異人之下》是一款3D格斗游戲。每個(gè)角色都有獨(dú)特的技能、攻擊流派和速度，玩法極具個(gè)人特色與策略性。

通過(guò)上面的視頻可以看出，精美的畫(huà)面和動(dòng)畫(huà)是這款游戲的核心。為了讓快節(jié)奏的戰(zhàn)斗銜接更加平滑自然，團(tuán)隊(duì)提出了一種全新的解決方案：利用生成式AI技術(shù)來(lái)增強(qiáng)角色動(dòng)作的表現(xiàn)力。

為什么要這么做呢？在格斗游戲中，角色需要頻繁在不同的動(dòng)作狀態(tài)間切換。比如從受擊切到待機(jī)、從攻擊切到?jīng)_刺、再切到奔跑。

這其中的過(guò)渡組合數(shù)量極其龐大，我們不可能全靠動(dòng)捕（Mocap），動(dòng)畫(huà)師也無(wú)法手動(dòng)把它們?nèi)縆幀（Keyframe）出來(lái)。因此，我們需要一種更高效的方式，實(shí)時(shí)把這些中間過(guò)渡狀態(tài)生成出來(lái)。

傳統(tǒng)的辦法，比如線性插值，經(jīng)常會(huì)讓角色出現(xiàn)“滑步”（Foot sliding）。用IK（反向運(yùn)動(dòng)學(xué)）去強(qiáng)行修正落腳點(diǎn)，動(dòng)作看起來(lái)又會(huì)很僵硬、缺乏細(xì)節(jié)。

而運(yùn)動(dòng)匹配（Motion Matching）等數(shù)據(jù)驅(qū)動(dòng)方案也有明顯局限：它需要一個(gè)極其龐大的動(dòng)畫(huà)庫(kù)，特別吃?xún)?nèi)存；還得為每個(gè)角色定制過(guò)渡動(dòng)畫(huà)；而且泛化能力很差，遇到夸張的待機(jī)姿勢(shì)就需要大量微調(diào)。

這就是為什么我們要去探索生成式AI的解決方案。

AI方案，如魯棒的動(dòng)作補(bǔ)幀、CVAE、雙階段Transformer及基于Diffusion的方法等，能很好地泛化到各種姿勢(shì)，生成流暢、自然且符合物理法則的動(dòng)作。

但基于AI的方案落地到商業(yè)游戲中，同樣面臨三大挑戰(zhàn)：

• 推理時(shí)間長(zhǎng)，不適合實(shí)際游玩；

• 內(nèi)存和包體占用大；

• 現(xiàn)有研究多集中于日常行為，缺乏功夫格斗場(chǎng)景的數(shù)據(jù)和案例。

為了解決這些問(wèn)題，我們的項(xiàng)目確立了三個(gè)維度的目標(biāo)：

• 技術(shù)美術(shù)（TA）視角：盡量減少手動(dòng)調(diào)優(yōu)，同時(shí)保留動(dòng)畫(huà)師的視覺(jué)意圖。

• 游戲設(shè)計(jì)師視角：打擊時(shí)機(jī)和節(jié)奏必須準(zhǔn)確，避免滑步和穿模。

• 客戶(hù)端工程師視角：保持極小的包體占用和極短的處理時(shí)間。

只有這三點(diǎn)同時(shí)滿(mǎn)足，才算是一個(gè)完整的解決方案。

02

數(shù)據(jù)獲取與模型設(shè)計(jì)

我們的整體方案涵蓋了三個(gè)層面：

1. 數(shù)據(jù)層面：使用無(wú)標(biāo)記（Markerless）多視角視頻動(dòng)捕、經(jīng)過(guò)優(yōu)化的捕捉工作流及數(shù)據(jù)增強(qiáng)技術(shù)，來(lái)處理姿勢(shì)的采集和重定向（Retargeting）。

2. 模型層面：采用輕量級(jí)設(shè)計(jì)，設(shè)計(jì)輸入輸出特征及損失函數(shù)（Loss design），提高動(dòng)畫(huà)質(zhì)量。

3. 部署層面：解決骨骼適配、動(dòng)態(tài)位移、動(dòng)畫(huà)相位匹配（Phase matching）及武器穿模等問(wèn)題。

據(jù)我所知，這是世界上首次將AI生成的過(guò)渡動(dòng)畫(huà)，實(shí)際應(yīng)用在3D格斗游戲的案例。

當(dāng)游戲中觸發(fā)動(dòng)作過(guò)渡時(shí)，AI模型會(huì)預(yù)測(cè)過(guò)渡幀，然后我們會(huì)在引擎內(nèi)開(kāi)一個(gè)單獨(dú)的線程進(jìn)行推理，經(jīng)過(guò)后處理提升質(zhì)量后，結(jié)果會(huì)直接送到游戲引擎中進(jìn)行渲染。

在數(shù)據(jù)獲取方面，傳統(tǒng)的動(dòng)捕需要大型影棚和昂貴的設(shè)備，還要在演員身上貼滿(mǎn)馬克點(diǎn)?，F(xiàn)在，我們?cè)谝粋€(gè)小房間里，僅僅使用七臺(tái)像GoPro一樣的普通攝像頭就能達(dá)到同樣的目的。

通過(guò)姿態(tài)估計(jì)（Pose Estimation）提供關(guān)鍵點(diǎn)，三角測(cè)量提供3D坐標(biāo)，再用慣性傳感器修正脊柱的旋轉(zhuǎn)誤差。

這種低成本設(shè)置，能實(shí)現(xiàn)快速原型開(kāi)發(fā)，非常適合原地動(dòng)作捕捉，效果相當(dāng)不錯(cuò)，并且演員不需要穿戴任何馬克點(diǎn)。

在數(shù)據(jù)增強(qiáng)方面，我們首先做空間增強(qiáng)，比如沿著前方軸線做鏡像對(duì)稱(chēng)。這是零成本的，并且能極大增加數(shù)據(jù)的多樣性。

由于動(dòng)捕數(shù)據(jù)和游戲的幀率往往不匹配，我們會(huì)通過(guò)縮放對(duì)齊，把動(dòng)捕數(shù)據(jù)匹配到目標(biāo)幀率。

此外，我們還能通過(guò)切割和融合那些運(yùn)動(dòng)趨勢(shì)相似、但初始姿態(tài)不同的動(dòng)作，從單個(gè)真實(shí)樣本中合成更多的高質(zhì)量數(shù)據(jù)。這樣不需要采集更多原始數(shù)據(jù)，就能豐富我們的數(shù)據(jù)集。

在模型設(shè)計(jì)方面，我們使用了多特征編碼器和LSTM（長(zhǎng)短期記憶網(wǎng)絡(luò)）。

只需要輸入兩幀：起始姿勢(shì)和目標(biāo)姿勢(shì)。模型包含當(dāng)前狀態(tài)編碼器、目標(biāo)編碼器、偏移編碼器和特征編碼器。我們加入了位移差、目標(biāo)運(yùn)動(dòng)趨勢(shì)等額外信息，這能有效改善角色大幅度位移時(shí)的動(dòng)作表現(xiàn)。

我們還使用了分離的解碼器：一個(gè)是MoE（混合專(zhuān)家）解碼器用來(lái)生成中間幀，并且把上半身和下半身的解碼器也分開(kāi)了。這種設(shè)計(jì)讓模型對(duì)下半身有更強(qiáng)的預(yù)測(cè)能力，有效防止了滑步。

同時(shí)，我們還加入了相位信息和腳步接觸信息，這極大地改善了奔跑動(dòng)畫(huà)的質(zhì)量。

最后，在推理方式上，我們采用自回歸（Autoregressive）逐幀生成。這種串行推理允許異步執(zhí)行，完美符合實(shí)時(shí)引擎的限制，不會(huì)導(dǎo)致動(dòng)畫(huà)系統(tǒng)阻塞。

在損失函數(shù)上，除了旋轉(zhuǎn)、根骨骼位置等標(biāo)準(zhǔn)指標(biāo)，我們還特別加入了基于速度和接觸的滑步懲罰以及腳步接觸懲罰。

03

部署與優(yōu)化：

6MB包體、0.4毫秒延遲

在性能表現(xiàn)上，F(xiàn)P32精度的模型大約是15MB，每次推理耗時(shí)0.75毫秒。我們對(duì)LSTM中超過(guò)8%的權(quán)重進(jìn)行了動(dòng)態(tài)量化（Dynamic quantization），量化后的版本只有約6MB，推理時(shí)間降到了0.4毫秒，且位置偏差不到1厘米，實(shí)現(xiàn)了不錯(cuò)的性能權(quán)衡。

在游戲內(nèi)引擎部署方面，量化模型我們使用的是C++接口。異步推理意味著我們直接從結(jié)果緩沖區(qū)進(jìn)行渲染，動(dòng)畫(huà)系統(tǒng)完全不會(huì)被阻塞。我們通過(guò)偏移運(yùn)動(dòng)處理來(lái)解決根骨骼的方向和空間變化。

關(guān)于模型對(duì)不同角色骨架（Rig）的重定向問(wèn)題：模型其實(shí)是在統(tǒng)一的骨架上訓(xùn)練的，我們通過(guò)計(jì)算模型T-pose和目標(biāo)T-pose的身高比例，將其映射到每個(gè)角色的骨架上，并按此比例自動(dòng)縮放位置和旋轉(zhuǎn)。因此，我們無(wú)需重新訓(xùn)練，就能支持正常體型、較矮或較高的各種角色。

武器穿模（Weapon clipping）是游戲動(dòng)畫(huà)中最讓人頭疼的問(wèn)題之一。為此，我們改變了原始的過(guò)渡目標(biāo)，將其設(shè)為一個(gè)中間姿態(tài)，然后結(jié)合AI生成的過(guò)渡幀與IK資源來(lái)調(diào)整動(dòng)畫(huà)，成功防止了武器穿透角色身體。

此外，為了讓生成的過(guò)渡動(dòng)作與后續(xù)的奔跑循環(huán)銜接，我們?cè)谙到y(tǒng)中引入了相位匹配機(jī)制。當(dāng)角色從過(guò)渡狀態(tài)切回奔跑時(shí)，該機(jī)制會(huì)確保其腿部的運(yùn)動(dòng)相位保持一致。這個(gè)方案，有效避免了動(dòng)作的抽搐或卡頓（Pops），讓角色跑動(dòng)看起來(lái)更自然。

在最終的效果對(duì)比中可以看到，對(duì)于大位移運(yùn)動(dòng)（如從滑步到奔跑的過(guò)渡），傳統(tǒng)方案會(huì)生硬地切入轉(zhuǎn)身，而AI模型能自然流暢地轉(zhuǎn)身，同時(shí)毫不犧牲玩家操作的響應(yīng)速度。

總結(jié)來(lái)說(shuō)，我們將AI無(wú)標(biāo)記動(dòng)捕、輕量級(jí)神經(jīng)網(wǎng)絡(luò)與動(dòng)畫(huà)引擎部署技術(shù)相結(jié)合，數(shù)據(jù)、模型和部署缺一不可，最終為大家提供了一個(gè)完整的3D格斗游戲動(dòng)作過(guò)渡解決方案。

04

QA環(huán)節(jié)

問(wèn)：對(duì)于毛發(fā)和布料這些次要?jiǎng)赢?huà)（Secondary Animation），傳統(tǒng)做法往往傾向于使用物理引擎進(jìn)行模擬。但在剛才的演示中，我注意到一些布料依然存在穿?，F(xiàn)象。你們是否有計(jì)劃，把這類(lèi)次要?jiǎng)赢?huà)也完全交由AI來(lái)生成？

答：我們目前確實(shí)還沒(méi)有將這套系統(tǒng)應(yīng)用在毛發(fā)或布料上?；谖锢硐到y(tǒng)是傳統(tǒng)的解決方式，但我們實(shí)際上已經(jīng)有了一些針對(duì)AI生成布料模擬的解決方案，甚至包括針對(duì)可形變物體（Deformable objects）的模擬，比如處理自碰撞（Self-collision）和軟體模擬。

其核心難點(diǎn)在于自碰撞檢測(cè)。因?yàn)橛螒蚪巧泻芏喙趋狸P(guān)節(jié)點(diǎn)，傳統(tǒng)的碰撞檢測(cè)過(guò)程需要消耗大量的算力和時(shí)間。而對(duì)于AI生成的解決方案，我們只需要訓(xùn)練好模型，就可以在本地直接生成，目前的初步測(cè)試結(jié)果非常有潛力。

我們未來(lái)會(huì)繼續(xù)在這個(gè)方向上進(jìn)行探索，但目前這套系統(tǒng)主要還是集中在角色軀干和核心根骨骼動(dòng)作的生成上。

游戲葡萄招聘商務(wù)經(jīng)理，

| |

| |

游戲行業(yè)書(shū)籍推薦

（星標(biāo)可第一時(shí)間收到推送和完整封面）