Unite Shanghai 2025于 10 月 23-24 日圓滿舉辦。在團(tuán)結(jié)引擎專場中，Unity 中國軟件工程師，團(tuán)結(jié)引擎 AI 團(tuán)隊(duì)開發(fā)成員高尚、柴沛霖帶來分享《團(tuán)結(jié)AI：Assistant & Graph》，本文為演講全文實(shí)錄。點(diǎn)擊閱讀原文，可以訪問 Unite Shanghai 2025 演講錄像，一起學(xué)習(xí) Unite 分享的最新技術(shù)干貨。

團(tuán)結(jié) AI Assistant

高尚：各位開發(fā)者大家下午好，我們今天來看一下團(tuán)結(jié) AI Assistant——深度集成于團(tuán)結(jié)引擎的人工智能助手。我們在 1.7 版本中對團(tuán)結(jié) Muse Chat 進(jìn)行了重新定位，正式更名為團(tuán)結(jié) AI Assistant，希望在未來能夠帶給各位開發(fā)者更好的體驗(yàn)。

今天在團(tuán)結(jié) AI Assistant 部分講到的內(nèi)容將包括知識(shí)問答、代碼助手，并重點(diǎn)在 Agent 模式上做一些介紹。在 Agent 模式下，團(tuán)結(jié) AI Assistant 會(huì)根據(jù)具體情況選擇合適的 Agent 工具進(jìn)行調(diào)用，以便更好地分析當(dāng)前項(xiàng)目，自動(dòng)化操作流程。同時(shí)，我們也提供了自定義工具的接口，支持開發(fā)者進(jìn)一步拓展團(tuán)結(jié) AI Assistant 的能力邊界。最后，我會(huì)帶大家一起看看團(tuán)結(jié) AI Assistant 在 Agent 模式上的未來方向——多智能體支持，我們將在后續(xù)的版本更新中陸續(xù)向大家開放這一功能。

我們首先來看看基礎(chǔ)能力，團(tuán)結(jié) AI Assistant 支持關(guān)于團(tuán)結(jié)引擎的知識(shí)問答，不僅具備深度思考能力，能更好地理解復(fù)雜的上下文，也支持通過聯(lián)網(wǎng)搜索獲取更多的相關(guān)信息。其中，聯(lián)網(wǎng)搜索也包含網(wǎng)頁瀏覽功能，可以直接讀取開發(fā)者在提問中提供的外部鏈接并基于該網(wǎng)頁內(nèi)容進(jìn)行回答。

在團(tuán)結(jié) 1.7 的更新中，我們對代碼助手的交互流程進(jìn)行了優(yōu)化。在上面的 demo 中，我們想讓小球繞 z 軸圓周運(yùn)動(dòng)，提問然后生成代碼。將代碼保存并導(dǎo)入后，會(huì)自動(dòng)掛載到已選中的小球的 GameObject 上。再次提問讓 AI 修改代碼，這時(shí)會(huì)自動(dòng)將腳本 Attach 為附件，修改后保存可以自動(dòng)覆蓋，整個(gè)流程還是比較絲滑的。

我們現(xiàn)在已經(jīng)支持了低代碼的工作流，方便大家去做代碼的生成、導(dǎo)入和自動(dòng)掛載到選擇的 GameObject。生成代碼如果編譯檢查不通過，可以進(jìn)行自動(dòng)調(diào)試和修復(fù)，也支持像右邊截圖一樣添加附件作為提問的上下文。為了方便交互，我們也提供了多個(gè)便捷入口，可以直接在 GameObject 和腳本文件的右鍵菜單進(jìn)入，也可以像右下角截圖中所示，針對 Console 報(bào)錯(cuò)一鍵提問，就能讓團(tuán)結(jié) AI Assistant 自動(dòng)進(jìn)行問題分析和修復(fù)。

接下來，我們來看看 Agent 模式。之所以要引入 Agent 模式，是因?yàn)槲覀兿Ｍ?AI 不只是“回答問題”，而是真正理解實(shí)際項(xiàng)目。我們提供了一套 Agent 工具集，這些工具能幫助團(tuán)結(jié) AI Assistant 讀取當(dāng)前項(xiàng)目中的各種資源，比如 GameObject/Assets 等，為 LLM 提供豐富的上下文信息。當(dāng)開發(fā)者提問時(shí)，AI Assistant 會(huì)自動(dòng)根據(jù)問題的類型和上下文，調(diào)用最合適的 Agent 工具，去分析當(dāng)前項(xiàng)目的狀態(tài)，從而生成更準(zhǔn)確、更有針對性的回答。實(shí)際使用也很簡單，只需將鼠標(biāo)移動(dòng)到輸入框左側(cè)的機(jī)器人圖標(biāo)，就可以通過點(diǎn)擊來選擇是否啟用，默認(rèn)是啟用的。同時(shí)也能看到 Agent 工具列表，可以選擇是否啟用某個(gè)具體的工具。此外，需要向大家說明的是，所有這些信息的讀取，都僅用于當(dāng)前問題的解答，不會(huì)被用于模型訓(xùn)練，各位開發(fā)者可以放心使用。

剛才我們介紹了內(nèi)置的 Agent 工具，我們也提供了接口支持開發(fā)者進(jìn)行自定義工具的實(shí)現(xiàn)。在上面示例中，我們將地形生成功能封裝成了一個(gè)自定義 Agent 工具，并通過團(tuán)結(jié) AI Assistant 的自定義接口進(jìn)行接入。現(xiàn)在，只需輸入一條簡單的指令，它會(huì)自動(dòng)調(diào)用地形生成工具進(jìn)行執(zhí)行，在場景中創(chuàng)建所需地形，并可對已有地形進(jìn)行調(diào)整與優(yōu)化。通過這種方式，開發(fā)者可以將自己的工作流邏輯封裝成工具，按照實(shí)際需求去拓展團(tuán)結(jié) AI Assistant 的能力邊界。

自定義工具的創(chuàng)建流程也很簡單，像上方 Demo 一樣，只需點(diǎn)擊 Agent 工具列表右上角的“＋”號，就能打開創(chuàng)建 Agent 工具的彈窗。在這個(gè)界面中，開發(fā)者對需要的自定義工具進(jìn)行定義：包括工具的名字和描述，向大語言模型說明這個(gè)工具的用途；接下來是參數(shù)配置，用于定義每個(gè)參數(shù)的名稱、類型和描述；最后一項(xiàng)是工具的執(zhí)行腳本，可以點(diǎn)擊腳本旁邊的“創(chuàng)建”一鍵生成腳本模板，在生成的 C# 文件中編寫執(zhí)行邏輯。完成設(shè)置后，點(diǎn)擊“保存工具”就創(chuàng)建好了。

自定義工具的執(zhí)行腳本里，必須實(shí)現(xiàn) IAgentToolExecutor 接口，需要選擇調(diào)用的類型，再實(shí)現(xiàn)對應(yīng)的函數(shù)接口，比如 Task 的異步調(diào)用就實(shí)現(xiàn) ExecuteTask。需要說明的是，目前已發(fā)布的版本僅支持同步調(diào)用，異步調(diào)用功能會(huì)盡快發(fā)布。具體用法可以參考團(tuán)結(jié)引擎的文檔，這里就不過多展開了，或者大家也可以問問我們的團(tuán)結(jié) AI Assistant。

現(xiàn)在，我們來看看團(tuán)結(jié) AI Assistant 在 Agent 模式上的未來方向——多智能體支持。為了解決團(tuán)結(jié)引擎在實(shí)際使用過程中面臨的復(fù)雜任務(wù)，我們正在研發(fā)多智能體協(xié)作機(jī)制，目前這是一個(gè)內(nèi)部預(yù)研階段的功能，未來我們會(huì)在穩(wěn)定后開放測試。我們希望讓團(tuán)結(jié) AI Assistant 能夠調(diào)用不同團(tuán)結(jié)引擎模塊的專家智能體（Expert Agent），從而更好地應(yīng)對復(fù)雜任務(wù)。比如，我們可以為 ShaderGraph 模塊實(shí)現(xiàn)一個(gè)專門服務(wù)于 Shader Graph 專家智能體，就叫做 ShaderGraph Agent，用來處理各類與 ShaderGraph 相關(guān)的任務(wù)。

我們已經(jīng)實(shí)現(xiàn)了一個(gè)可用的 ShaderGraph Agent。提問一個(gè)和 Shader Graph 相關(guān)的問題，團(tuán)結(jié) AI Assistant 就會(huì)將任務(wù)分配給 ShaderGraph Agent 去執(zhí)行。這些任務(wù)可能包括咨詢某個(gè) ShaderGraph 的使用方式，也可以是生成 Shader Graph 節(jié)點(diǎn)或 Custom Function 等。除此之外，它還可以根據(jù)生成的節(jié)點(diǎn)和 custom function 的需要去實(shí)際生成配置它的輸出參數(shù)，以及把一些輸入的 ShaderGraph 的節(jié)點(diǎn)進(jìn)行自動(dòng)連接。在使用過程中，只需將 Shader Graph 相關(guān)問題交給團(tuán)結(jié) AI Assistant，它就能夠把任務(wù)轉(zhuǎn)交給 ShaderGraph Agent 去處理，從而實(shí)現(xiàn)任務(wù)的分配和智能體的協(xié)作。

舉個(gè)實(shí)際的例子，比如說我們有個(gè)生成水體效果的需求，我們做了個(gè) Demo，基于團(tuán)結(jié) AI Assitant 對專家智能體的支持，分成 4 步讓 ShaderGraph Agent 來實(shí)現(xiàn)。第一步，我們直接提問團(tuán)結(jié) AI Assitant，讓它生成計(jì)算水體顏色的 Custom Function，判斷到是跟 Shader Graph 相關(guān)的任務(wù)后，就會(huì)交給 ShaderGraph Agent 來處理。這里 ShaderGraph Agent 能根據(jù)我們的需求，生成對應(yīng)的 Custom Function，并設(shè)置好需要用到的輸入和輸出，還可以找到并生成合適的節(jié)點(diǎn)直接幫我們連好。我們后面就只用檢查一下生成的這個(gè)節(jié)點(diǎn)對不對，以及根據(jù)自己的需求進(jìn)行一些微調(diào)。例如前面生成的邊緣透明度、水體顏色、散射顏色等節(jié)點(diǎn)，都是美術(shù)可以用來調(diào)效果的，我們就可以把他們轉(zhuǎn)化成 Property，暴露給材質(zhì)球，方便我們進(jìn)行后續(xù)的調(diào)整。

第二步也是一樣，將任務(wù)提交給團(tuán)結(jié) AI Assitant，就會(huì)讓 ShaderGraph Agent 去生成通過 NormalMap 動(dòng)畫來模擬水波紋效果的 Custom Function。我們對生成的節(jié)點(diǎn)進(jìn)行一些微調(diào)，比如只保留 World Position 的 X/Z 軸坐標(biāo)用于貼圖采樣。然后和剛才一樣，將選擇的輸入節(jié)點(diǎn)轉(zhuǎn)換為 Property，方便我們后續(xù)調(diào)整。

第三步生成折射 UV，和之前一樣檢查生成的節(jié)點(diǎn)，生成的 UV 節(jié)點(diǎn)默認(rèn)連接到 UV 輸入，但我們需要用于采樣屏幕顏色的 UV，因此手動(dòng)進(jìn)行了替換。最后就是生成頂點(diǎn)動(dòng)畫，讓水體網(wǎng)格動(dòng)起來，得到有體積感的波浪效果，將新的位置、法線、切線信息連到頂點(diǎn)著色器上面。

對于這個(gè) Expert Agent，未來我們也會(huì)繼續(xù)優(yōu)化，一方面是讓它能更準(zhǔn)確地理解需求并進(jìn)行規(guī)劃，從而減少手動(dòng)操作，盡可能解放雙手。另一方面也會(huì)繼續(xù)豐富它的功能，挖掘他的潛力，讓它能進(jìn)一步得提高我們的開發(fā)效率，并且降低 Shader Graph 的使用門檻。

最后，我們來簡單聊一下對于團(tuán)結(jié) AI Assistant 的未來規(guī)劃。后續(xù)會(huì)圍繞三個(gè)方向持續(xù)優(yōu)化：一是深度融合團(tuán)結(jié)引擎生態(tài)，我們會(huì)提供更豐富的內(nèi)部工具調(diào)用支持，然后提供更多模塊的 Expert Agent，同時(shí)也會(huì)對 Attaching 的交互進(jìn)行優(yōu)化，并支持更多附件類型，讓 AI 模型能夠獲得充分的上下文。第二個(gè)是智能化任務(wù)理解與規(guī)劃，剛才提到的優(yōu)化 Agent 模式，提升 Planning 的能力，優(yōu)化任務(wù)拆解和意圖理解。最后是開放與生態(tài)建設(shè)，會(huì)在后面版本中提供 MCP 支持，支持更多的外部 AI 工具。

后面就把時(shí)間交給我的同事為大家介紹團(tuán)結(jié) AI Graph。

團(tuán)結(jié) AI Graph

柴沛霖：大家下午好，我是柴沛霖。我會(huì)帶來關(guān)于團(tuán)結(jié) AI Graph 更詳細(xì)的介紹。

我將更詳細(xì)地介紹一下 AI Graph，目的是將資產(chǎn)制作流程可視化，易于編輯和協(xié)作，更符合美術(shù)使用習(xí)慣。大家使用的 ShaderGraph 以及一些 AI 工具都是類似的方式，適合大家自由調(diào)配。下圖就是我們現(xiàn)在搭建的 AI Graph 流程圖。

AI Graph 希望作為平臺(tái)可以集成多種 AI 工具，如文生圖，文生 3D，動(dòng)畫生成，骨骼綁定等。最后我們希望內(nèi)嵌在引擎里，生成資產(chǎn)可以快速生用到場景里。

團(tuán)結(jié) AI Graph 的創(chuàng)建方式有三種：第一種是菜單欄創(chuàng)建，左上角通過 window 點(diǎn)開團(tuán)結(jié) AI，后面有一個(gè) Graph template 和團(tuán)結(jié) AI Graph。選擇團(tuán)結(jié) AI Graph 可以在當(dāng)前資產(chǎn)的位置創(chuàng)建一個(gè)空的 AI Graph，選擇 template 會(huì)提供可供使用的模板。第二種方式是 Inspector 創(chuàng)建，創(chuàng)建空的如動(dòng)畫、3D 物體、2D 圖片等對象時(shí)，可以通過 Inspector 面板右上角 AI generate 去生成。如果想更新這些資產(chǎn)，點(diǎn)擊一個(gè)圖片、3D 模型或者動(dòng)畫，右上角也有 AI generate，可以使用它來替換當(dāng)前的資產(chǎn)。第三種方式是 Assets 右鍵創(chuàng)建，這是大家常用的創(chuàng)建資產(chǎn)的方式。

上圖是一個(gè)空的 AI Graph 文件，搭建它的管線跟大家使用的美術(shù) Shader Graph 很像，是通過右鍵創(chuàng)建一個(gè)個(gè)的節(jié)點(diǎn)，并連線完善它們之間的相互關(guān)系。

為了方便大家使用，我們提供了一些模板，點(diǎn)擊 AI Graph template 以后可以看到包括 2D、3D 的資產(chǎn)生成模板。這里的模型廠商有騰訊混元、影眸 Rodin、Tripo-VAST 等，未來會(huì)接入更多廠商。

打開模板右邊的界面，左上角會(huì)有便簽告訴大家這些是干什么用的，更詳細(xì)的參數(shù)會(huì)在 menu 里面提供，歡迎大家嘗試。

我們提供的模板框架包括 2D 的圖生圖、生成三視圖、生成天空盒等，以及 3D 文/圖生模型、3D 綁骨，圖生動(dòng)畫等。

還有關(guān)于 2D 和 3D 資產(chǎn)修改的其他功能，比如 2D 圖片上色、背景去除、風(fēng)格轉(zhuǎn)換等，3D 生成低面數(shù)模型、線稿生成模型、風(fēng)格化角色等。同一種功能可能由不同的廠商提供，大家可以進(jìn)行比對，選擇最適合自己的使用。

同時(shí)我們還提供 group 群組和 Graph 子圖兩種比較特殊的方式供大家使用。group 群組是大家可以把覺得可以成為一個(gè)組合的節(jié)點(diǎn)拖入進(jìn)一個(gè) group 群組里面，方便更好地規(guī)劃和修改 Graph 的組織架構(gòu)。Graph 子圖有點(diǎn)像套娃，右上角的圖片示例中顯示了兩個(gè)簡單節(jié)點(diǎn)，是通過 prompt 生成一個(gè)模型，然后我們希望給這個(gè) prompt 一個(gè) string 輸入，右邊給 model 一個(gè)輸出。我們可以添加輸入和輸出節(jié)點(diǎn)，當(dāng)前圖片就可以作為子圖導(dǎo)入到下面的 model 節(jié)點(diǎn)。Graph 本身是一個(gè)資產(chǎn)，可以把資產(chǎn)直接拖到另外一個(gè) Graph 里面，作為子圖使用，這樣可以套娃去使用不同的子圖來完成管線搭建。

最后再講一下歷史資產(chǎn)，生成完的結(jié)果我們會(huì)通過一個(gè)按紐保留到歷史資產(chǎn)列表里面，比如上圖是當(dāng)前一些節(jié)點(diǎn)生成的不同資產(chǎn)。如果覺得現(xiàn)在生成的模型還不如上一個(gè)模型，可以將同樣節(jié)點(diǎn)的上一個(gè)模型直接拖入到當(dāng)前節(jié)點(diǎn)，就可以直接使用。同樣也可以將歷史資產(chǎn)里面之前生成的模型在右上角進(jìn)行下載或者刪除。

最后講一下團(tuán)結(jié) AI Graph 未來的規(guī)劃。第一個(gè)規(guī)劃是支持 Sentis 包，Sentis 是 Unity 原生支持 AI 模型的能力，它支持推理框架，能將 AI 模型導(dǎo)入到游戲的應(yīng)用程序中，用戶可以使用這些 AI 模型進(jìn)行物體識(shí)別、智能 NPC 等復(fù)雜功能。模型導(dǎo)入之后，它就可以支持在所有團(tuán)結(jié)平臺(tái)上運(yùn)行，意味著大家可以在 runtime 下使用 AI Graph 完成自己的框架搭建、使用到游戲之中。團(tuán)結(jié) AI Graph 未來會(huì)基于 Sentis 提供三類節(jié)點(diǎn)：第一個(gè)輸入節(jié)點(diǎn)，將項(xiàng)目資產(chǎn)編碼為 AI 需要的張量輸入；第二個(gè)推理節(jié)點(diǎn)可以運(yùn)行 AI 模型獲取張量輸出；第三種是輸出節(jié)點(diǎn)，將張量輸出為項(xiàng)目資產(chǎn)。這樣大家就可以通過團(tuán)結(jié) AI 以及 Sentis 的聯(lián)動(dòng)在 runtime 實(shí)現(xiàn)更多有創(chuàng)意的內(nèi)容。

另外一個(gè)未來將會(huì)做的事是開放式框架，我們希望給用戶提供可以使用的用戶框架，用戶只需要提供符合規(guī)格的 Json 文件，AI Graph 會(huì)自動(dòng)解碼編譯成 C# 文件生成用戶自己的用戶節(jié)點(diǎn)。未來我們會(huì)搭建一個(gè)平臺(tái)，用戶自己創(chuàng)作的好用節(jié)點(diǎn)、節(jié)點(diǎn)流都可以上傳到平臺(tái)。如果上傳用戶允許，其他用戶可以下載上傳用戶自制的節(jié)點(diǎn)或 Graph。

在未來的 2-3 個(gè)月里，AI Graph 是供大家免費(fèi)使用的，每天都有一定數(shù)量的免費(fèi) token 用量，希望大家積極嘗試，謝謝大家！

Unite Shanghai 2025演講回放錄像已上線 Unity 中文課堂，點(diǎn)擊閱讀原文即可訪問，購票用戶可免費(fèi)觀看。請持續(xù)關(guān)注，一起學(xué)習(xí) Unite 分享的最新技術(shù)動(dòng)向。

Unity 官方微信

第一時(shí)間了解Unity引擎動(dòng)向，學(xué)習(xí)進(jìn)階開發(fā)技能

每一個(gè)“點(diǎn)贊”、“在看”，都是我們前進(jìn)的動(dòng)力