新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】清華團(tuán)隊(duì)提出EigenData系統(tǒng)，通過(guò)可執(zhí)行數(shù)據(jù)閉環(huán)優(yōu)化多輪Agent訓(xùn)練，在真實(shí)場(chǎng)景中使開(kāi)源模型表現(xiàn)達(dá)到與閉源系統(tǒng)相當(dāng)水平。關(guān)鍵在于訓(xùn)練數(shù)據(jù)的穩(wěn)定性和可驗(yàn)證性，確保模型在交互中能持續(xù)學(xué)習(xí)有效策略，而非依賴不可靠的獎(jiǎng)勵(lì)信號(hào)。

過(guò)去一年，Agent的「能力競(jìng)賽」幾乎走到了一個(gè)拐點(diǎn)：?jiǎn)屋喒ぞ哒{(diào)用、短鏈路推理的提升還在繼續(xù)，但一旦進(jìn)入真實(shí)多輪交互，系統(tǒng)開(kāi)始暴露出完全不同的脆弱性。

工程團(tuán)隊(duì)越來(lái)越頻繁地遇到同一問(wèn)題：模型在離線評(píng)估中表現(xiàn)正常，但一旦進(jìn)入真實(shí)多輪交互，訓(xùn)練信號(hào)就開(kāi)始頻繁失真。

一次異常的用戶行為、一次工具軌跡跑偏，都會(huì)把整段rollout的reward直接歸零，最終把強(qiáng)化學(xué)習(xí)推向錯(cuò)誤方向。

越來(lái)越多的信號(hào)表明Agent訓(xùn)練中：

多輪Tool-Using Agent的上限，越來(lái)越取決于訓(xùn)練信號(hào)是否可歸因、可驗(yàn)證，而不只是模型規(guī)模。

在τ2-bench等真實(shí)Tool-Using Agent基準(zhǔn)中，研究者觀察到，多輪Agent在進(jìn)入強(qiáng)化學(xué)習(xí)階段后，成功率并不總是隨訓(xùn)練推進(jìn)而單調(diào)提升，反而常伴隨明顯波動(dòng)，這些波動(dòng)并非來(lái)自模型能力不足，而更多源于長(zhǎng)鏈路交互中用戶行為不穩(wěn)定與獎(jiǎng)勵(lì)誤歸因的持續(xù)放大。

一項(xiàng)最新研究從系統(tǒng)層面重構(gòu)了多輪Agent的訓(xùn)練流程：圍繞可執(zhí)行數(shù)據(jù)生成、用戶模型穩(wěn)定化與verifier-based獎(jiǎng)勵(lì)提出了一套新的訓(xùn)練范式，并在τ2-bench的三個(gè)真實(shí)工具域上完成驗(yàn)證。

論文鏈接：https://arxiv.org/abs/2601.22607

在不引入更大模型規(guī)模的前提下，開(kāi)源Qwen3系列模型在關(guān)鍵場(chǎng)景中實(shí)現(xiàn)了顯著提升：

Airline中73.0%pass1，與Gemini 3.0 Pro基本持平，明顯高于GPT-5（62.5%）

Telecom中98.3%pass1，達(dá)到當(dāng)前公開(kāi)的最佳結(jié)果，超過(guò)Gemini 3.0 Pro、Claude Sonnet與GPT-5

這些結(jié)果表明，借助系統(tǒng)級(jí)訓(xùn)練范式的優(yōu)化，開(kāi)源模型在真實(shí)工具交互任務(wù)上的可靠性已經(jīng)被推至與主流閉源系統(tǒng)同一梯隊(duì)。

多輪Agent難訓(xùn)

并不是「不會(huì)用工具」

如果只停留在單輪工具調(diào)用層面，Agent的問(wèn)題看起來(lái)并不復(fù)雜。

給定輸入、選擇工具、執(zhí)行一次、返回結(jié)果，reward也可以直接對(duì)應(yīng)到這一步是否成功。

但一旦把視角拉到真實(shí)的多輪交互中，情況就完全變了。

對(duì)話被拉長(zhǎng)為長(zhǎng)鏈路的trajectory，工具調(diào)用不再是孤立事件，而是與用戶反饋交錯(cuò)出現(xiàn)；用戶狀態(tài)也不再是靜態(tài)前提，而是在交互過(guò)程中不斷暴露、甚至發(fā)生漂移。

此時(shí)，Agent 面對(duì)的已經(jīng)不是「會(huì)不會(huì)用工具」，而是能否在一個(gè)持續(xù)變化的系統(tǒng)中保持決策一致性。

而在現(xiàn)實(shí)訓(xùn)練環(huán)境中，模型往往表現(xiàn)出明顯的不穩(wěn)定性，模型容易學(xué)偏，甚至出現(xiàn)效果隨訓(xùn)練波動(dòng)、難以收斂的問(wèn)題。

研究結(jié)果指明主要原因集中在兩點(diǎn)：

1. 缺乏真正「可用」的訓(xùn)練數(shù)據(jù)

真正可用于多輪Agent訓(xùn)練的數(shù)據(jù)，必須同時(shí)覆蓋：

多輪對(duì)話+ 多步工具執(zhí)行 + 用戶側(cè)信息逐步透露/改變偏好。

問(wèn)題在于，這樣的數(shù)據(jù)在現(xiàn)實(shí)中幾乎不可能通過(guò)人工標(biāo)注規(guī)模化獲得。而自動(dòng)合成的數(shù)據(jù)，看似緩解了數(shù)據(jù)稀缺的問(wèn)題，卻引入了新的隱患。

在大量樣本中，工具調(diào)用軌跡在文本層面「看起來(lái)合理」，但只要真正執(zhí)行一遍，就會(huì)觸發(fā)不可完成狀態(tài)，trajectory 在中途失敗。

最終，Agent 學(xué)到的并不是穩(wěn)定、可復(fù)現(xiàn)的工具使用能力，而是一種停留在表層的策略模式（surface-level policy），即它看起來(lái)像在做事，卻無(wú)法在真實(shí)系統(tǒng)中跑通。

2. 用戶模擬的不穩(wěn)定性會(huì)直接污染RL信號(hào)

在interactive RL設(shè)置中，用戶模擬器是驅(qū)動(dòng)對(duì)話不可或缺的一環(huán)。但我們發(fā)現(xiàn)，開(kāi)源模型充當(dāng)用戶時(shí)經(jīng)常無(wú)法穩(wěn)定遵循指令，甚至?xí)S意調(diào)用工具，導(dǎo)致 rollout 提前失敗。

在多輪Tool-Using Agent的訓(xùn)練中，reward不再只取決于某一次工具調(diào)用是否成功，而是由整段交互trajectory的最終狀態(tài)統(tǒng)一決定。這意味著，只要鏈路中任何一個(gè)環(huán)節(jié)出現(xiàn)偏差：一次用戶行為異常、一次工具誤調(diào)用、一次狀態(tài)提前終止，整段rollout的reward都可能被直接歸零。

從結(jié)果上看，Agent「失敗」了；但從系統(tǒng)內(nèi)部看，失敗并不一定來(lái)自agent policy本身，也可能來(lái)自于用戶模型本身的不穩(wěn)定性。

在真實(shí)訓(xùn)練過(guò)程中，user model往往并不能始終穩(wěn)定地遵循任務(wù)設(shè)定。它可能偏離指令、誤調(diào)用工具，甚至在關(guān)鍵步驟提前結(jié)束對(duì)話。

這些行為本身并非agent決策的結(jié)果，卻會(huì)直接決定最終reward。

于是，情況就變成Agent在局部決策上是正確的，但由于用戶行為偏移，最終環(huán)境狀態(tài)失敗，reward被統(tǒng)一判為0

從強(qiáng)化學(xué)習(xí)的視角看，這構(gòu)成了嚴(yán)重的credit assignment failure。reward無(wú)法區(qū)分失敗究竟源于 agent policy，還是來(lái)自u(píng)ser policy的異常行為。在這種條件下，強(qiáng)化學(xué)習(xí)并不會(huì)「修正」問(wèn)題，而是會(huì)不斷將噪聲反向傳播到agent上，最終推動(dòng)策略朝著錯(cuò)誤方向收斂。

從這個(gè)角度看，多輪Agent的訓(xùn)練瓶頸，并不完全是算法問(wèn)題，而是一個(gè)系統(tǒng)結(jié)構(gòu)問(wèn)題。

基于這一判斷，論文并沒(méi)有繼續(xù)在強(qiáng)化學(xué)習(xí)算法層面疊加復(fù)雜性，而是選擇從更底層的訓(xùn)練流程入手，重新拆解agent與user的角色分工。

EigenData不「生成更多數(shù)據(jù)」

讓數(shù)據(jù)自己進(jìn)化

在多輪Tool-Using Agent的訓(xùn)練中，數(shù)據(jù)問(wèn)題往往被簡(jiǎn)化為一個(gè)數(shù)量問(wèn)題：數(shù)據(jù)夠不夠多、覆蓋夠不夠廣。

但在真實(shí)long-horizon交互場(chǎng)景下，這個(gè)假設(shè)并不成立。

大量 synthetic data 在文本層面看起來(lái)合理，邏輯自洽、對(duì)話完整，但一旦真正執(zhí)行工具調(diào)用，就會(huì)暴露出根本性問(wèn)題：工具參數(shù)不合法、狀態(tài)無(wú)法到達(dá)、任務(wù)在中途進(jìn)入不可完成區(qū)域。

這意味著，模型并不是在「失敗中學(xué)習(xí)」，而是在用不可執(zhí)行的軌跡訓(xùn)練自己。因此原文中EigenData的設(shè)計(jì)重點(diǎn)關(guān)注了如何構(gòu)建一個(gè)可閉環(huán)演化的數(shù)據(jù)生成過(guò)程，即：

生成數(shù)據(jù) → 發(fā)現(xiàn)失敗 → 自動(dòng)修正prompt與workflow → 再生成

EigenData并不是傳統(tǒng)意義上的synthetic data pipeline，而是一個(gè)能夠根據(jù)失敗反饋持續(xù)迭代的多智能體系統(tǒng)，結(jié)合自檢與自修復(fù)機(jī)制，逐步構(gòu)建出高質(zhì)量的數(shù)據(jù)集合。

在EigenData的工作流程中，每條訓(xùn)練樣本都被要求必須滿足一個(gè)硬性條件：其對(duì)應(yīng)的工具調(diào)用軌跡可以被完整執(zhí)行，并由verifier在代碼層面驗(yàn)證最終環(huán)境狀態(tài)。

如果執(zhí)行失敗，失敗信息會(huì)被回流，用于自動(dòng)修正 prompt、workflow 以及生成策略本身。

這使得數(shù)據(jù)分布并不是一次性生成的結(jié)果，而是會(huì)隨著失敗反饋持續(xù)向「可執(zhí)行區(qū)域」收斂。通過(guò)自動(dòng)生成多輪對(duì)話并執(zhí)行真實(shí)工具調(diào)用，每一條數(shù)據(jù)實(shí)例都會(huì)配套一個(gè)「可執(zhí)行驗(yàn)證器」，使得 Agent 行為是否成功可以通過(guò)代碼直接判斷，因此能夠保證數(shù)據(jù)質(zhì)量「越跑越好」。

從系統(tǒng)角度看，通過(guò)這一動(dòng)作，EigenData不斷縮小了模型可以學(xué)習(xí)到的行為空間，使其對(duì)齊真實(shí)系統(tǒng)的可行解集。這一步保證了模型在RL介入之前，每個(gè)reward都可以真正對(duì)應(yīng)到一個(gè)已經(jīng)被系統(tǒng)驗(yàn)證后的結(jié)果，使訓(xùn)練信號(hào)本身是可執(zhí)行、可驗(yàn)證、可復(fù)現(xiàn)的。

先訓(xùn)用戶模型，再訓(xùn)Agent

即便訓(xùn)練數(shù)據(jù)本身是可執(zhí)行的，多輪 Agent 的訓(xùn)練仍然可能失敗。

原因在于，在interactive agent場(chǎng)景中，用戶模型本身就是系統(tǒng)的一部分。

如果user policy存在漂移或不穩(wěn)定性，即便 agent 的局部決策是正確的，整段 trajectory 仍可能因?yàn)橛脩粜袨楫惓６?，最終 reward 被統(tǒng)一歸零。

基于這一認(rèn)識(shí)，研究者們將訓(xùn)練流程拆分為兩步：

1. 首先，使用EigenData生成的可執(zhí)行對(duì)話數(shù)據(jù)，對(duì)user model進(jìn)行SFT微調(diào)，使其行為穩(wěn)定、可控，并與任務(wù)設(shè)定對(duì)齊；

2. 在用戶側(cè)不再成為主要噪聲源之后，才引入強(qiáng)化學(xué)習(xí)優(yōu)化agent policy。

這一拆分并不是額外的工程復(fù)雜度，而是一個(gè)系統(tǒng)級(jí)前置條件。它從根本上減少了 reward 的混雜來(lái)源，使強(qiáng)化學(xué)習(xí)不再頻繁懲罰「正確但被用戶行為破壞的決策」，訓(xùn)練曲線也因此變得穩(wěn)定、可預(yù)測(cè)。

用「可執(zhí)行結(jié)果」替代主觀獎(jiǎng)勵(lì)

在強(qiáng)化學(xué)習(xí)階段，該方法不再依賴模糊的reward model，而是用任務(wù)自帶的驗(yàn)證函數(shù)（verifier）直接檢查最終環(huán)境狀態(tài)，實(shí)現(xiàn)「對(duì) / 錯(cuò)」的可執(zhí)行、可審計(jì)獎(jiǎng)勵(lì)信號(hào)。

在此基礎(chǔ)上，引入GRPO的group-relative advantage：針對(duì)同一任務(wù)采樣多條trajectory，進(jìn)行組內(nèi)相對(duì)優(yōu)勢(shì)學(xué)習(xí)，以降低long-horizon交互導(dǎo)致的高方差與不穩(wěn)定性。

同時(shí)使用dynamic filtering剔除「全對(duì)/全錯(cuò)」的低信息樣本，將訓(xùn)練預(yù)算集中于具有區(qū)分度的任務(wù)子集。

在這些設(shè)計(jì)的共同作用下，RL信號(hào)更干凈、更穩(wěn)定，訓(xùn)練過(guò)程也更不易出現(xiàn)策略漂移。

實(shí)驗(yàn)結(jié)果

開(kāi)源模型訓(xùn)練至接近封閉模型水準(zhǔn)

為了驗(yàn)證這一套系統(tǒng)級(jí)訓(xùn)練范式在真實(shí)交互場(chǎng)景中的有效性，研究者在τ2-bench的三個(gè)真實(shí)工具任務(wù)（Airline / Retail / Telecom）上進(jìn)行了系統(tǒng)評(píng)估。評(píng)估采用pass1指標(biāo)，即要求Agent在一次完整多輪交互中成功完成任務(wù)，這一指標(biāo)能夠更直接反映 Agent 在 long-horizon 場(chǎng)景下的穩(wěn)定性與可靠性。

結(jié)果顯示，性能提升并非偶然，而是在多個(gè)場(chǎng)景中穩(wěn)定出現(xiàn)。

• 在規(guī)則最復(fù)雜的Telecom場(chǎng)景中，Qwen3-235B-A22B-2507經(jīng)SFT + RL訓(xùn)練后，pass1提升至98.3%，進(jìn)入當(dāng)前公開(kāi)結(jié)果的最強(qiáng)梯隊(duì)；

• 在Airline場(chǎng)景中，同一模型達(dá)到73.0% pass1，整體表現(xiàn)已與主流閉源系統(tǒng)對(duì)齊。

• 更關(guān)鍵的是，在三域混合訓(xùn)練設(shè)置下，一個(gè)模型同時(shí)學(xué)習(xí)多個(gè)工具環(huán)境，最終仍能保持81.3% 的平均 pass1，表明該方法學(xué)到的并非單一場(chǎng)景下的「投機(jī)策略」，而是更具通用性的 tool-using 能力。

進(jìn)一步的消融實(shí)驗(yàn)揭示了這些提升的來(lái)源。

一旦移除validation / verifier或數(shù)據(jù)自進(jìn)化機(jī)制，SFT 階段的性能便出現(xiàn)明顯下降，說(shuō)明數(shù)據(jù)的可執(zhí)行性與多樣性是能力形成的基礎(chǔ)；而如果在未對(duì)用戶模型進(jìn)行穩(wěn)定化預(yù)訓(xùn)練的情況下直接引入強(qiáng)化學(xué)習(xí)，整體性能反而會(huì)退化。這一結(jié)果表明，只有在用戶行為被有效控制的前提下，強(qiáng)化學(xué)習(xí)才能持續(xù)帶來(lái)正向增益。

可執(zhí)行訓(xùn)練信號(hào)并不是一個(gè)「錦上添花」的技巧，而是一條明確的系統(tǒng)分界線。

當(dāng) Tool-Using Agent 進(jìn)入真實(shí)多輪交互，問(wèn)題不再只是「強(qiáng)化學(xué)習(xí)還能不能收斂」，而是訓(xùn)練信號(hào)本身是否具備工程意義：它是否可執(zhí)行、可歸因、可驗(yàn)證，是否真正對(duì)應(yīng)到一個(gè)可復(fù)現(xiàn)的系統(tǒng)結(jié)果。這正是EigenData介入的位置。

通過(guò)將數(shù)據(jù)生成、工具執(zhí)行與verifier校驗(yàn)統(tǒng)一進(jìn)一個(gè)閉環(huán)系統(tǒng)，EigenData不只是為RL提供了「更干凈的reward」，而是重新定義了什么樣的訓(xùn)練信號(hào)才值得被強(qiáng)化學(xué)習(xí)放大。在這一前提下，GRPO、dynamic filtering等優(yōu)化策略才第一次擁有清晰、穩(wěn)定的作用對(duì)象。

論文給出的判斷標(biāo)準(zhǔn)其實(shí)非常直接：如果一個(gè)多輪Agent的訓(xùn)練流程無(wú)法明確回答「reward 到底在獎(jiǎng)勵(lì)誰(shuí)、失敗究竟由誰(shuí)導(dǎo)致、同一任務(wù)下哪條軌跡更好」，那它在工程上仍停留在「看起來(lái)能跑」的 workflow，而不是「可以持續(xù)優(yōu)化」的system。

從這個(gè)角度看，訓(xùn)練中出現(xiàn)的performance oscillation、reward 被異常用戶行為清零、RL 反而帶來(lái)退化，并不是實(shí)現(xiàn)細(xì)節(jié)上的瑕疵，而是訓(xùn)練信號(hào)尚未被系統(tǒng)性構(gòu)造的必然結(jié)果。

這項(xiàng)工作的核心貢獻(xiàn)，并不在于提出一種新的RL技巧，而在于通過(guò)EigenData將多輪Agent的post-training推向一個(gè)新的工程范式：

當(dāng)訓(xùn)練信號(hào)先被構(gòu)造成可執(zhí)行、可歸因、可驗(yàn)證的系統(tǒng)對(duì)象時(shí)，強(qiáng)化學(xué)習(xí)才真正成為一種可控的系統(tǒng)優(yōu)化；在此之前，再多的 rollout 和更大的模型，也只是在噪聲之上疊加計(jì)算。

參考資料：

https://arxiv.org/abs/2601.22607