這項(xiàng)由清華大學(xué)廖崇華和阿里巴巴達(dá)摩院王珂等研究人員共同完成的突破性研究發(fā)表于2024年12月，論文編號(hào)為arXiv:2512.09756v1。有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文。

當(dāng)前的人工智能角色扮演就像是一位演員在舞臺(tái)上表演，需要同時(shí)掌握多種相互沖突的技能。這位"AI演員"必須能夠理解復(fù)雜的對(duì)話指令，展現(xiàn)特定角色的專業(yè)知識(shí)，還要保持一致的語(yǔ)言風(fēng)格。聽(tīng)起來(lái)就像是要求一個(gè)人在跳舞的同時(shí)背詩(shī)，還要做數(shù)學(xué)題一樣困難。

現(xiàn)有的訓(xùn)練方法就像是用老式的教學(xué)方法來(lái)訓(xùn)練這樣的"多面手"。一種方法叫做監(jiān)督微調(diào)，就像是給學(xué)生提供標(biāo)準(zhǔn)答案讓他們死記硬背。雖然學(xué)生能快速學(xué)會(huì)表面的套路，但遇到新情況就不知所措，而且回答變得千篇一律，缺乏靈活性。另一種方法叫做強(qiáng)化學(xué)習(xí)，就像是給學(xué)生設(shè)置一個(gè)總成績(jī)目標(biāo)，但這種方法往往顧此失彼，提高了某個(gè)方面的能力卻損害了其他方面。

研究團(tuán)隊(duì)面臨的核心問(wèn)題是：如何讓AI在角色扮演時(shí)既能遵循復(fù)雜指令，又能展現(xiàn)專業(yè)知識(shí)，同時(shí)還保持獨(dú)特的語(yǔ)言風(fēng)格？這就像是訓(xùn)練一位完美的演員，他需要在同一場(chǎng)表演中既是莎士比亞戲劇的主角，又是脫口秀演員，還要是學(xué)術(shù)講座的專家。

為了解決這個(gè)難題，研究團(tuán)隊(duì)開(kāi)發(fā)了一種名為MOA（多目標(biāo)對(duì)齊）的全新訓(xùn)練框架。這套方法的精妙之處在于，它不再試圖用一個(gè)簡(jiǎn)單的評(píng)分系統(tǒng)來(lái)衡量AI的整體表現(xiàn)，而是像一位經(jīng)驗(yàn)豐富的導(dǎo)演一樣，分別關(guān)注表演的不同維度，并智能地決定在每個(gè)訓(xùn)練階段應(yīng)該重點(diǎn)提升哪個(gè)方面。

整個(gè)MOA框架就像是一個(gè)精心設(shè)計(jì)的訓(xùn)練營(yíng)，包含了三個(gè)核心組件。第一個(gè)組件叫做多目標(biāo)優(yōu)化策略，它就像是一位智慧的教練，能夠動(dòng)態(tài)識(shí)別當(dāng)前最需要改進(jìn)的技能維度作為"支點(diǎn)維度"。當(dāng)教練發(fā)現(xiàn)學(xué)員在某個(gè)方面進(jìn)步最快時(shí)，就會(huì)集中訓(xùn)練這個(gè)方面，同時(shí)巧妙地過(guò)濾掉那些在這個(gè)維度表現(xiàn)差但在其他維度表現(xiàn)好的"干擾樣本"。這樣做避免了模型在優(yōu)化某個(gè)維度時(shí)被其他維度的高分誤導(dǎo)，就像是在練習(xí)鋼琴時(shí)不被其他樂(lè)器的聲音分散注意力。

第二個(gè)組件是思維增強(qiáng)的生成策略，這個(gè)方法的靈感來(lái)自于人類在角色扮演時(shí)的思考過(guò)程。就像演員在說(shuō)臺(tái)詞之前會(huì)在心中快速思考角色的動(dòng)機(jī)和背景一樣，研究團(tuán)隊(duì)讓AI在生成回應(yīng)之前先進(jìn)行一段內(nèi)在思考。這段思考包括角色的情感反應(yīng)、知識(shí)背景、目標(biāo)動(dòng)機(jī)等，然后再基于這些思考生成最終的回應(yīng)。這種方法顯著提升了角色扮演的質(zhì)量和一致性。

第三個(gè)組件叫做離策略指導(dǎo)，這是為了解決訓(xùn)練過(guò)程中可能出現(xiàn)的"作弊"行為。由于評(píng)判標(biāo)準(zhǔn)來(lái)自其他AI模型，有時(shí)系統(tǒng)可能學(xué)會(huì)一些投機(jī)取巧的方法來(lái)獲得高分，比如生成冗長(zhǎng)但實(shí)際上沒(méi)有太多價(jià)值的回答。為了避免這種情況，研究團(tuán)隊(duì)在訓(xùn)練過(guò)程中混入了一些來(lái)自頂級(jí)模型的高質(zhì)量樣本，就像在學(xué)習(xí)過(guò)程中加入了標(biāo)桿案例，幫助模型保持正確的優(yōu)化方向。

研究團(tuán)隊(duì)的實(shí)驗(yàn)結(jié)果相當(dāng)令人振奮。他們?cè)趦蓚€(gè)業(yè)內(nèi)認(rèn)可的角色扮演評(píng)測(cè)基準(zhǔn)上進(jìn)行了全面測(cè)試。第一個(gè)叫做PersonaGym，它評(píng)估AI在五個(gè)不同維度的表現(xiàn)：預(yù)期行動(dòng)、語(yǔ)言習(xí)慣、角色一致性、毒性控制和行動(dòng)解釋。第二個(gè)叫做RoleMRC，它從知識(shí)范圍、風(fēng)格合規(guī)性、嵌套指令跟隨、多輪指令跟隨和指令優(yōu)先級(jí)五個(gè)方面進(jìn)行評(píng)估。

實(shí)驗(yàn)結(jié)果顯示，使用MOA訓(xùn)練的8B參數(shù)模型在多個(gè)維度上都能夠匹敵甚至超越GPT-4o和Claude這樣的頂級(jí)模型。特別值得一提的是，在RoleMRC基準(zhǔn)測(cè)試中，MOA訓(xùn)練的模型相比GPT-4o取得了21%的性能提升。這意味著一個(gè)相對(duì)較小的模型經(jīng)過(guò)巧妙的訓(xùn)練后，竟然能夠在某些方面超越體量更大的頂級(jí)模型。

MOA方法的核心創(chuàng)新在于其多目標(biāo)優(yōu)化策略。傳統(tǒng)的方法就像是用一把尺子來(lái)衡量學(xué)生的綜合能力，而MOA更像是一位經(jīng)驗(yàn)豐富的老師，會(huì)根據(jù)學(xué)生當(dāng)前的學(xué)習(xí)狀態(tài)動(dòng)態(tài)調(diào)整教學(xué)重點(diǎn)。具體來(lái)說(shuō)，MOA會(huì)觀察每個(gè)技能維度的進(jìn)步趨勢(shì)，識(shí)別出當(dāng)前進(jìn)步最快的維度作為優(yōu)化重點(diǎn)。這種做法的理論基礎(chǔ)是課程學(xué)習(xí)的思想，即優(yōu)先學(xué)習(xí)較容易掌握的技能，再逐步攻克更困難的技能。

在技術(shù)實(shí)現(xiàn)上，MOA采用了一種巧妙的權(quán)重分配機(jī)制。它首先計(jì)算每個(gè)維度當(dāng)前的平均獎(jiǎng)勵(lì)與歷史趨勢(shì)的差值，這個(gè)差值反映了該維度的當(dāng)前改進(jìn)潛力。然后通過(guò)softmax函數(shù)將這些差值轉(zhuǎn)換為概率權(quán)重，權(quán)重越高的維度說(shuō)明當(dāng)前越值得重點(diǎn)優(yōu)化。這種動(dòng)態(tài)權(quán)重分配確保了訓(xùn)練資源總是投入到最有效果的地方。

為了進(jìn)一步提升訓(xùn)練效果，MOA還引入了沖突樣本消除機(jī)制。這個(gè)機(jī)制的工作原理就像是一位嚴(yán)格的考官，會(huì)識(shí)別并剔除那些在重點(diǎn)維度表現(xiàn)不佳但在其他維度得分較高的"混淆樣本"。通過(guò)這種方式，模型能夠更專注地學(xué)習(xí)當(dāng)前最重要的技能，避免被不相關(guān)的信息干擾。

思維增強(qiáng)策略的設(shè)計(jì)也非常精妙。研究團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)AI在生成回應(yīng)之前先進(jìn)行一段結(jié)構(gòu)化的思考時(shí)，最終的回應(yīng)質(zhì)量會(huì)顯著提升。這段思考包括四個(gè)層次：首先是情感反應(yīng)層面，AI會(huì)思考角色在當(dāng)前情境下應(yīng)該有什么樣的情感狀態(tài)；接著是知識(shí)背景層面，AI會(huì)調(diào)用角色相關(guān)的專業(yè)知識(shí)和經(jīng)驗(yàn)；然后是目標(biāo)動(dòng)機(jī)層面，AI會(huì)考慮角色的行動(dòng)目標(biāo)和深層動(dòng)機(jī)；最后是策略規(guī)劃層面，AI會(huì)制定具體的回應(yīng)策略。

這種思維過(guò)程的引入不僅提升了回應(yīng)的質(zhì)量，還增強(qiáng)了角色的一致性和可信度。實(shí)驗(yàn)數(shù)據(jù)顯示，使用思維增強(qiáng)策略的模型在幾乎所有維度上都比不使用該策略的模型表現(xiàn)更好。特別是在角色一致性和語(yǔ)言風(fēng)格方面，改進(jìn)效果尤為明顯。

離策略指導(dǎo)機(jī)制的加入則解決了強(qiáng)化學(xué)習(xí)中常見(jiàn)的獎(jiǎng)勵(lì)操控問(wèn)題。在訓(xùn)練過(guò)程中，模型有時(shí)會(huì)學(xué)會(huì)一些表面上能獲得高分但實(shí)際質(zhì)量不高的策略，比如生成過(guò)長(zhǎng)的回答來(lái)展示知識(shí)，即使這些信息可能是冗余的。通過(guò)在訓(xùn)練數(shù)據(jù)中混入高質(zhì)量的標(biāo)桿樣本，模型能夠?qū)W到更好的優(yōu)化方向，避免陷入這種局部最優(yōu)的陷阱。

研究團(tuán)隊(duì)還進(jìn)行了詳盡的消融實(shí)驗(yàn)來(lái)驗(yàn)證各個(gè)組件的有效性。實(shí)驗(yàn)結(jié)果顯示，多目標(biāo)優(yōu)化策略貢獻(xiàn)了最大的性能提升，思維增強(qiáng)策略在角色一致性方面效果顯著，而離策略指導(dǎo)則在避免獎(jiǎng)勵(lì)操控方面發(fā)揮了關(guān)鍵作用。三個(gè)組件的協(xié)同作用使得整個(gè)系統(tǒng)的性能遠(yuǎn)超傳統(tǒng)方法。

值得一提的是，MOA方法展現(xiàn)出了良好的可擴(kuò)展性。研究團(tuán)隊(duì)在不同規(guī)模的模型上（從1.7B到8B參數(shù)）都驗(yàn)證了MOA的有效性，并且發(fā)現(xiàn)這種方法可以與不同的基礎(chǔ)強(qiáng)化學(xué)習(xí)算法結(jié)合使用，包括GRPO和RLOO等。這種靈活性使得MOA能夠廣泛應(yīng)用于各種實(shí)際場(chǎng)景。

從技術(shù)角度來(lái)看，MOA方法的創(chuàng)新性主要體現(xiàn)在三個(gè)方面。首先是動(dòng)態(tài)維度選擇策略，這是首次在角色扮演訓(xùn)練中引入課程學(xué)習(xí)的思想，通過(guò)智能化的維度調(diào)度來(lái)提升訓(xùn)練效率。其次是結(jié)構(gòu)化思維生成，這種方法模擬了人類角色扮演時(shí)的認(rèn)知過(guò)程，為AI角色扮演提供了更堅(jiān)實(shí)的理論基礎(chǔ)。最后是多樣化的訓(xùn)練策略組合，通過(guò)巧妙地結(jié)合在線學(xué)習(xí)和離線指導(dǎo)，MOA在保持訓(xùn)練穩(wěn)定性的同時(shí)實(shí)現(xiàn)了性能的顯著提升。

實(shí)驗(yàn)結(jié)果還揭示了一些有趣的發(fā)現(xiàn)。例如，研究團(tuán)隊(duì)發(fā)現(xiàn)單純的監(jiān)督微調(diào)雖然能夠快速達(dá)到一定的性能水平，但很快就會(huì)遇到瓶頸，難以進(jìn)一步提升。而傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法雖然理論上能夠持續(xù)優(yōu)化，但在實(shí)際應(yīng)用中往往不夠穩(wěn)定，容易出現(xiàn)某些維度性能下降的情況。相比之下，MOA方法既保持了訓(xùn)練的穩(wěn)定性，又實(shí)現(xiàn)了持續(xù)的性能改進(jìn)。

另一個(gè)重要發(fā)現(xiàn)是思維生成對(duì)角色扮演質(zhì)量的重要影響。實(shí)驗(yàn)數(shù)據(jù)顯示，使用思維增強(qiáng)策略的模型不僅在客觀評(píng)測(cè)中表現(xiàn)更好，在主觀評(píng)價(jià)中也更容易獲得用戶的認(rèn)可。這表明結(jié)構(gòu)化的思維過(guò)程確實(shí)能夠提升AI角色扮演的自然性和可信度。

研究團(tuán)隊(duì)還對(duì)不同類型的角色進(jìn)行了深入分析。他們發(fā)現(xiàn)MOA方法在處理復(fù)雜角色（如需要專業(yè)知識(shí)的醫(yī)生、律師等）時(shí)效果尤為顯著，這些角色往往需要在知識(shí)準(zhǔn)確性和角色一致性之間找到平衡。傳統(tǒng)方法往往在這種平衡上表現(xiàn)不佳，要么過(guò)于拘泥于角色設(shè)定而忽略知識(shí)準(zhǔn)確性，要么過(guò)分追求知識(shí)正確性而丟失角色特色。

從應(yīng)用前景來(lái)看，MOA方法的成功為AI角色扮演技術(shù)的實(shí)用化鋪平了道路。在客服系統(tǒng)中，經(jīng)過(guò)MOA訓(xùn)練的AI能夠更好地扮演專業(yè)客服代表，既具備必要的專業(yè)知識(shí)，又能保持友好的服務(wù)態(tài)度。在教育領(lǐng)域，這種技術(shù)可以用來(lái)創(chuàng)建各種虛擬教師角色，為不同年齡段和學(xué)習(xí)風(fēng)格的學(xué)生提供個(gè)性化的教學(xué)服務(wù)。在娛樂(lè)產(chǎn)業(yè)中，MOA技術(shù)可以用來(lái)創(chuàng)建更加生動(dòng)和一致的虛擬角色，為用戶提供更好的互動(dòng)體驗(yàn)。

然而，研究團(tuán)隊(duì)也坦誠(chéng)地指出了MOA方法的一些局限性。首先，這種方法對(duì)計(jì)算資源的需求相對(duì)較高，因?yàn)樾枰褂肔LM作為評(píng)判器來(lái)提供多維度的獎(jiǎng)勵(lì)信號(hào)。其次，雖然MOA在角色扮演任務(wù)上效果顯著，但其在其他類型任務(wù)（如數(shù)學(xué)推理、代碼生成等）上的有效性還需要進(jìn)一步驗(yàn)證。最后，目前的方法還依賴于外部的強(qiáng)大模型來(lái)提供高質(zhì)量的離策略樣本，這在一定程度上限制了其完全自主的學(xué)習(xí)能力。

展望未來(lái)，研究團(tuán)隊(duì)認(rèn)為有幾個(gè)方向值得進(jìn)一步探索。一是開(kāi)發(fā)更高效的自評(píng)估機(jī)制，減少對(duì)外部評(píng)判器的依賴。二是探索MOA方法在其他復(fù)雜任務(wù)上的應(yīng)用潛力。三是研究如何將角色扮演能力與其他AI能力（如推理、創(chuàng)作等）更好地結(jié)合，創(chuàng)建真正的通用智能角色。

說(shuō)到底，MOA方法的成功證明了一個(gè)重要觀點(diǎn)：訓(xùn)練高質(zhì)量的AI角色不是簡(jiǎn)單的技術(shù)堆砌，而是需要深入理解角色扮演的本質(zhì)和人類學(xué)習(xí)的規(guī)律。通過(guò)巧妙地將課程學(xué)習(xí)、結(jié)構(gòu)化思維和多目標(biāo)優(yōu)化結(jié)合起來(lái)，MOA為AI角色扮演技術(shù)的發(fā)展提供了一條可行而有效的路徑。這項(xiàng)研究不僅在技術(shù)上取得了突破，更重要的是為我們理解如何訓(xùn)練更加智能和可信的AI系統(tǒng)提供了寶貴的啟示。

Q&A

Q1：MOA訓(xùn)練方法相比傳統(tǒng)方法有什么優(yōu)勢(shì)？

A：MOA方法最大的優(yōu)勢(shì)是能夠同時(shí)優(yōu)化多個(gè)相互沖突的技能維度。傳統(tǒng)方法要么像死記硬背一樣缺乏靈活性，要么在提升某項(xiàng)能力時(shí)損害其他能力。MOA就像一位智慧的教練，能夠動(dòng)態(tài)識(shí)別最需要改進(jìn)的技能維度，集中優(yōu)化的同時(shí)避免其他維度的干擾，最終實(shí)現(xiàn)全方位的性能提升。

Q2：思維增強(qiáng)策略具體是如何工作的？

A：思維增強(qiáng)策略讓AI在回答之前先進(jìn)行結(jié)構(gòu)化思考，就像演員在說(shuō)臺(tái)詞前會(huì)思考角色動(dòng)機(jī)一樣。這個(gè)過(guò)程包括四個(gè)層次：情感反應(yīng)、知識(shí)背景、目標(biāo)動(dòng)機(jī)和策略規(guī)劃。AI會(huì)依次思考角色在當(dāng)前情境下的情感狀態(tài)、相關(guān)知識(shí)經(jīng)驗(yàn)、行動(dòng)目標(biāo)，最后制定回應(yīng)策略，這樣生成的回答更加自然和一致。

Q3：普通用戶什么時(shí)候能體驗(yàn)到這種技術(shù)？

A：雖然MOA技術(shù)已經(jīng)在學(xué)術(shù)測(cè)試中表現(xiàn)出色，但要真正應(yīng)用到消費(fèi)級(jí)產(chǎn)品中還需要一些時(shí)間。目前主要的挑戰(zhàn)是計(jì)算資源需求較高，需要進(jìn)一步優(yōu)化以降低成本。不過(guò)考慮到技術(shù)發(fā)展速度，預(yù)計(jì)在未來(lái)1-2年內(nèi)，我們就能在一些高端AI助手和專業(yè)應(yīng)用中看到類似技術(shù)的應(yīng)用。