過去幾年，大語言模型的能力提升主要依賴參數(shù)和數(shù)據(jù)規(guī)模的擴(kuò)張。但當(dāng)模型逐步被用于研究助理、網(wǎng)頁搜索和復(fù)雜決策支持等真實(shí)任務(wù)時(shí)，這條路徑開始顯露邊界。

這類場景往往要求模型在開放環(huán)境中進(jìn)行多輪搜索與推理，使搜索增強(qiáng)推理成為主流范式，同時(shí)也暴露出一個(gè)核心問題：模型在長鏈搜索推理中的失敗，往往不是因?yàn)橥评砟芰Σ蛔?，而是無法有效處理錯(cuò)誤在推理過程中的出現(xiàn)與傳播。

在現(xiàn)實(shí)任務(wù)中，搜索結(jié)果不可避免地包含噪聲，一旦早期某次檢索或信息采信出現(xiàn)偏差，后續(xù)推理就可能在錯(cuò)誤語義空間中不斷自洽，最終生成看似合理卻偏離問題的答案。然而，現(xiàn)有訓(xùn)練方法通常只依據(jù)最終答案是否正確進(jìn)行優(yōu)化，使“偶然成功”的軌跡與“搜索路徑可靠”的軌跡獲得相同反饋，長期來看反而削弱了模型對(duì)中途錯(cuò)誤和搜索質(zhì)量的約束。這也是多輪搜索、多跳推理任務(wù)中性能崩潰呈現(xiàn)系統(tǒng)性特征的重要原因。

在這一背景下，MBZUAI 、港中文和騰訊混元組成的聯(lián)合團(tuán)隊(duì)提出了《Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration》。

這項(xiàng)工作直指搜索增強(qiáng)推理中的長鏈推理信用分配與中途糾錯(cuò)缺失，通過將推理生成、軌跡判斷和錯(cuò)誤定位納入統(tǒng)一的強(qiáng)化學(xué)習(xí)框架，使訓(xùn)練信號(hào)能夠回傳至錯(cuò)誤首次發(fā)生的位置，從而抑制錯(cuò)誤傳播。

在智能體系統(tǒng)逐漸從“展示能力”走向“承擔(dān)任務(wù)”的當(dāng)下，這項(xiàng)研究的意義不在于提出一種更復(fù)雜的工程技巧，而在于為搜索型智能體提供了一種更接近真實(shí)失敗模式的學(xué)習(xí)范式：不是假設(shè)推理過程天然可靠，而是承認(rèn)錯(cuò)誤不可避免，并讓模型在訓(xùn)練中學(xué)會(huì)與錯(cuò)誤共處、定位并修正它們。

論文地址：https://arxiv.org/pdf/2602.03647

完整閉環(huán)，而不是單一技巧

在實(shí)驗(yàn)結(jié)果方面，研究團(tuán)隊(duì)發(fā)現(xiàn)該方法的優(yōu)勢并不僅體現(xiàn)在整體平均性能的提升上，而是在任務(wù)難度最高、錯(cuò)誤最容易累積的場景中表現(xiàn)得尤為突出。

實(shí)驗(yàn)評(píng)測覆蓋了普通事實(shí)型問答任務(wù)和多跳推理問答任務(wù)兩大類，其中前者通常只需要一到兩次檢索即可完成，而后者必須經(jīng)歷多輪“搜索—推理—再搜索”，中間任何一步出現(xiàn)偏差都會(huì)在后續(xù)推理中被不斷放大。

實(shí)驗(yàn)結(jié)果表明，該方法在兩類任務(wù)上均取得穩(wěn)定提升，但在多跳推理任務(wù)上的提升幅度明顯更大，尤其是在 HotpotQA、2WikiMultiHopQA 和 Bamboogle 等需要多輪檢索協(xié)同推理的數(shù)據(jù)集上，相較基線方法帶來了數(shù)個(gè)百分點(diǎn)到十余個(gè)百分點(diǎn)不等的準(zhǔn)確率提升，其中在 Bamboogle 數(shù)據(jù)集上的相對(duì)提升幅度超過二十個(gè)百分點(diǎn)。

這一現(xiàn)象表明，其優(yōu)勢并非來源于更強(qiáng)的參數(shù)記憶能力，而是源于對(duì)長鏈推理過程中錯(cuò)誤傳播的有效抑制。研究人員指出，多跳推理任務(wù)的失敗往往并不是由于模型無法生成最終答案，而是由于中途某一次搜索引入了錯(cuò)誤或無關(guān)信息，使推理方向發(fā)生偏移，之后即便繼續(xù)搜索和推理，也只能在錯(cuò)誤語義空間中反復(fù)迭代，這個(gè)方法正是針對(duì)這一失敗模式進(jìn)行設(shè)計(jì)，因此在此類任務(wù)中的優(yōu)勢被顯著放大。

在與拒絕采樣策略的對(duì)比實(shí)驗(yàn)中，研究團(tuán)隊(duì)進(jìn)一步提高了基線方法的采樣預(yù)算，將每個(gè)問題的采樣次數(shù)提升至原來的兩倍甚至更多，但實(shí)驗(yàn)結(jié)果顯示，即便在這種條件下，基線方法的整體性能仍然低于該方法在較小采樣預(yù)算下所取得的結(jié)果。

這一對(duì)比表明，該方法的性能提升并非來自“多試幾次總能蒙對(duì)”的概率收益，其關(guān)鍵不在于整體軌跡質(zhì)量分布的上限，而在于是否能夠準(zhǔn)確識(shí)別錯(cuò)誤首次出現(xiàn)的位置并進(jìn)行針對(duì)性處理。拒絕采樣在生成失敗后會(huì)直接丟棄整條推理軌跡并重新生成，而該方法則認(rèn)為失敗軌跡的前半部分往往仍然是正確且有價(jià)值的，真正導(dǎo)致失敗的通常是某一次具體的搜索步驟，這次搜索所引入的噪聲會(huì)在后續(xù)推理中持續(xù)放大，從而使兩種策略在長鏈推理任務(wù)中的樣本效率產(chǎn)生數(shù)量級(jí)差異。

為進(jìn)一步分析性能提升的來源，研究團(tuán)隊(duì)通過消融實(shí)驗(yàn)系統(tǒng)性地評(píng)估了各個(gè)組成模塊的作用。實(shí)驗(yàn)結(jié)果顯示，在僅引入中途糾錯(cuò)機(jī)制而不加入過程獎(jiǎng)勵(lì)的情況下，模型在多個(gè)數(shù)據(jù)集上的性能已經(jīng)出現(xiàn)顯著提升，表明對(duì)推理過程中關(guān)鍵錯(cuò)誤進(jìn)行定位和修復(fù)本身就能解決搜索增強(qiáng)推理中的核心瓶頸。雷峰網(wǎng)

在此基礎(chǔ)上，加入用于衡量搜索結(jié)果信息密度的過程獎(jiǎng)勵(lì)后，模型性能進(jìn)一步提升，說明顯式區(qū)分高質(zhì)量搜索與低質(zhì)量搜索能夠?yàn)橛?xùn)練過程提供更加穩(wěn)定的優(yōu)化方向。

最終，在對(duì)推理生成模塊與糾錯(cuò)模塊進(jìn)行聯(lián)合優(yōu)化的完整設(shè)置下，模型在所有評(píng)測數(shù)據(jù)集上均取得最優(yōu)結(jié)果，這表明糾錯(cuò)能力并非靜態(tài)規(guī)則，而是一種需要在訓(xùn)練過程中被逐步學(xué)習(xí)和內(nèi)化的行為策略。

整體來看，該方法的性能提升并非來源于單一技巧或額外計(jì)算量的堆疊，而是由中途糾錯(cuò)、搜索質(zhì)量建模和聯(lián)合優(yōu)化共同構(gòu)成的完整機(jī)制所帶來的結(jié)果。

把糾錯(cuò)本身納入策略空間

在實(shí)驗(yàn)方法設(shè)計(jì)方面，研究團(tuán)隊(duì)首先指出，僅依賴最終答案是否正確作為強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)信號(hào)，在搜索增強(qiáng)推理任務(wù)中會(huì)系統(tǒng)性失效。

研究人員分析認(rèn)為，在此類任務(wù)中，模型實(shí)際上需要連續(xù)做出多尺度決策，包括是否發(fā)起搜索、搜索的具體內(nèi)容、搜索發(fā)生的時(shí)機(jī)，以及在獲得檢索結(jié)果后是否應(yīng)當(dāng)信任并使用這些信息。

然而傳統(tǒng)強(qiáng)化學(xué)習(xí)只提供“最終答對(duì)或答錯(cuò)”的單一反饋信號(hào)，無法區(qū)分這些中間決策的質(zhì)量差異，從而導(dǎo)致依靠運(yùn)氣在最后階段拼湊出正確答案的推理軌跡，與邏輯結(jié)構(gòu)嚴(yán)密、搜索路徑合理的軌跡獲得完全相同的獎(jiǎng)勵(lì)。

長期訓(xùn)練后，模型會(huì)逐漸學(xué)到搜索行為可以隨意展開、早期錯(cuò)誤不會(huì)受到實(shí)質(zhì)性懲罰，只要最終答案能夠生成即可，這正是現(xiàn)有搜索增強(qiáng)方法在長鏈推理任務(wù)中容易發(fā)生性能崩潰的根本原因。

基于這一問題，研究團(tuán)隊(duì)在方法中對(duì)不同功能進(jìn)行了明確分工。其中，推理生成模塊負(fù)責(zé)像常規(guī)搜索增強(qiáng)方法一樣，完整生成一條包含推理與搜索行為的軌跡，該模塊被允許在生成過程中犯錯(cuò)甚至進(jìn)行探索，不承擔(dān)中途自檢或修復(fù)的職責(zé)。

隨后，引入的糾錯(cuò)模塊首先對(duì)整條推理軌跡進(jìn)行判斷，其關(guān)注重點(diǎn)并非最終答案是否正確，而是推理過程是否仍然圍繞原始問題展開，是否出現(xiàn)明顯的實(shí)體偏移、主題漂移或證據(jù)錯(cuò)位等現(xiàn)象。這一判斷決定了軌跡是否值得繼續(xù)修復(fù)，若標(biāo)準(zhǔn)過于寬松，錯(cuò)誤軌跡會(huì)被放過，若過于嚴(yán)格，則高質(zhì)量軌跡會(huì)被反復(fù)打斷，因此這一接受與拒絕之間的平衡并非人工設(shè)定，而是通過強(qiáng)化學(xué)習(xí)過程自動(dòng)習(xí)得。

當(dāng)軌跡被判定為需要修復(fù)時(shí)，系統(tǒng)進(jìn)一步定位推理過程中第一次發(fā)生實(shí)質(zhì)性偏離的位置，即具體是哪一次搜索或推理操作將系統(tǒng)帶離了正確的推理空間。雷峰網(wǎng)

一旦該位置被識(shí)別，系統(tǒng)會(huì)完整保留此前已經(jīng)生成的推理前綴，丟棄其后的內(nèi)容，并從該點(diǎn)重新生成后續(xù)推理，從而避免浪費(fèi)已有的正確推理信息，同時(shí)使獎(jiǎng)勵(lì)信號(hào)能夠精確回傳至錯(cuò)誤發(fā)生的位置，促使模型逐漸學(xué)會(huì)哪些搜索錯(cuò)誤最具破壞性并應(yīng)當(dāng)被避免。研究人員在理論分析中將這一錯(cuò)誤定位能力形式化為修剪能力，并證明其是整體性能提升的必要條件。

為防止模型出現(xiàn)“只修正結(jié)果而忽視錯(cuò)誤根源”的投機(jī)行為，研究團(tuán)隊(duì)在訓(xùn)練過程中進(jìn)一步引入了過程層面的獎(jiǎng)勵(lì)信號(hào)，用于衡量檢索到的證據(jù)中有多少是真正支持最終答案的信息而非噪聲內(nèi)容，并明確規(guī)定該過程獎(jiǎng)勵(lì)僅在最終答案正確的前提下才會(huì)生效，從而保證搜索質(zhì)量成為達(dá)成正確答案的必要條件，但不足以單獨(dú)驅(qū)動(dòng)優(yōu)化目標(biāo)。

最后，推理生成模塊、軌跡判斷模塊和錯(cuò)誤定位模塊并非相互獨(dú)立，而是共享同一套參數(shù)，并在同一強(qiáng)化學(xué)習(xí)目標(biāo)下進(jìn)行聯(lián)合優(yōu)化，將是否觸發(fā)糾錯(cuò)以及在何處糾錯(cuò)都視為策略決策的一部分，使模型在訓(xùn)練完成后，即便不顯式觸發(fā)多次修復(fù)，其初始生成的推理軌跡質(zhì)量本身也能夠得到顯著提升。

一種更貼近失敗模式的學(xué)習(xí)思路

從強(qiáng)化學(xué)習(xí)的角度來看，這項(xiàng)研究解決的并不是單一模塊或訓(xùn)練技巧的問題，而是搜索推理中長期存在的信用分配難題。在長鏈搜索推理過程中，模型需要在多個(gè)時(shí)間尺度上連續(xù)做出決策，而傳統(tǒng)方法只能依據(jù)最終答案是否正確進(jìn)行回報(bào)分配，導(dǎo)致無法區(qū)分高質(zhì)量推理軌跡與依賴偶然性的成功軌跡。

研究團(tuán)隊(duì)通過引入軌跡篩選、錯(cuò)誤定位和受控糾錯(cuò)三種機(jī)制，將原本難以處理的信用分配問題拆解為可操作的學(xué)習(xí)目標(biāo)，并在理論分析中證明，只有當(dāng)模型能夠區(qū)分哪些軌跡值得保留、能夠定位導(dǎo)致推理偏離的關(guān)鍵錯(cuò)誤位置，并在訓(xùn)練過程中觸發(fā)數(shù)量適當(dāng)?shù)募m錯(cuò)操作時(shí)，整體性能才會(huì)穩(wěn)定提升。

這一結(jié)論并非經(jīng)驗(yàn)歸納，而是通過形式化分析給出的必要條件。在方法層面，該研究進(jìn)一步改變了以往反思與修正僅依賴人工提示的做法，將是否進(jìn)行反思以及在何處進(jìn)行修正納入策略空間，使其成為可以通過強(qiáng)化學(xué)習(xí)直接優(yōu)化的決策行為，從而避免了人工提示不可學(xué)習(xí)、效果不穩(wěn)定的問題。

與此同時(shí)，這個(gè)方法的設(shè)計(jì)直接針對(duì)真實(shí)智能體任務(wù)中常見的失敗模式，即搜索結(jié)果本身存在噪聲、推理過程依賴較長的決策鏈條，以及早期一次錯(cuò)誤可能對(duì)后續(xù)推理產(chǎn)生不可逆影響。

通過在推理過程中顯式建模錯(cuò)誤傳播并提供中途干預(yù)機(jī)制，該研究為搜索型智能體在復(fù)雜任務(wù)中的穩(wěn)定運(yùn)行提供了一種更具針對(duì)性的解決思路。

Search-R2 的研究者們

這篇論文的一作是何博威，目前在 MBZUAI 的機(jī)器學(xué)習(xí)系擔(dān)任博士后研究員，合作導(dǎo)師為劉學(xué)教授。在此之前，他是香港城市大學(xué)計(jì)算機(jī)科學(xué)系的博士研究生，師從馬辰教授，研究方向包括 Data Mining，Language Model，AI for Science（和清華/香港城市大學(xué)馬維英教授團(tuán)隊(duì)合作），和 Agentic AI。

他最近主要關(guān)注圍繞 AI Agent 的一系列前沿探索性課題，包括智能體強(qiáng)化學(xué)習(xí)，智能體記憶，長時(shí)程智能體，智能體終身演化，智能體世界模型，和智能體數(shù)據(jù) Scaling Laws 等。

參考鏈接：https://scholar.google.com/citations?user=1cH0A9cAAAAJ&hl=en&oi=ao

這篇文章的共同一作為 Minda Hu，目前是香港中文大學(xué)計(jì)算機(jī)科學(xué)與工程系的博士研究生，并在 MISC Lab 從事研究工作，導(dǎo)師為金國慶教授。

他的研究興趣主要包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語言處理，并關(guān)注機(jī)器學(xué)習(xí)、社會(huì)計(jì)算與自然語言處理等方向的交叉問題，當(dāng)前的研究重點(diǎn)在于探索如何更高效、有效地利用大語言模型，以提升模型在實(shí)際應(yīng)用場景中的推理能力與整體效能。

參考鏈接：https://misc-lab.cse.cuhk.edu.hk/sciencex_teams/minda-hu/

除此之外，該項(xiàng)工作得到了麥吉爾大學(xué)，香港城市大學(xué)，和愛丁堡大學(xué)等多位研究者的參與和貢獻(xiàn)。而該 paper 標(biāo)題 Search-R2 還得到了來自 UIUC 和 Google 的 Search-R1 作者團(tuán)隊(duì)的官方授權(quán)