訓(xùn)練一個(gè)能像人類研究員一樣「搜索→瀏覽→推理」的深度研究智能體 (Deep Research Agent)，最大的瓶頸往往不是模型能力，而是高質(zhì)量長(zhǎng)程研究軌跡數(shù)據(jù)的嚴(yán)重匱乏?，F(xiàn)有的軌跡采集方案要么依賴昂貴且不穩(wěn)定的在線搜索 API，要么只能生成 2-5 輪的淺層交互，遠(yuǎn)不足以覆蓋真實(shí)深度研究中動(dòng)輒數(shù)十輪甚至上百輪的復(fù)雜推理需求。

針對(duì)這一痛點(diǎn)，來(lái)自Texas A&M University、University of Waterloo、UC San Diego 等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了OpenResearcher：一條完全開(kāi)源、可復(fù)現(xiàn)的離線深度研究軌跡合成流水線。這是首個(gè)能夠訓(xùn)練出在長(zhǎng)程研究任務(wù)上與專用系統(tǒng)相媲美模型的開(kāi)源流水線，合成的數(shù)據(jù)也已經(jīng)在 NVIDIA 的基座模型訓(xùn)練中被采用。該方法的核心思路是：通過(guò)一次性收集在線語(yǔ)料構(gòu)建包含 1500 萬(wàn)篇候選文檔的本地搜索引擎，隨后由教師模型在完全離線的環(huán)境中，憑借調(diào)用 search、open、find 三種工具合成了超過(guò)9.7 萬(wàn)條長(zhǎng)程研究軌跡，其中大量軌跡包含100 次以上的工具調(diào)用。

利用這些軌跡對(duì)一個(gè) 30B 參數(shù)的模型進(jìn)行監(jiān)督微調(diào)，即可在離線深度研究的基準(zhǔn)數(shù)據(jù)集 BrowseComp-Plus 上達(dá)到54.8%的準(zhǔn)確率，較基座模型實(shí)現(xiàn)34.0個(gè)百分點(diǎn)的絕對(duì)提升，并一舉超越 GPT-4.1（36.4%）、Claude-4-Opus（36.8%）等強(qiáng)大的閉源模型！對(duì)于在線深度研究的基準(zhǔn)數(shù)據(jù)集，該模型同樣全面超越現(xiàn)有開(kāi)源系統(tǒng)，且全部增益均來(lái)自離線合成數(shù)據(jù)，無(wú)需任何在線訓(xùn)練。

圖 1：BrowseComp-Plus 基準(zhǔn)數(shù)據(jù)集上的性能 - 參數(shù)量對(duì)比。OpenResearcher（30B）以 54.8% 的準(zhǔn)確率高居左上角，在性能 / 參數(shù)比維度上顯著領(lǐng)先 GPT-4.1、Claude-4-Opus、Gemini-2.5-Pro 等強(qiáng)大的閉源模型，同時(shí)超越通義 DeepResearch（44.5%）等專用深度研究系統(tǒng)。

• 論文鏈接：https://arxiv.org/abs/2603.20278
• 博客鏈接：https://boiled-honeycup-4c7.notion.site/OpenResearcher-A-Fully-Open-Pipeline-for-Long-Horizon-Deep-Research-Trajectory-Synthesis-2f7e290627b5800cb3a0cd7e8d6ec0ea
• 代碼鏈接：https://github.com/TIGER-AI-Lab/OpenResearcher
• 模型鏈接：https://huggingface.co/OpenResearcher/OpenResearcher-30B-A3B
• 數(shù)據(jù)集鏈接：https://huggingface.co/datasets/OpenResearcher/OpenResearcher-Dataset
• Demo鏈接：https://huggingface.co/spaces/OpenResearcher/OpenResearcher

深度研究軌跡的合成，難在哪？

隨著 DeepSeek-R1 等工作的推出，從大型推理模型中蒸餾長(zhǎng)程推理軌跡并用于后訓(xùn)練已成為主流范式，OpenThoughts、OpenMathReasoning 等項(xiàng)目相繼涌現(xiàn)。然而，當(dāng)訓(xùn)練目標(biāo)從「數(shù)學(xué)推理」拓展到「深度研究」—— 即智能體需要迭代搜索、聚合異構(gòu)證據(jù)、進(jìn)行多步推理 —— 高質(zhì)量軌跡的獲取就變得尤為棘手。

現(xiàn)有方案受制于三重瓶頸：

• 成本高昂：每一條失敗的搜索路徑都要消耗 API 調(diào)用配額，大規(guī)模合成意味著數(shù)萬(wàn)美元級(jí)別的開(kāi)支。
• 不可復(fù)現(xiàn)：互聯(lián)網(wǎng)上的內(nèi)容隨時(shí)在變化，同一查詢?cè)诓煌瑫r(shí)刻可能返回截然不同的結(jié)果，使得獲取的軌跡難以穩(wěn)定復(fù)現(xiàn)。
• 不可分析：在線搜索環(huán)境本質(zhì)上是黑盒，研究者無(wú)法精確追蹤「關(guān)鍵證據(jù)在哪一步被發(fā)現(xiàn)」、「搜索策略的偏差出在哪里」等等關(guān)鍵問(wèn)題，嚴(yán)重限制了對(duì)智能體行為的系統(tǒng)性研究。
• 
  

這促使團(tuán)隊(duì)提出一個(gè)核心問(wèn)題：能否將「搜索→瀏覽→推理」循環(huán)中昂貴的前兩步從在線環(huán)境搬到更可控的離線環(huán)境中，以零邊際成本、完全可復(fù)現(xiàn)的方式大規(guī)模合成高質(zhì)量深度研究軌跡？

OpenResearcher：離線深度研究軌跡合成流水線

OpenResearcher 的核心設(shè)計(jì)理念是將語(yǔ)料構(gòu)建與軌跡生成徹底解耦：先通過(guò)一次性在線收集含有研究信息的文檔構(gòu)建離線語(yǔ)料庫(kù)與搜索引擎，然后在完全離線的本地環(huán)境中規(guī)?；铣裳芯寇壽E。具體而言，流水線包含以下三個(gè)階段。

圖 2：OpenResearcher 總覽。整條流水線分三個(gè)階段推進(jìn)：(1) 從 MiroVerse 篩選約 6,000 個(gè)高難度 QA 問(wèn)題；(2) 一次性在線收集約 1 萬(wàn)篇含有研究信息的文檔 (gold documents)，并與 1,500 萬(wàn)篇 FineWeb 干擾文檔合并構(gòu)成帶 FAISS 索引的離線語(yǔ)料庫(kù)；(3) 教師模型 GPT-OSS-120B 在離線環(huán)境中通過(guò) search、open、find 三種瀏覽器原語(yǔ)生成超 9.7 萬(wàn)條長(zhǎng)程研究軌跡。

階段一：高難度問(wèn)題收集。深度研究軌跡的質(zhì)量起點(diǎn)是問(wèn)題的質(zhì)量。傳統(tǒng) QA 數(shù)據(jù)集如 2WikiMultiHopQA 和 NQ 的問(wèn)題通常只需 2-5 步檢索即可回答，遠(yuǎn)達(dá)不到深度研究所需的復(fù)雜度。研究團(tuán)隊(duì)選擇從 MiroVerse-v0.1 中隨機(jī)采樣 10%，得到約 6,000 個(gè)問(wèn)答對(duì)。這些問(wèn)題天然要求長(zhǎng)程多跳推理與異構(gòu)證據(jù)整合，實(shí)測(cè)中即便是很強(qiáng)大的教師模型也往往需要數(shù)十次工具調(diào)用才能作答，其中相當(dāng)一部分需要超過(guò) 100 次。

階段二：離線搜索引擎構(gòu)建。軌跡合成有一個(gè)硬性前提：目標(biāo)證據(jù)必須可檢索。否則，教師模型的合成失敗可能是搜索策略的問(wèn)題，也可能僅僅是語(yǔ)料中缺少相關(guān)文檔，而這種歧義會(huì)嚴(yán)重干擾下游分析。為消除這一歧義，團(tuán)隊(duì)采取了「答案引導(dǎo)的在線文檔收集」策略：對(duì)每個(gè)問(wèn)答對(duì)，將問(wèn)題與參考答案拼接構(gòu)造 query，經(jīng) Serper API 一次性檢索并清洗去重，獲得約 1 萬(wàn)篇含有研究信息的文檔 (gold documents)。隨后將 gold documents 與從 FineWeb 中采樣的約 1,500 萬(wàn)篇干擾文檔（約 10 萬(wàn)億 tokens）合并構(gòu)成離線語(yǔ)料庫(kù)，全部文檔使用 Qwen3-Embedding-8B 向量化，并通過(guò) FAISS 建立索引。這一設(shè)計(jì)的精妙之處在于：gold documents 保證了「答案確實(shí)存在于語(yǔ)料中」，海量干擾文檔則忠實(shí)模擬了真實(shí)網(wǎng)絡(luò)的噪聲與復(fù)雜度，使合成軌跡兼具可控性與真實(shí)感。

圖 3：OpenResearcher 使用的三種工具。以「哪些 MIT 研究者獲得了 INFORMS 獎(jiǎng)項(xiàng)」為例：智能體可先調(diào)用 Search 工具獲取搜索摘要列表（左欄），再調(diào)用 Open 工具拉取目標(biāo) URL 的文檔全文（中欄），最后調(diào)用 Find 工具在文檔內(nèi)精確定位關(guān)鍵字符串「MIT」（右欄，高亮顯示）。三種工具實(shí)現(xiàn)多尺度漸進(jìn)式信息發(fā)現(xiàn)。

階段三：瀏覽建模與軌跡合成。OpenResearcher 利用三種工具對(duì)智能體的在線瀏覽行為進(jìn)行抽象，完整建模了人類的研究行為模式：

• Search：向離線搜索引擎發(fā)出自然語(yǔ)言查詢，返回 top-K 結(jié)果（含標(biāo)題、URL、摘要片段），對(duì)應(yīng)人類「廣泛搜索、識(shí)別候選來(lái)源」的行為
• Open：根據(jù) URL 獲取文檔全文內(nèi)容，對(duì)應(yīng)人類「點(diǎn)開(kāi)網(wǎng)頁(yè)、通讀全文」的行為
• Find：在當(dāng)前已打開(kāi)的文檔中執(zhí)行精確字符串匹配，對(duì)應(yīng)人類「Ctrl+F 頁(yè)面內(nèi)查找」的行為，用于命名實(shí)體查找、事實(shí)核驗(yàn)和證據(jù)錨定

在此基礎(chǔ)上，研究團(tuán)隊(duì)以 GPT-OSS-120B 為教師模型，對(duì)每個(gè)問(wèn)題生成 16 條不同的軌跡以捕獲多樣化推理路徑。經(jīng)輕量過(guò)濾后，最終獲得超過(guò)9.7 萬(wàn)條軌跡，推理深度涵蓋了十余步到百余步。

30B 模型超越多個(gè)閉源大模型

訓(xùn)練設(shè)置：研究團(tuán)隊(duì)以 NVIDIA Nemotron-3-Nano-30B-A3B（混合 Mamba-Transformer MoE 架構(gòu)，激活參數(shù)僅 3.2B）為基座，篩選出約 5.5 萬(wàn)條答案正確的軌跡進(jìn)行監(jiān)督微調(diào)。訓(xùn)練在 8 張 NVIDIA H100 GPU 上完成，耗時(shí)約 8 小時(shí)，是中小團(tuán)隊(duì)也能具備的算力。

離線深度研究的評(píng)測(cè)：在離線深度研究的基準(zhǔn)數(shù)據(jù)集 BrowseComp-Plus 上，OpenResearcher-30B-A3B 取得54.8%的準(zhǔn)確率，大幅領(lǐng)先 GPT-4.1（36.4%）、Claude-4-Opus（36.8%）、Gemini-2.5-Pro（29.5%）、DeepSeek-R1（16.4%）及通義 DeepResearch（44.5%）。較基座模型絕對(duì)提升 34.0 個(gè)百分點(diǎn)！僅憑離線合成軌跡的監(jiān)督微調(diào)，無(wú)需強(qiáng)化學(xué)習(xí)或在線交互，即可在深度研究任務(wù)上釋放顯著的性能增益。

在線深度研究的評(píng)測(cè)：在三個(gè)依賴在線搜索 API 的基準(zhǔn)數(shù)據(jù)集上，OpenResearcher 同樣亮眼：BrowseComp 26.3%，GAIA 64.1%，xbench-DeepSearch 65.0%，全面超越 ASearcher-QwQ-32B 和 WebDancer-QwQ-32B 等開(kāi)源系統(tǒng)。更關(guān)鍵的是，所有這些增益完全來(lái)自離線環(huán)境合成的軌跡！模型從未在在線深度研究數(shù)據(jù)上訓(xùn)練過(guò)，卻能有效遷移到真實(shí)、動(dòng)態(tài)的搜索環(huán)境。

圖 4：深度研究基準(zhǔn)測(cè)試性能對(duì)比。左表（離線，BrowseComp-Plus）：OpenResearcher 以 54.8% 位居榜首，大幅超過(guò) GPT-4.1（36.4%）和通義 DeepResearch（44.5%），較基座模型絕對(duì)提升 34.0 個(gè)百分點(diǎn)。右表（在線，BrowseComp / GAIA /xbench-DeepSearch）：OpenResearcher 取得 26.3% / 64.1% / 65.0%，全面超越同量級(jí)開(kāi)源系統(tǒng)。

搭建 OpenResearcher 的過(guò)程能教會(huì)我們什么？

失敗不在步數(shù)，在策略：失敗軌跡的平均工具調(diào)用次數(shù)（71.7 次）幾乎是成功軌跡（38.4 次）的兩倍，且額外調(diào)用主要集中在 search 操作上。失敗并非源于「探索不充分」，而是陷入了反復(fù)重新構(gòu)造查詢卻始終無(wú)法收斂的困境。查詢構(gòu)造能力和搜索策略的質(zhì)量，才是決定深度研究成敗的關(guān)鍵。

圖 5：工具調(diào)用次數(shù)分布與正確 / 錯(cuò)誤軌跡對(duì)比。左圖（成功）：調(diào)用次數(shù)集中在 10-40 次，均值 38.4，中位數(shù) 24.0。中圖（失?。撼孰p峰形態(tài)，均值 71.7，中位數(shù) 79.0，反映反復(fù)無(wú)效的搜索。右圖：失敗軌跡的 search 調(diào)用均值（48.7）遠(yuǎn)超成功軌跡（22.1），而 find 使用頻率兩組相近，說(shuō)明癥結(jié)在搜索策略而非文檔內(nèi)定位。

「答案正確性」并非唯一有價(jià)值的訓(xùn)練信號(hào)：僅用正確軌跡訓(xùn)練的模型得到 54.81% 的準(zhǔn)確率，僅用錯(cuò)誤軌跡訓(xùn)練得到 55.06%，混合全量軌跡得到 54.46%。三者差異不超過(guò) 0.6 個(gè)百分點(diǎn)。由此可知，軌跡中蘊(yùn)含的搜索結(jié)構(gòu)、工具調(diào)用模式、證據(jù)檢查策略等過(guò)程性信號(hào)的價(jià)值并不遜色于最終答案的正確性。研究者無(wú)需過(guò)于激進(jìn)地過(guò)濾訓(xùn)練數(shù)據(jù)。另一方面，移除 gold document 的收集過(guò)程后，下游準(zhǔn)確率從 54.81% 驟降至 6.35%。所以，一次性在線收集是整條離線合成流水線得以運(yùn)轉(zhuǎn)的關(guān)鍵步驟。

圖 6：左表：僅用正確（54.81%）/ 錯(cuò)誤（55.06%）/ 全部軌跡（54.46%）訓(xùn)練，在 BrowseComp-Plus 上的準(zhǔn)確率相差不超過(guò) 0.6 個(gè)百分點(diǎn)，說(shuō)明過(guò)程性信號(hào)價(jià)值不亞于答案正確性。右表：移除 gold documents 的收集過(guò)程后下游準(zhǔn)確率從 54.81% 降至 6.35%，證明一次性在線文章收集這一步不可或缺。

智能體的最大可探索輪數(shù)預(yù)算在 100 輪后邊際收益遞減：準(zhǔn)確率和檢索 gold documents 的命中率隨最大可探索輪數(shù)預(yù)算增加穩(wěn)步上升，但在 100 輪附近開(kāi)始趨于平緩。這說(shuō)明長(zhǎng)程探索確實(shí)有益，但在智能體獲得充分的檢索和定位機(jī)會(huì)之后，單純延長(zhǎng)推理鏈的邊際收益明顯遞減。

圖 7：準(zhǔn)確率（藍(lán)線）和檢索 gold documents 的命中率（橙線）隨最大可探索輪數(shù)預(yù)算增加持續(xù)上升，但在約 100 輪后趨于飽和（準(zhǔn)確率～58.3%，命中率～49.3%），表明長(zhǎng)程探索有益但存在邊際遞減效應(yīng)。

三種瀏覽器工具缺一不可：消融實(shí)驗(yàn)清楚地展示了三種工具的遞進(jìn)價(jià)值。智能體在僅能調(diào)用 search 時(shí)準(zhǔn)確率為 43.86%，加入 open 后升至 56.39%，再引入 find 進(jìn)一步達(dá)到62.17%，同時(shí)工具調(diào)用總次數(shù)和 token 消耗均下降。這表明，文檔級(jí)訪問(wèn)是深度研究的「剛需」，頁(yè)面內(nèi)證據(jù)定位則在提升精度的同時(shí)降低了冗余瀏覽。

圖 8：左表：準(zhǔn)確率從僅能調(diào)用 search（43.86%）→ 可以調(diào)用 open（56.39%）→ 還可以調(diào)用 find（62.17%）穩(wěn)步提升，同時(shí)工具調(diào)用次數(shù)和 token 消耗持續(xù)下降。右表：P (correct|open-hit) = 86.72% 遠(yuǎn)高于 P (correct|search-hit) = 61.84%，表明「搜到」與「看到」對(duì)于準(zhǔn)確率的幫助是有很大差異的。

檢索時(shí)機(jī)與最終準(zhǔn)確率的關(guān)系：只要智能體打開(kāi)過(guò)至少一篇 gold document，無(wú)論這一命中發(fā)生在第幾輪，最終準(zhǔn)確率都能穩(wěn)定維持在 85% 以上；從未打開(kāi)過(guò) gold document 的軌跡準(zhǔn)確率則僅有 7.9%。因此「看到」與研究相關(guān)的證據(jù)通常是正確回答的必要條件，但并非充分條件。

圖 9：首次打開(kāi) gold document 的時(shí)機(jī)與最終準(zhǔn)確率的關(guān)系。只要打開(kāi)過(guò)至少一篇 gold document，準(zhǔn)確率均穩(wěn)定在 85% 以上；完全未命中的 303 條軌跡準(zhǔn)確率則僅有 7.9%。

成本：從數(shù)萬(wàn)美元到零

合成這 9.7 萬(wàn)條軌跡共涉及約 576 萬(wàn)次搜索請(qǐng)求。若使用在線的 Serper API，花費(fèi)約 $5,760；若改用 SerpAPI 則高達(dá) $28,800。而 OpenResearcher 的離線檢索器將這一成本降至$0。離線方案還額外提供：無(wú)速率限制（支持大規(guī)模并行合成）、完全確定性（確保長(zhǎng)程研究軌跡完美可復(fù)現(xiàn)）、零外部依賴（便于開(kāi)放共享與社區(qū)復(fù)現(xiàn)）。

總結(jié)與展望

OpenResearcher 為深度研究智能體的訓(xùn)練數(shù)據(jù)問(wèn)題提供了一條務(wù)實(shí)且高效的解決路徑：與其在昂貴、不穩(wěn)定的在線環(huán)境中反復(fù)試錯(cuò)，不如將「搜索→瀏覽→推理」循環(huán)中昂貴的前兩步從在線環(huán)境搬到更可控的離線環(huán)境中，以可復(fù)現(xiàn)、零邊際成本的方式大規(guī)模合成訓(xùn)練軌跡。在方法層面，三種工具對(duì)智能體的在線瀏覽行為的抽象（search + open + find）忠實(shí)模擬了人類的研究行為，使合成軌跡不僅包含搜索查詢，還包含文檔閱讀和證據(jù)定位的完整行為鏈。在實(shí)證層面，一個(gè)僅有 30B 參數(shù)（3.2B 激活）的模型通過(guò)監(jiān)督微調(diào)即可在多個(gè)基準(zhǔn)上超越參數(shù)量數(shù)倍于己的閉源模型，且全部增益來(lái)自離線合成數(shù)據(jù)。更具長(zhǎng)遠(yuǎn)價(jià)值的是，離線環(huán)境的完全可控性為系統(tǒng)性地分析深度研究流水線各設(shè)計(jì)維度 (例如數(shù)據(jù)過(guò)濾策略、語(yǔ)料覆蓋、智能體配置、工具空間設(shè)計(jì)、檢索與推理的交互關(guān)系等）提供了實(shí)驗(yàn)平臺(tái)，為這一領(lǐng)域的未來(lái)優(yōu)化指明了方向。

本文主要作者為：德州農(nóng)工大學(xué)博士生李卓風(fēng)，滑鐵盧大學(xué)博士生姜東甫，德州農(nóng)工大學(xué)助理教授張彧，以及滑鐵盧大學(xué)助理教授陳文虎。