本項目由清華大學(xué)人工智能學(xué)院李佳助理教授課題組完成，課題組主要研究方向是 AI Agent、智能化軟件工程等，其中，李樂暉為項目的主要貢獻者，主導(dǎo)了框架設(shè)計與核心開發(fā)；蔡立一參與了部分關(guān)鍵工作。項目已在 GitHub 開源。

AI 驅(qū)動的自動化科研正從概念走向真實系統(tǒng)。近期受到廣泛關(guān)注的 FARS，以及 Karpathy 開源的 autoresearch，都在不同程度上展示了 AI Scientist 自動進行 AI 領(lǐng)域研究的可行性。

但真正限制自動化 AI 科研規(guī)模擴展的，不僅僅是「能否提出一個新想法」，同時「能否把這個想法穩(wěn)定、高效、持續(xù)地跑起來」也同樣重要。在現(xiàn)有系統(tǒng)中，科學(xué)發(fā)現(xiàn)過程與工程實現(xiàn)仍然高度耦合：AI Scientist 在進行算法創(chuàng)新之外，還不得不處理數(shù)據(jù)預(yù)處理、訓(xùn)練流程、資源調(diào)度、并發(fā)執(zhí)行、評測協(xié)議等大量工程細節(jié)。結(jié)果是，寶貴的上下文窗口、推理預(yù)算與硬件資源，被浪費在非科研核心環(huán)節(jié)上，從而抑制了自動化科研真正應(yīng)有的規(guī)模與效率。

在這一背景下，清華大學(xué)人工智能學(xué)院團隊提出了Alchemy——一個面向自動化 AI 科研的標準化研究環(huán)境。它像一座為 AI Scientist 預(yù)先搭建好的「煉丹爐」，將復(fù)雜異構(gòu)的 AI 工程統(tǒng)一接口，使 AI Scientist 可以從工程負擔中抽身，專注于算法創(chuàng)新本身。

• 代碼開源：https://github.com/TsinghuaISE/Alchemy

研究背景與問題

隨著大語言模型在代碼生成、實驗組織與科研文獻理解等方面持續(xù)進步，LLM 驅(qū)動的自動化科研正在快速從概念驗證走向真實系統(tǒng)。尤其在 AI for AI 方向，AI-Researcher、FARS、autoresearch 等一系列工作已經(jīng)表明：AI Scientist 不僅能夠生成算法原型，還能夠結(jié)合實驗反饋進行初步的迭代優(yōu)化。

然而，前沿 AI 研究作為一項長周期、高度依賴資源的復(fù)雜科學(xué)活動，不僅依賴算法創(chuàng)新，還依賴數(shù)據(jù)處理、訓(xùn)練流程、評測協(xié)議、資源調(diào)度、并發(fā)執(zhí)行等工程環(huán)節(jié)，同樣決定了科研探索能否真正推進。這也帶來了當前自動化 AI 科研系統(tǒng)的一個核心矛盾：AI Scientist 已經(jīng)開始具備「提出方法」的能力，卻仍缺乏「高效開展大規(guī)模實驗」的基礎(chǔ)設(shè)施支撐。在現(xiàn)有系統(tǒng)中，工程實現(xiàn)與科學(xué)發(fā)現(xiàn)往往仍然緊密耦合，AI Scientist 不得不在生成算法之外，同時處理大量實驗細節(jié)。結(jié)果是，大量上下文預(yù)算、推理能力與計算資源被消耗在非核心科研環(huán)節(jié)中，限制了自動化科研的規(guī)模與效率。

如何釋放 AI Scientist 的科研能力？近期爆火的工作（如 autoresearch）嘗試優(yōu)化自動化科研系統(tǒng)的工程組件，但仍存在明顯局限：

• 領(lǐng)域受限：局限于特定領(lǐng)域與單一任務(wù)，難以持續(xù)集成多領(lǐng)域、跨任務(wù)的大規(guī)模自動化科研場景。
• 基礎(chǔ)設(shè)施薄弱：異構(gòu)算力調(diào)度、高并發(fā)控制等關(guān)鍵工程需求被普遍忽略，實驗規(guī)模的擴展受到嚴重制約。

針對以上挑戰(zhàn)，清華大學(xué)人工智能學(xué)院團隊提出了 Alchemy——一個面向自動化 AI 科研的標準化研究環(huán)境。Alchemy 預(yù)先搭建好科研實驗所需的全部工程基礎(chǔ)設(shè)施，AI Scientist 只需投入算法實現(xiàn)（一個.py文件）及其超參數(shù)（一個.yaml文件），即可驅(qū)動完整的科研實驗。同時，工程基礎(chǔ)設(shè)施與任務(wù)管線的分層設(shè)計，使其天然支持新領(lǐng)域、新任務(wù)的持續(xù)集成。下面具體介紹 Alchemy 的關(guān)鍵特性。

框架特性

Alchemy 的設(shè)計圍繞一個核心問題：如何讓 AI Scientist 完全擺脫工程負擔，專注于算法創(chuàng)新？為此，Alchemy 進行了以下針對性設(shè)計：

• 標準化實驗接口：Alchemy 為所有 AI 研究任務(wù)提供統(tǒng)一的實驗接口，屏蔽不同任務(wù)之間的工程差異，和任務(wù)內(nèi)如數(shù)據(jù)加載、評測、資源調(diào)度等工程細節(jié)。AI Scientist 只需提交算法實現(xiàn)（一個.py文件）和超參數(shù)配置（一個.yaml文件），即可運行完整實驗。
• 可持續(xù)擴展的任務(wù)體系：框架與任務(wù)解耦，新領(lǐng)域或新任務(wù)只需新增實驗管線即可接入。目前已覆蓋推薦系統(tǒng)、時間序列與圖學(xué)習(xí) 3 個領(lǐng)域，16 個任務(wù)。
• 異構(gòu)算力統(tǒng)一執(zhí)行：不同用戶的算力環(huán)境差異巨大，從單機 GPU 到多節(jié)點 HPC 集群不等。Alchemy 通過可插拔執(zhí)行器統(tǒng)一調(diào)度方式，使 AI Scientist 無需關(guān)心實驗具體運行在哪臺機器或哪張 GPU 上。
• 面向大規(guī)模實驗的并發(fā)控制：Alchemy 支持多任務(wù)、多算法、多超參數(shù)和多數(shù)據(jù)集的高并發(fā)實驗，并提供實時進度跟蹤與結(jié)果可視化。系統(tǒng)還可根據(jù)實驗反饋自動淘汰表現(xiàn)不佳的算法，將算力集中到更具潛力的探索方向。

開箱即用，自動研究

以多模態(tài)推薦任務(wù)為例，下面展示 Alchemy 的易用性與自動化科研能力。

用戶首先可以在名為domain_knowledge的 Markdown 文檔中，為 AI Scientist 提供任務(wù)相關(guān)的領(lǐng)域知識，提升其科學(xué)發(fā)現(xiàn)的能力。但是不用擔心，即使用戶沒有手動撰寫任何領(lǐng)域知識，Alchemy 依然可以正常運行。在大規(guī)模實驗推進過程中，AI Scientist 會結(jié)合實驗反饋，逐步歸納并沉淀出完成該任務(wù)所需的關(guān)鍵領(lǐng)域知識。

下面展示的，便是 Alchemy 在連續(xù)生成 100 個推薦算法之后自動總結(jié)出的領(lǐng)域知識。可以看到，這些總結(jié)并非停留在表層描述，而是已經(jīng)呈現(xiàn)出相當有價值的研究洞察。

除了領(lǐng)域知識之外，用戶還需要為 Alchemy 提供一個 Seed Baseline，作為 AI Scientist 進行科學(xué)假設(shè)生成與方法演化的起點。這個 Seed Baseline 可以是人類研究者提出的前沿算法。在本例中，我們選擇的是 AAAI 2025 的工作《Mind Individual Information! Principal Graph Learning for Multimedia Recommendation》（PGL）。為了進一步降低使用門檻，Alchemy 已經(jīng)為現(xiàn)有支持的所有任務(wù)預(yù)先配置了 Seed Baseline，并且每個任務(wù)至少提供 3 個可選 Seed Baseline，方便用戶開箱即用。

在此基礎(chǔ)上，AI Scientist 會圍繞當前算法不斷開展自動化科研循環(huán)：提出科學(xué)假設(shè)，生成新算法實現(xiàn)，并依據(jù)實驗反饋持續(xù)迭代優(yōu)化。

如下圖所示，AI Scientist 首先提出了這樣一個科研假設(shè)：在主圖傳播過程中引入模態(tài)感知的邊權(quán)重重加權(quán)機制，使交互圖中的消息傳播強度能夠根據(jù)物品間的模態(tài)相似性動態(tài)調(diào)整，從而在協(xié)同信號傳播過程中顯式融入模態(tài)語義信息。

隨后，AI Scientist 基于這一假設(shè)生成了算法實現(xiàn)。起初，這份代碼尚不能直接運行：由于對超參數(shù)加載的數(shù)據(jù)格式理解不準確，其生成的.yaml文件出現(xiàn)問題。Alchemy 則會將具體、可執(zhí)行的報錯信息反饋給 AI Scientist，使其進行多輪迭代，修正實現(xiàn)細節(jié)。系統(tǒng)最終生成了可正常運行的代碼實現(xiàn)。

接下來，在長達一天的持續(xù)實驗過程中，Alchemy 中的 AI Scientist 在完全無人類干預(yù)的條件下，依托實驗反饋不斷調(diào)整實現(xiàn)、修正設(shè)計并優(yōu)化性能。令人驚喜的是，最終得到的模型成功超越了初始的 Seed Baseline——PGL。

進一步分析可以發(fā)現(xiàn)，這一改進的關(guān)鍵在于：AI Scientist 為 PGL 引入了模態(tài)感知的用戶—物品邊重加權(quán)機制。其核心思想是，不改變 PGL 的訓(xùn)練機制，而是在推理時加上一個輕量的 Modality Aware Graph Adaption 機制，讓那些與用戶歷史偏好在模態(tài)空間中更一致的邊，將被賦予更強的傳播權(quán)重，從而更充分地放大模態(tài)語義信息與 User-Item 協(xié)同信息之間的關(guān)聯(lián)作用。