導(dǎo)語(yǔ)

從有限數(shù)據(jù)中推導(dǎo)最優(yōu)解是科學(xué)發(fā)現(xiàn)的終極目標(biāo)，人工智能為加速這一過(guò)程提供了有效途徑。現(xiàn)有方法受數(shù)據(jù)集規(guī)模、目標(biāo)函數(shù)假設(shè)及傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)所限，僅適用于低維或數(shù)據(jù)充足的問(wèn)題。本文提出一款優(yōu)化框架，可高效解決有限數(shù)據(jù)下的復(fù)雜高維優(yōu)化問(wèn)題：該方法利用深度神經(jīng)網(wǎng)絡(luò)作為代理模型，迭代地搜索最優(yōu)解，并引入多種機(jī)制以避免陷入局部最優(yōu)，從而顯著降低所需樣本量。實(shí)驗(yàn)結(jié)果表明，該方法可在高達(dá) 2000 維的問(wèn)題中穩(wěn)定找到優(yōu)于現(xiàn)有方法的解，而傳統(tǒng)方法通常受限于約 100 維且需要更多數(shù)據(jù)。該框架在多種真實(shí)系統(tǒng)中均表現(xiàn)出色，性能超越現(xiàn)有算法，不僅推動(dòng)了高效的知識(shí)發(fā)現(xiàn)，也為構(gòu)建新一代自驅(qū)動(dòng)實(shí)驗(yàn)室提供了方法基礎(chǔ)。

關(guān)鍵詞：DANTE、深度主動(dòng)優(yōu)化（Deep active optimization）、高維優(yōu)化（High-dimensional optimization）、黑箱優(yōu)化（Black-box optimization）、主動(dòng)學(xué)習(xí)（Active learning）、深度神經(jīng)網(wǎng)絡(luò)（Deep neural networks）

鄭鴻盛丨作者

趙思怡丨審校

論文題目：Deep active optimization for complex systems 論文鏈接：https://www.nature.com/articles/s43588-025-00858-x 發(fā)表時(shí)間：2025年8月25日 論文來(lái)源：nature computational science

為什么高維、有限數(shù)據(jù)的優(yōu)化問(wèn)題如此困難？

從有限數(shù)據(jù)中推導(dǎo)最優(yōu)解，是科學(xué)發(fā)現(xiàn)與工程設(shè)計(jì)中的核心目標(biāo)。在材料科學(xué)、生命科學(xué)和復(fù)雜工程系統(tǒng)中，研究者往往需要在極高維參數(shù)空間中尋找最優(yōu)方案，而每一次性能評(píng)估都依賴昂貴實(shí)驗(yàn)或高精度仿真。人工智能因此被寄予厚望，期望通過(guò)更智能的試驗(yàn)選擇策略顯著降低試錯(cuò)成本，加速科學(xué)發(fā)現(xiàn)進(jìn)程。

然而，現(xiàn)有優(yōu)化方法在高維、數(shù)據(jù)稀缺場(chǎng)景下普遍受限。多數(shù)經(jīng)典算法依賴大規(guī)模數(shù)據(jù)或?qū)δ繕?biāo)函數(shù)作出較強(qiáng)的連續(xù)性與平滑性假設(shè)，在真實(shí)復(fù)雜系統(tǒng)中難以成立。貝葉斯優(yōu)化（Bayesian Optimization, BO）雖適用于黑箱問(wèn)題，但其有效性通常局限于低維空間；基于蒙特卡洛樹(shù)搜索（MCTS）或強(qiáng)化學(xué)習(xí)（Reinforcement Learning, RL）的方法則依賴?yán)鄯e獎(jiǎng)勵(lì)結(jié)構(gòu)和大量交互數(shù)據(jù)，難以處理非累積目標(biāo)和高成本評(píng)估問(wèn)題。與此同時(shí)，傳統(tǒng)代理模型在高維非線性條件下要么依賴強(qiáng)先驗(yàn)、要么易發(fā)生過(guò)擬合，進(jìn)一步制約了優(yōu)化性能。

一種面向有限數(shù)據(jù)的高維優(yōu)化新框架：

DANTE

針對(duì)有限數(shù)據(jù)、非累積目標(biāo)條件下的高維復(fù)雜優(yōu)化問(wèn)題，研究提出了“深度主動(dòng)優(yōu)化結(jié)合神經(jīng)代理引導(dǎo)樹(shù)探索（DANTE）”算法。該方法并非試圖精確重建目標(biāo)函數(shù)，而是以“如何更高效地分配有限試錯(cuò)資源”為核心出發(fā)點(diǎn)，構(gòu)建了一套數(shù)據(jù)驅(qū)動(dòng)的閉環(huán)優(yōu)化框架。

整體流程以深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network, DNN）作為代理模型，學(xué)習(xí)輸入?yún)?shù)與目標(biāo)性能之間的復(fù)雜映射關(guān)系；在此基礎(chǔ)上，通過(guò)神經(jīng)代理引導(dǎo)樹(shù)探索（Neural-surrogate-guided Tree Exploration, NTE）策略，對(duì)高維搜索空間進(jìn)行結(jié)構(gòu)化探索；利用數(shù)據(jù)驅(qū)動(dòng)的上置信界（Data-driven Upper Confidence Bound, DUCB）機(jī)制平衡探索與利用；最終將篩選出的高價(jià)值候選樣本送入真實(shí)驗(yàn)證源（如實(shí)驗(yàn)、第一性原理計(jì)算或高精度仿真）進(jìn)行評(píng)估，并將新獲得的標(biāo)注數(shù)據(jù)反饋至數(shù)據(jù)庫(kù)，更新代理模型，形成持續(xù)迭代的優(yōu)化循環(huán)。

圖1 整體框架示意，該圖展示了DANTE的閉環(huán)優(yōu)化流程：數(shù)據(jù)庫(kù)中的初始樣本用于訓(xùn)練深度代理模型；代理模型引導(dǎo)樹(shù)搜索模塊在參數(shù)空間中生成候選解；真實(shí)驗(yàn)證源對(duì)候選解進(jìn)行評(píng)估；新數(shù)據(jù)回流至數(shù)據(jù)庫(kù)并更新模型。該流程強(qiáng)調(diào)“模型—搜索—驗(yàn)證”的協(xié)同演化，是典型的主動(dòng)優(yōu)化（Active Optimization）框架。

值得注意的是，DANTE在方法設(shè)計(jì)上突破了現(xiàn)有優(yōu)化算法的維度限制。實(shí)驗(yàn)結(jié)果表明，該算法能夠穩(wěn)定處理高達(dá) 2000 維的優(yōu)化問(wèn)題，而多數(shù)主流方法的有效維度通常受限于 100 維左右。同時(shí)，DANTE在樣本利用效率上具有顯著優(yōu)勢(shì)，能夠在有限數(shù)據(jù)條件下持續(xù)逼近甚至達(dá)到全局最優(yōu)解。

DANTE 如何在高維空間中避免“走錯(cuò)路”？

DANTE的方法創(chuàng)新集中體現(xiàn)在神經(jīng)代理引導(dǎo)樹(shù)探索（NTE）模塊及其配套機(jī)制上，這些設(shè)計(jì)均針對(duì)高維、有限數(shù)據(jù)場(chǎng)景下的核心難題進(jìn)行優(yōu)化。首先，算法引入條件選擇機(jī)制與局部反向傳播機(jī)制，以解決傳統(tǒng)樹(shù)搜索中常見(jiàn)的“價(jià)值衰減問(wèn)題”和局部最優(yōu)陷阱。條件選擇通過(guò)比較根節(jié)點(diǎn)與子節(jié)點(diǎn)的潛在價(jià)值，避免搜索過(guò)程在低價(jià)值區(qū)域盲目擴(kuò)展；局部反向傳播則僅在有限范圍內(nèi)更新訪問(wèn)信息，減弱早期錯(cuò)誤判斷對(duì)后續(xù)搜索路徑的長(zhǎng)期約束。

其次，研究將傳統(tǒng)上置信界（UCB）推廣為數(shù)據(jù)驅(qū)動(dòng)的 DUCB，將深度神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)價(jià)值預(yù)測(cè)直接納入置信界計(jì)算中。這一改進(jìn)有效避免了高維場(chǎng)景下 UCB 因訪問(wèn)次數(shù)為零而產(chǎn)生的無(wú)窮值問(wèn)題，同時(shí)顯著降低了對(duì)大量隨機(jī)模擬的依賴，從而減少計(jì)算成本。進(jìn)一步地，算法引入自適應(yīng)探索機(jī)制，在發(fā)現(xiàn)高價(jià)值數(shù)據(jù)點(diǎn)時(shí)主動(dòng)增強(qiáng)探索強(qiáng)度，實(shí)現(xiàn)探索與利用之間的動(dòng)態(tài)平衡。

此外，DANTE還提出了頂級(jí)訪問(wèn)采樣策略，在候選樣本選擇階段綜合考慮模型預(yù)測(cè)性能與節(jié)點(diǎn)訪問(wèn)頻率，從而提升代理模型在后續(xù)迭代中的泛化能力。在代理模型選擇上，深度神經(jīng)網(wǎng)絡(luò)被證明是DANTE成功的關(guān)鍵因素之一。相比高斯過(guò)程、決策樹(shù)等傳統(tǒng)模型，DNN 更擅長(zhǎng)擬合高維非線性分布，能夠捕捉復(fù)雜系統(tǒng)中的隱含結(jié)構(gòu)關(guān)系。

圖2 神經(jīng)代理引導(dǎo)樹(shù)探索（NTE）機(jī)制示意。深度神經(jīng)網(wǎng)絡(luò)為搜索節(jié)點(diǎn)提供潛在價(jià)值評(píng)估，數(shù)據(jù)驅(qū)動(dòng)的上置信界（DUCB）據(jù)此調(diào)控搜索方向。通過(guò)條件選擇與局部反向傳播機(jī)制的協(xié)同作用，算法能夠避免在高維空間中陷入局部最優(yōu)，并逐步向全局最優(yōu)解推進(jìn)。

從方法論角度看，DANTE與 BO、MCTS、RL 形成了明確區(qū)分：其無(wú)需訓(xùn)練策略網(wǎng)絡(luò)，不依賴?yán)鄯e獎(jiǎng)勵(lì)結(jié)構(gòu)，且在高維、大初始數(shù)據(jù)集條件下表現(xiàn)出更優(yōu)的收斂特性。

從數(shù)學(xué)基準(zhǔn)到真實(shí)系統(tǒng)：

DANTE 的效果如何？

為系統(tǒng)評(píng)估DANTE的性能，研究從合成函數(shù)基準(zhǔn)測(cè)試和真實(shí)世界任務(wù)兩個(gè)層面展開(kāi)了大規(guī)模實(shí)驗(yàn)，對(duì)比對(duì)象涵蓋 11 類主流的啟發(fā)式、貝葉斯及樹(shù)基優(yōu)化算法。在合成測(cè)試中，研究選取了 20 至 2000 維范圍內(nèi)的 6 類經(jīng)典非線性非凸函數(shù)（包括 Ackley、Rastrigin、Rosenbrock 等）作為驗(yàn)證基準(zhǔn)。結(jié)果顯示，DANTE在 80%–100% 的測(cè)試案例中，以極少樣本成功達(dá)到全局最優(yōu)，而多數(shù)對(duì)比算法在樣本受限條件下無(wú)法收斂至全局最優(yōu)。

在無(wú)噪聲、數(shù)據(jù)易獲取的真實(shí)任務(wù)中，DANTE被應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索、復(fù)雜合金性能優(yōu)化、月球著陸最優(yōu)控制以及透射電子顯微鏡（TEM）圖像分辨率優(yōu)化等跨學(xué)科問(wèn)題。實(shí)驗(yàn)結(jié)果表明，DANTE在關(guān)鍵性能指標(biāo)上普遍優(yōu)于現(xiàn)有方法 10%–20%，在部分場(chǎng)景中（如 TEM 參數(shù)優(yōu)化）甚至超越了人類專家的經(jīng)驗(yàn)選擇。在與強(qiáng)化學(xué)習(xí)算法（如 PPO）的對(duì)比中，DANTE在初始階段表現(xiàn)出明顯優(yōu)勢(shì)，體現(xiàn)了其對(duì)有限數(shù)據(jù)場(chǎng)景的適配能力。

圖3 基準(zhǔn)測(cè)試與真實(shí)任務(wù)結(jié)果，該圖系統(tǒng)展示了DANTE在高維合成函數(shù)和真實(shí)科學(xué)任務(wù)中的收斂行為。相比其他方法，DANTE在更少樣本下更快逼近最優(yōu)解，驗(yàn)證了其在數(shù)據(jù)效率與高維適應(yīng)性方面的優(yōu)勢(shì)。

在高成本、高維、帶噪聲的復(fù)雜真實(shí)任務(wù)中，如結(jié)構(gòu)材料設(shè)計(jì)、環(huán)肽結(jié)合體設(shè)計(jì)以及高維合金輸運(yùn)性能優(yōu)化，DANTE在樣本數(shù)量更少的前提下，實(shí)現(xiàn)了 9%–33% 的性能提升，進(jìn)一步證明了其方法的通用性與穩(wěn)健性。

從算法到范式：高維優(yōu)化的新可能

通過(guò)系統(tǒng)的理論設(shè)計(jì)與多維度實(shí)驗(yàn)驗(yàn)證，研究表明，深度學(xué)習(xí)與樹(shù)搜索機(jī)制的有機(jī)結(jié)合能夠有效應(yīng)對(duì)有限數(shù)據(jù)、高維非線性優(yōu)化問(wèn)題。DANTE的核心優(yōu)勢(shì)在于其對(duì)高維場(chǎng)景的高度適配性，以及在樣本受限條件下穩(wěn)定收斂的能力，使其成為解決復(fù)雜系統(tǒng)優(yōu)化問(wèn)題的一種高效工具。

研究同時(shí)指出，當(dāng)前DANTE的性能瓶頸主要受限于代理模型的表達(dá)能力和計(jì)算機(jī)內(nèi)存資源，而非算法框架本身。未來(lái)，隨著更先進(jìn)代理模型的引入以及計(jì)算資源的提升，DANTE有望進(jìn)一步突破 2000 維以上的優(yōu)化限制。在應(yīng)用層面，該方法不僅適用于材料科學(xué)、物理和計(jì)算機(jī)科學(xué)等基礎(chǔ)研究領(lǐng)域，也可擴(kuò)展至金融優(yōu)化等多種量化場(chǎng)景。尤其是在與機(jī)器人系統(tǒng)和自動(dòng)化實(shí)驗(yàn)平臺(tái)相結(jié)合后，DANTE有潛力推動(dòng)自主化實(shí)驗(yàn)室的發(fā)展，加速材料發(fā)現(xiàn)與藥物研發(fā)等科學(xué)過(guò)程的智能化進(jìn)程，成為跨學(xué)科高維非線性優(yōu)化的重要通用方法。

計(jì)算神經(jīng)科學(xué)第三季讀書(shū)會(huì)

從單個(gè)神經(jīng)元的放電到全腦范圍的意識(shí)涌現(xiàn)，理解智能的本質(zhì)與演化始終是一個(gè)關(guān)于尺度的問(wèn)題。更值得深思的是，無(wú)論是微觀的突觸可塑性、介觀的皮層模塊自組織，還是宏觀的全局信息廣播，不同尺度的動(dòng)力學(xué)過(guò)程都在共同塑造著認(rèn)知與意識(shí)。這說(shuō)明，對(duì)心智的研究從最初就必須直面一個(gè)核心挑戰(zhàn)：局部的神經(jīng)活動(dòng)如何整合為統(tǒng)一的體驗(yàn)？局域的網(wǎng)絡(luò)連接又如何支撐靈活的智能行為？

繼「」與「」讀書(shū)會(huì)后，集智俱樂(lè)部聯(lián)合來(lái)自數(shù)學(xué)、物理學(xué)、生物學(xué)、神經(jīng)科學(xué)和計(jì)算機(jī)的一線研究者共同發(fā)起，跨越微觀、介觀與宏觀的視角，探索意識(shí)與智能的跨尺度計(jì)算、演化與涌現(xiàn)。重點(diǎn)探討物理規(guī)律與人工智能如何幫助我們認(rèn)識(shí)神經(jīng)動(dòng)力學(xué)，以及神經(jīng)活動(dòng)跨尺度的計(jì)算與演化如何構(gòu)建微觀與宏觀、結(jié)構(gòu)與功能之間的橋梁。

詳情請(qǐng)見(jiàn)：

1.

2.

3.

4.

5.

6.

7.