人類擁有卓越的穩(wěn)定性和靈活性，即使面對(duì)突如其來的變化，也能迅速制定新的計(jì)劃并調(diào)整目標(biāo)。然而，廣泛應(yīng)用于機(jī)器人領(lǐng)域的“無模型強(qiáng)化學(xué)習(xí)”（AlphaGo 與李世石的著名對(duì)決便是其例證）卻難以同時(shí)具備這兩種能力。

韓國科學(xué)技術(shù)院 (KAIST) 的研究團(tuán)隊(duì)發(fā)現(xiàn)，秘密在于前額葉皮層內(nèi)獨(dú)特的信息處理方法，這一原理可以作為開發(fā)既靈活又穩(wěn)定的類腦人工智能的基礎(chǔ)。

由腦與認(rèn)知科學(xué)系李相萬教授領(lǐng)導(dǎo)的研究團(tuán)隊(duì)與 IBM 人工智能研究院合作，破譯了人類大腦如何在不確定情況下管理目標(biāo)變化，為下一代強(qiáng)化學(xué)習(xí)指明了新的方向。

前額葉的秘密

研究團(tuán)隊(duì)指出當(dāng)前強(qiáng)化學(xué)習(xí)模型的一個(gè)關(guān)鍵局限性：它們無法在目標(biāo)追求的靈活性和不確定環(huán)境下的穩(wěn)定性之間取得平衡。然而，人類卻能同時(shí)做到這兩點(diǎn)。該團(tuán)隊(duì)假設(shè)，這種差異源于前額葉皮層對(duì)信息的表征方式。

研究團(tuán)隊(duì)利用功能磁共振成像（fMRI）實(shí)驗(yàn)、強(qiáng)化學(xué)習(xí)模型和先進(jìn)的人工智能分析，揭示了人類前額葉皮層具有獨(dú)特的嵌入結(jié)構(gòu)，能夠將目標(biāo)信息和不確定性信息分別表征，從而避免相互干擾。那些這兩個(gè)信息通道分離度更高的人，能夠在目標(biāo)發(fā)生變化時(shí)調(diào)整策略，同時(shí)在環(huán)境不確定性下保持穩(wěn)定的判斷。

兩個(gè)通道，兩個(gè)功能

研究團(tuán)隊(duì)將這種機(jī)制比作通信技術(shù)中的多路復(fù)用，即同時(shí)傳輸多個(gè)信號(hào)而不會(huì)相互干擾。

人類前額葉皮層通過兩個(gè)通道運(yùn)作：一個(gè)通道能夠靈敏地跟蹤目標(biāo)變化，以確保決策的靈活性；另一個(gè)通道能夠隔離環(huán)境的不確定性，以保持判斷的穩(wěn)定性。

有趣的是，前額葉皮層不僅僅是執(zhí)行由第一通道引導(dǎo)的控制；它還利用第二通道根據(jù)情況選擇使用哪種學(xué)習(xí)策略。

這表明大腦具有元學(xué)習(xí)能力，也就是說，它不僅學(xué)習(xí)學(xué)習(xí)什么，還學(xué)習(xí)如何學(xué)習(xí)——通過選擇合適的學(xué)習(xí)策略。這就是為什么人類能夠在不斷變化的環(huán)境中保持適應(yīng)能力的原因。

這項(xiàng)研究的意義涵蓋多個(gè)領(lǐng)域，包括個(gè)體強(qiáng)化學(xué)習(xí)和元學(xué)習(xí)能力的分析、個(gè)性化教育設(shè)計(jì)、認(rèn)知診斷以及人機(jī)交互（HCI）。此外，將類腦表征結(jié)構(gòu)嵌入人工智能，有望實(shí)現(xiàn)類腦思維的人工智能，使其更好地理解人類的意圖和價(jià)值觀，減少危險(xiǎn)判斷，并促進(jìn)與人類更安全的合作。

首席研究員李相完教授強(qiáng)調(diào)了研究結(jié)果的重要性：“這項(xiàng)研究從人工智能的角度闡明了大腦的基本運(yùn)行原則——從靈活地適應(yīng)不斷變化的目標(biāo)到穩(wěn)定地制定計(jì)劃。這些原則將成為下一代人工智能的核心基礎(chǔ)，使其能夠像人類一樣適應(yīng)環(huán)境，并更安全、更智能地學(xué)習(xí)?！?/p>

新聞來源：Medical Press

論文參考：DOI: 10.1038/s41467-025-66677-w