Adaptive Few-Shot Class-Incremental Learningvia Latent Variable Models

通過(guò)潛在變量模型實(shí)現(xiàn)自適應(yīng)少樣本類別增量學(xué)習(xí)

https://www.jair.org/index.php/jair/article/view/17006/27160

摘要：

類增量學(xué)習(xí)方法旨在有效學(xué)習(xí)持續(xù)到來(lái)的新類別。當(dāng)每類訓(xùn)練數(shù)據(jù)稀缺時(shí)（常見于諸多開放世界機(jī)器學(xué)習(xí)應(yīng)用），問(wèn)題難度進(jìn)一步加劇。該范式被稱為小樣本類增量學(xué)習(xí)（FSCIL），要求學(xué)習(xí)器既能按序增量學(xué)習(xí)新類別，又能保留關(guān)于舊類別（即已學(xué)類別）的既有知識(shí)。本文提出一種小樣本類增量學(xué)習(xí)器，其基于潛在變量模型，自適應(yīng)調(diào)整新小樣本類別的表征以及相關(guān)舊知識(shí)。所提出的潛在變量模型是一種變分自編碼器（VAE）形式，專為應(yīng)對(duì)FSCIL核心挑戰(zhàn)——災(zāi)難性遺忘與潛在偏差——而設(shè)計(jì)。在新類別小樣本學(xué)習(xí)階段，該模型借助其攤銷（amortization）特性與高保真能力，不僅調(diào)整當(dāng)前新類別，還同步調(diào)整相關(guān)歷史類別，從而持續(xù)緩解災(zāi)難性遺忘、偏差與過(guò)擬合的影響。我們還推導(dǎo)了對(duì)未來(lái)類別的誤差泛化上界。在多個(gè)主流FSCIL基準(zhǔn)數(shù)據(jù)集以及一個(gè)由真實(shí)醫(yī)學(xué)影像構(gòu)成的醫(yī)學(xué)基準(zhǔn)（MedMNIST）上的實(shí)驗(yàn)表明，所提模型在平均總體/最終分類準(zhǔn)確率及緩解災(zāi)難性遺忘方面均取得更優(yōu)性能。

1. 引言增量學(xué)習(xí)（IL），亦稱持續(xù)學(xué)習(xí)或終身學(xué)習(xí)，指一種機(jī)器學(xué)習(xí)范式：模型需積累并可能復(fù)用以往任務(wù)所獲知識(shí)（Ring, 1995；Srivastava 等, 2013；Schwarz 等, 2018；Hu 等, 2019；Adel 等, 2020；Wang 等, 2023a；Zhu 等, 2023a）。這對(duì)深度模型尤其具有挑戰(zhàn)性——因其理想設(shè)定依賴于訓(xùn)練前即可獲取大規(guī)模數(shù)據(jù)。相較于新數(shù)據(jù)到來(lái)時(shí)需從頭重訓(xùn)模型，IL 在時(shí)間與資源（如內(nèi)存）管理方面更具優(yōu)勢(shì)。

IL 的一個(gè)標(biāo)準(zhǔn)假設(shè)是：無(wú)論訓(xùn)練還是推理（測(cè)試）階段，學(xué)習(xí)器均可獲知每個(gè)類別所屬任務(wù)的身份（ID）。但在多數(shù)現(xiàn)實(shí)場(chǎng)景中，推理階段往往無(wú)法獲取任務(wù) ID，該假設(shè)因而不切實(shí)際。為此，類增量學(xué)習(xí)（CIL）范式應(yīng)運(yùn)而生：其設(shè)定推理階段無(wú)任務(wù)信息可用，迫使學(xué)習(xí)器必須區(qū)分所有已遇類別，無(wú)論其原屬哪個(gè)任務(wù)。CIL 范式刻畫了開放環(huán)境中典型場(chǎng)景，故解決其挑戰(zhàn)對(duì)在開放世界可靠部署機(jī)器學(xué)習(xí)系統(tǒng)至關(guān)重要（Zhou, 2022）。

當(dāng)每類僅有極少量數(shù)據(jù)可用時(shí)，上述問(wèn)題進(jìn)一步加劇。該設(shè)定在文獻(xiàn)中被稱為小樣本類增量學(xué)習(xí)（FSCIL）（Rebuffi 等, 2017；Gidaris & Komodakis, 2018；Tao 等, 2020；Achituve 等, 2021；Ahmad 等, 2022；Peng 等, 2022；Song 等, 2023；Wang 等, 2023b；Zhou 等, 2023a；Zhao 等, 2024）。例如，考慮用于視頻監(jiān)控的行人屬性識(shí)別模型，需識(shí)別年齡、性別、著裝等外觀特征（Xiang 等, 2019；Wang 等, 2023b）：首任務(wù)要求區(qū)分馬甲（識(shí)別穿馬甲的行人）與T恤；因二者差異顯著，首任務(wù)下識(shí)別馬甲可能較易。隨后模型遇到少量新行人，每人分別穿著夾克或大衣——構(gòu)成兩個(gè)新類別。此時(shí)任務(wù)變難：推理階段需區(qū)分馬甲、夾克與大衣三者，卻從未有機(jī)會(huì)在三類數(shù)據(jù)上同步訓(xùn)練。

由于隱私與安全約束，F(xiàn)SCIL 模型通常嚴(yán)禁訪問(wèn)歷史類別數(shù)據(jù)，故其必須能在不遺忘舊類的前提下學(xué)習(xí)新類。因此需在“適應(yīng)新類”與“維持已獲知識(shí)的穩(wěn)定性”間取得平衡。過(guò)度適應(yīng)新類可能導(dǎo)致舊類知識(shí)災(zāi)難性遺忘（McCloskey & Cohen, 1989；Ratcliff, 1990；Robins, 1993, 1995；French, 1999；Pape 等, 2011；Srivastava 等, 2013；Achille 等, 2018；Diaz-Rodriguez 等, 2018；Kemker 等, 2018；Zeno 等, 2018；Parisi 等, 2019；Pfulb & Gepperth, 2019；Ebrahimi 等, 2020；Gupta 等, 2020；Banayeeanzade 等, 2021；Ke 等, 2021；Ostapenko 等, 2021；Wang 等, 2021；Kalb & Beyerer, 2022；Kang 等, 2022a；Karakida & Akaho, 2022；Lin 等, 2022；Miao 等, 2022；Yasar & Iqbal, 2023）——即：模型雖已掌握某類識(shí)別知識(shí)，但在遭遇新類后，該知識(shí)逐漸退化。

上述平衡常被稱為穩(wěn)定性–可塑性困境：穩(wěn)定性指維持舊知識(shí)能力，可塑性指適應(yīng)新類能力。此外，因每類僅含少量樣本，F(xiàn)SCIL 還直面偏差與過(guò)擬合等額外挑戰(zhàn)。

本文提出一種小樣本類增量學(xué)習(xí)器，旨在通過(guò)構(gòu)建一個(gè)量身定制的潛在變量模型以緩解上述風(fēng)險(xiǎn)。先前工作（如 Wang 等, 2023b；Zhao 等, 2024）已表明：僅調(diào)整小樣本階段到來(lái)的新類別表征，不足以緩解因數(shù)據(jù)稀缺導(dǎo)致的災(zāi)難性遺忘與偏差。因此，我們?cè)O(shè)計(jì)的潛在變量模型不僅允許調(diào)整新小樣本類別，還可同步調(diào)整最可能受新類沖擊的相關(guān)歷史類別。該策略旨在建立一種模型：每當(dāng)新類到來(lái)，通過(guò)調(diào)控所有受影響類別，持續(xù)平衡穩(wěn)定性–可塑性權(quán)衡，并應(yīng)對(duì)FSCIL固有的偏差與過(guò)擬合風(fēng)險(xiǎn)。

我們推導(dǎo)的未來(lái)類別誤差泛化上界，佐證了“同步調(diào)整新小樣本類與相關(guān)舊類”這一主張的價(jià)值。此外，我們?cè)诙鄠�(gè)主流CIL基準(zhǔn)及醫(yī)學(xué)基準(zhǔn)MedMNIST（第4節(jié)）上開展實(shí)驗(yàn)。結(jié)果表明，所提FSCIL模型在總體/最終分類性能及緩解災(zāi)難性遺忘方面均達(dá)到當(dāng)前最優(yōu)水平（state-of-the-art）。第5節(jié)詳述相關(guān)工作。

主要貢獻(xiàn)總結(jié)如下：

1. 提出一種基于自適應(yīng)潛在變量建模的FSCIL框架（第2節(jié)）：不僅處理小樣本階段遇到的新類別，亦相應(yīng)調(diào)整相關(guān)舊類所獲知識(shí)；
2. 該框架在緩解偏差與災(zāi)難性遺忘、以及適應(yīng)新類別三者間實(shí)現(xiàn)均衡處理；
3. 推導(dǎo)了未來(lái)類別的誤差泛化上界（第3節(jié)）；
4. 在主流CIL基準(zhǔn)及真實(shí)醫(yī)學(xué)數(shù)據(jù)集MedMNIST上取得當(dāng)前最優(yōu)結(jié)果，評(píng)估指標(biāo)涵蓋分類準(zhǔn)確率（平均總體、最終、各階段后）及緩解災(zāi)難性遺忘程度（第4節(jié)）。

1. 我們的CIAM方法

鑒于小樣本類增量學(xué)習(xí)器需應(yīng)對(duì)的若干挑戰(zhàn)，所提框架首先應(yīng)利用基礎(chǔ)階段（base session）中豐富的數(shù)據(jù)，學(xué)習(xí)基礎(chǔ)類別的表征。此后，關(guān)鍵在于將已學(xué)表征自適應(yīng)調(diào)整至小樣本類別，同時(shí)緩解災(zāi)難性遺忘、偏差與過(guò)擬合等潛在風(fēng)險(xiǎn)。我們提出一種模型，稱為“基于潛在變量模型的小樣本類增量學(xué)習(xí)自適應(yīng)”（few-shot Class-Incremental learning Adaptation via latent variable Models, CIAM），以應(yīng)對(duì)小樣本類增量學(xué)習(xí)中的此類挑戰(zhàn)。

2.1 設(shè)定

2.2 基礎(chǔ)會(huì)話

2.3 基于潛在變量建模的小樣本自適應(yīng)

本節(jié)描述所提出的小樣本自適應(yīng)流程。如第2.2節(jié)所述，基礎(chǔ)會(huì)話（數(shù)據(jù)豐富）之后，若繼續(xù)用稀缺數(shù)據(jù)訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)以學(xué)習(xí)小樣本類別，將是有害的，并可能導(dǎo)致遺忘已建立的基礎(chǔ)類別知識(shí)。另一方面，完全不從小樣本數(shù)據(jù)中進(jìn)行任何學(xué)習(xí)，則意味著浪費(fèi)了潛在的知識(shí)并存在欠擬合風(fēng)險(xiǎn)。為此，我們提出通過(guò)一個(gè)潛在變量模型，在小樣本會(huì)話期間自適應(yīng)調(diào)整已學(xué)表征——該模型不僅能適配小樣本類別，還能同時(shí)適配相關(guān)的歷史類別，從而實(shí)現(xiàn)貫穿始終的一致性更新（而非僅更新新小樣本類別）。通過(guò)采用所提出的全面自適應(yīng)策略，我們的目標(biāo)是捕捉所有潛在的災(zāi)難性遺忘和/或偏差來(lái)源。

回顧可知，網(wǎng)絡(luò)已學(xué)習(xí)到一個(gè)函數(shù)表征 f ( ? ; ω ) ，它代表了更好的預(yù)測(cè)潛力（即經(jīng)過(guò)優(yōu)化，使得相應(yīng)類別能被準(zhǔn)確預(yù)測(cè)）。該表征是在基礎(chǔ)類別上專門學(xué)習(xí)得到的。我們需要：i) 將此表征適配至小樣本類別；ii) 確保此適配與先前遇到的類別中的相關(guān)類別保持一致。其核心思想是建立一個(gè)潛在變量模型，該模型能夠高效地學(xué)習(xí)如何適配當(dāng)前小樣本類別的表征以及相關(guān)歷史類別（其數(shù)據(jù)已不可用），同時(shí)避免在基礎(chǔ)會(huì)話后重新訓(xùn)練基礎(chǔ)網(wǎng)絡(luò)。

若干FSCIL算法在基礎(chǔ)會(huì)話后完全凍結(jié)表征學(xué)習(xí)與特征提�。╖hang 等, 2021；Akyurek 等, 2022；Hersche 等, 2022；Wang 等, 2023b）。其他先前關(guān)于FSCIL的工作則基于構(gòu)建小樣本類別的原型（Mazumder 等, 2021；Shi 等, 2021；Zhou 等, 2022；Ji 等, 2023），或最多僅校準(zhǔn)此類原型（Zhu 等, 2021；Deng 等, 2022；Wang 等, 2023b；Zhang & Gu, 2023；Zhou 等, 2023b；Zhu 等, 2023b；Zhao 等, 2024）。然而，若不在小樣本會(huì)話中應(yīng)用任何學(xué)習(xí)或自適應(yīng)，直接獲得可靠的原型可能頗具挑戰(zhàn)性。我們推測(cè)，即使這有助于擬合新的小樣本類別，仍可能導(dǎo)致對(duì)先前已學(xué)類別的負(fù)面影響。為此，需要在基礎(chǔ)會(huì)話期間學(xué)習(xí)的特征表征與最終的小樣本分類之間增加一個(gè)額外階段（Zhao 等, 2024）。我們的目標(biāo)是利用手頭的小樣本數(shù)據(jù)，來(lái)適配所有可能受影響的類別表征。

對(duì)于每個(gè)基礎(chǔ)類別，基礎(chǔ)會(huì)話期間學(xué)習(xí)到的特征表征函數(shù) f ( ? ; ω ) 提供了一個(gè)從相應(yīng)輸入 x 到 f ( x ; ω ) 的映射。該表征在基礎(chǔ)會(huì)話后并未再接受任何訓(xùn)練（原因如上所述）。因此，直接以該表征函數(shù)表達(dá)小樣本類別（即使后續(xù)進(jìn)行校準(zhǔn)）并不適用。相反，我們的目標(biāo)是高效地將小樣本類別與被認(rèn)為最相關(guān)的歷史類別一同適配。將基礎(chǔ)會(huì)話中的類別數(shù)量記為 B 。如前所述，基礎(chǔ)類別的數(shù)量 B 遠(yuǎn)大于任意單個(gè)小樣本會(huì)話中的類別數(shù)。在小樣本會(huì)話期間，必須選擇那些最有可能受新到來(lái)類別影響的歷史類別，因?yàn)榉駝t在遇到新小樣本類別時(shí)更新每個(gè)歷史類別的表征將變得極其昂貴。

所提出的FSCIL潛在變量模型的主要目標(biāo)是：適配當(dāng)前小樣本類別的已學(xué)表征以及最相關(guān)的歷史類別，以此緩解災(zāi)難性遺忘與偏差的潛在風(fēng)險(xiǎn)。該FSCIL潛在變量模型由一個(gè)雙分支變分自編碼器（VAE, Kingma & Welling, 2014; Kingma 等, 2014）構(gòu)成。相較于僅含單一分支（連接數(shù)據(jù)空間與潛在空間）的標(biāo)準(zhǔn)VAE，我們引入的額外分支專注于最終表征的預(yù)測(cè)準(zhǔn)確性——該分支將潛在空間與類別標(biāo)簽相連接。因此，兩個(gè)VAE分支的同時(shí)優(yōu)化既能調(diào)整所有相關(guān)類別的表征，又能同步實(shí)現(xiàn)整體高性能。

2.4 潛在變量模型上的推理

我們描述了三種建模場(chǎng)景下的變分下界：首先是基礎(chǔ)會(huì)話的訓(xùn)練階段，其次是小樣本會(huì)話的訓(xùn)練階段，最后是推理（測(cè)試）階段。

2.4.1 基礎(chǔ)會(huì)話

在基礎(chǔ)會(huì)話的訓(xùn)練過(guò)程中，我們VAE的輸入包括所有基礎(chǔ)類別的基礎(chǔ)表征 f f 以及其訓(xùn)練數(shù)據(jù)點(diǎn)的標(biāo)簽 y y，二者在此時(shí)均是可觀測(cè)的。根據(jù)所提出的模型，單個(gè)數(shù)據(jù)點(diǎn)的邊緣似然表達(dá)式如下：

2.4.2 小樣本會(huì)話

2.4.3 測(cè)試階段

在測(cè)試階段，標(biāo)簽 y 是未知的。因此，在式(8)-(11)中定義的ELBO不適用于測(cè)試階段。為此，我們?cè)诖颂庨_發(fā)了測(cè)試階段的ELBO。每個(gè)測(cè)試數(shù)據(jù)點(diǎn)的輸入 x 首先被輸入到基礎(chǔ)表征函數(shù)（此階段該函數(shù)已固定）以獲得相應(yīng)的基礎(chǔ)表征 f 。隨后，該基礎(chǔ)表征 f 作為唯一觀測(cè)到的輸入被送入VAE。單個(gè)測(cè)試數(shù)據(jù)點(diǎn)的邊緣似然可表達(dá)如下：

1. 理論分析我們闡明了在類增量學(xué)習(xí)（CIL）設(shè)定中，當(dāng)前類別與先前已遇類別之間的理論關(guān)系。總體目標(biāo)是為“相關(guān)（即最相似的）歷史類別對(duì)當(dāng)前類別分類的影響”提供理論驗(yàn)證。

3.1泛化上限

需注意，式（17）界中的第一項(xiàng)完全依賴于先前已遇類別的真值函數(shù)（即作為輸入提供給學(xué)習(xí)器的部分）。換言之，式（17）的第一項(xiàng)完全不依賴于任何學(xué)習(xí)假設(shè) h ，也不依賴于類增量學(xué)習(xí)器在其優(yōu)化過(guò)程中可控制的任何自由度。相反，界的第二項(xiàng)（即式（18）中的最小項(xiàng)）由 r 個(gè)子句組成，每個(gè)子句對(duì)應(yīng)一個(gè)歷史類別。如式（27）所推導(dǎo)，式（18）中的每個(gè)子句代表：若對(duì)應(yīng)類別是類增量學(xué)習(xí)器先前所遇的唯一類別時(shí)，該類任務(wù)誤差的一個(gè)上界。因此，鑒于類增量學(xué)習(xí)器此前已遇到 r 個(gè)類別，依據(jù)定理1，識(shí)別出與當(dāng)前類別最相似的歷史類別，即可最小化式（18），從而收緊（即最小化）當(dāng)前類別誤差的上界。因此，定理1揭示了當(dāng)前類別誤差與最相似（即相關(guān)）歷史類別誤差之間的依賴關(guān)系。

3.2 證明

在深入定理1的證明之前，我們先提供若干后續(xù)證明中需要用到的引理及其證明。

1. 實(shí)驗(yàn)

我們通過(guò)實(shí)驗(yàn)評(píng)估所提出的CIAM框架的性能。本節(jié)首先解釋我們的實(shí)驗(yàn)設(shè)置，隨后進(jìn)行評(píng)估，包括在常用FSCIL基準(zhǔn)上的實(shí)驗(yàn)、消融分析以及在真實(shí)世界醫(yī)學(xué)數(shù)據(jù)上的實(shí)驗(yàn)。

4.1 實(shí)驗(yàn)設(shè)置

我們的主要目標(biāo)是評(píng)估以下方面：i) CIAM的性能，通過(guò)三個(gè)重要基準(zhǔn)上的最終分類準(zhǔn)確率及至關(guān)重要的平均分類準(zhǔn)確率來(lái)衡量——這三個(gè)基準(zhǔn)代表了FSCIL中最常用的基準(zhǔn)；ii) 所提CIAM緩解災(zāi)難性遺忘的能力及其可降低的程度，通過(guò)常用的性能下降率指標(biāo)衡量；iii) 一項(xiàng)消融研究，用于衡量CIAM各組件的影響；iv) 將所提CIAM框架應(yīng)用于一個(gè)現(xiàn)實(shí)世界的醫(yī)學(xué)基準(zhǔn)（即MedMNIST數(shù)據(jù)集）。以平均分類準(zhǔn)確率、最終分類準(zhǔn)確率和緩解災(zāi)難性遺忘為指標(biāo)所獲得的當(dāng)前最優(yōu)結(jié)果，證明了所提CIAM框架的有效性。

在所有實(shí)驗(yàn)中，我們與每個(gè)競(jìng)爭(zhēng)算法表現(xiàn)最佳的變體進(jìn)行比較。所有報(bào)告的結(jié)果均為10次運(yùn)行的平均值。使用配對(duì)t檢驗(yàn)（p=0.05）識(shí)別統(tǒng)計(jì)顯著性（以粗體突出顯示）。優(yōu)化器采用帶動(dòng)量的隨機(jī)梯度下降（SGD），在miniImageNet和CIFAR100上初始學(xué)習(xí)率為0.01，在CUB200數(shù)據(jù)集上初始學(xué)習(xí)率為0.001。核寬度參數(shù)σ通過(guò)交叉驗(yàn)證調(diào)優(yōu)。歸一化流步驟數(shù)s設(shè)為2，這在利用歸一化流高保真能力與計(jì)算穩(wěn)健性之間取得了良好平衡。計(jì)算環(huán)境由一塊NVIDIA A100 Tensor Core GPU和兩塊AMD Rome CPU組成，基于NVIDIA Mellanox ConnectX-6互連技術(shù)。

4.2 常用小樣本類增量學(xué)習(xí)基準(zhǔn)

我們?cè)诖送ㄟ^(guò)在以下FSCIL基準(zhǔn)上進(jìn)行實(shí)驗(yàn)來(lái)評(píng)估CIAM：miniImageNet (Russakovsky 等, 2015)、CIFAR100 (Krizhevsky & Hinton, 2009) 和 CUB200 (Wah 等, 2011)。以下是這三個(gè)數(shù)據(jù)集的簡(jiǎn)要描述：

miniImageNet：它是ImageNet (Russakovsky 等, 2015) 的一個(gè)100類子集，常用于許多小樣本學(xué)習(xí)設(shè)置中（Vinyals 等, 2016; Finn 等, 2017），不僅限于FSCIL。

每個(gè)類別包含500張訓(xùn)練圖像和100張測(cè)試圖像。圖像格式為RGB，尺寸為84×84�；A(chǔ)會(huì)話（t=1）包含60個(gè)類別�；A(chǔ)會(huì)話之后，有8個(gè)小樣本會(huì)話，每個(gè)會(huì)話包含5個(gè)類別。根據(jù)FSCIL文獻(xiàn)（例如Tao等, 2020; Yang等, 2023; Zhao等, 2024），每個(gè)小樣本會(huì)話（2 ≤ t ≤ 9）均為5類5樣本會(huì)話，這意味著每個(gè)5個(gè)類別中各有5個(gè)可用的訓(xùn)練點(diǎn)。

CIFAR100：這是另一個(gè)在FSCIL中頗受歡迎的數(shù)據(jù)集（Rebuffi等, 2017; Castro等, 2018）。它總共包含60,000張圖像，分為100個(gè)類別。每個(gè)類別包含500張訓(xùn)練圖像和100張測(cè)試圖像。每張圖像尺寸為32×32。與miniImageNet類似，我們亦采用FSCIL文獻(xiàn)中CIFAR100的常見設(shè)置：從一個(gè)包含60個(gè)類別的基礎(chǔ)會(huì)話開始，隨后是8個(gè)5類5樣本的小樣本會(huì)話。因此，總共有9個(gè)CIFAR100學(xué)習(xí)會(huì)話（1個(gè)基礎(chǔ)會(huì)話 + 8個(gè)小樣本會(huì)話）。

CUB200：該數(shù)據(jù)集的原始設(shè)計(jì)旨在解決增量學(xué)習(xí)場(chǎng)景下的細(xì)粒度圖像分類問(wèn)題（Chaudhry等, 2019; Parisi等, 2019; Tao等, 2020）。它包含6,000張訓(xùn)練圖像及6,000張測(cè)試圖像，圖像尺寸為224×224。數(shù)據(jù)集包含200個(gè)類別，每個(gè)類別描繪一種特定的鳥類；CUB指Caltech-UCSD Birds。我們采用FSCIL領(lǐng)域常用的CUB200劃分格式：將200個(gè)類別劃分為100個(gè)類別用于基礎(chǔ)會(huì)話，隨后是10個(gè)增量式10類5樣本會(huì)話。

遵循FSCIL領(lǐng)域的若干先前工作（例如Tao等, 2020; Zhao等, 2024），我們采用ResNet-18 (He等, 2016) 作為骨干網(wǎng)絡(luò)（基礎(chǔ)網(wǎng)絡(luò)）。對(duì)于CUB200，ResNet-18骨干網(wǎng)絡(luò)使用在ImageNet上預(yù)訓(xùn)練的參數(shù)進(jìn)行初始化 (Deng等, 2009)。此外，遵循之前的FSCIL工作3 (Yang等, 2023)，我們?cè)谒袑?shí)驗(yàn)中基礎(chǔ)會(huì)話階段采用512的微批次大小，在每個(gè)增量小樣本會(huì)話階段采用64的微批次大小。對(duì)于miniImageNet數(shù)據(jù)集，基礎(chǔ)會(huì)話訓(xùn)練500輪，每個(gè)增量小樣本會(huì)話訓(xùn)練150輪。對(duì)于CIFAR100，基礎(chǔ)會(huì)話訓(xùn)練200輪，每個(gè)小樣本會(huì)話訓(xùn)練100輪。對(duì)于CUB200數(shù)據(jù)集，基礎(chǔ)會(huì)話訓(xùn)練80輪，每個(gè)增量小樣本會(huì)話訓(xùn)練60輪。

評(píng)估指標(biāo)：對(duì)FSCIL而言，最具影響力的評(píng)估指標(biāo)是平均總體分類準(zhǔn)確率，它反映了到目前為止所遇所有類別（包括當(dāng)前及所有先前會(huì)話）的平均測(cè)試準(zhǔn)確率。最終分類準(zhǔn)確率——即在經(jīng)歷最終學(xué)習(xí)會(huì)話的所有類別后獲得的測(cè)試準(zhǔn)確率——是另一個(gè)重要的FSCIL指標(biāo)，我們也會(huì)在下文報(bào)告。我們還基于FSCIL最廣泛使用的指標(biāo)“性能下降率”（PD, Zhang等, 2021）來(lái)估算災(zāi)難性遺忘。PD指標(biāo)定義為：PD = 基礎(chǔ)會(huì)話后的平均總體準(zhǔn)確率 - 最終小樣本會(huì)話后的平均總體準(zhǔn)確率。

我們?cè)u(píng)估了CIAM相對(duì)于多個(gè)當(dāng)前最先進(jìn)的FSCIL算法的表現(xiàn)：CEC (Zhang等, 2021), FACT (Zhou等, 2022), C-FSCIL (Hersche等, 2022), TEEN (Wang等, 2023b), Bidist (Zhao等, 2023), SAVC (Song等, 2023), NC-FSCIL (Yang等, 2023), TOPIC (Tao等, 2020), FCIL (Gu等, 2023), BM-FSCIL (Zhao等, 2024), LIMIT (Zhou等, 2023b), MetaFSCIL (Chi等, 2022), iCaRL (Rebuffi等, 2017), ALICE (Peng等, 2022) 和 DF Replay (Liu等, 2022)。

miniImageNet 數(shù)據(jù)集上所有 FSCIL 指標(biāo)的結(jié)果詳見表 1。此外，圖 2 還匯總展示了性能最優(yōu)的若干算法的整體表現(xiàn)。所提出的CIAM在平均總體分類準(zhǔn)確率與最終分類準(zhǔn)確率（即 miniImageNet 第 9 個(gè)會(huì)話——即最終會(huì)話——后的分類準(zhǔn)確率）上均顯著優(yōu)于現(xiàn)有方法。此外，在緩解災(zāi)難性遺忘方面，CIAM 的效率也高于所有先前的最先進(jìn) FSCIL 算法，這由其顯著更低的性能下降率（PD）得以證實(shí)。顯然，更高的 PD 值意味著更強(qiáng)的遺忘，這是不希望出現(xiàn)的；而基于準(zhǔn)確率的指標(biāo)則相反——數(shù)值越高，表明性能越佳。相較于此前最優(yōu)方法，CIAM 在平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率和 PD 率上分別提升了3.77%、5.38%和4.42%（即 PD 降低 4.42%，遺忘更少）。

在 CIFAR100 上，CIAM 同樣在（最終與平均總體）準(zhǔn)確率類指標(biāo)及 PD 率方面顯著超越先前最先進(jìn)方法，結(jié)果如表 2 與圖 3 所示：其平均總體分類準(zhǔn)確率提升5.02%，最終分類準(zhǔn)確率提升6.51%；PD 率降低5.96%（即遺忘率更低）。這一顯著提升表明 CIAM 能有效應(yīng)對(duì)穩(wěn)定性–可塑性困境。這得益于所提 CIAM 潛在變量模型中采用的豐富密度估計(jì)器，以及其與概率建模的融合方式，最終形成高效自適應(yīng)策略，并體現(xiàn)在預(yù)測(cè)準(zhǔn)確率與性能保持能力上。

在 FSCIL 中常用的 CUB200 數(shù)據(jù)集劃分下，總共有 11 個(gè)會(huì)話（即比前述兩個(gè)基準(zhǔn)多出兩個(gè)小樣本會(huì)話）。相應(yīng)地，CIAM 在 CUB200 上的平均總體分類準(zhǔn)確率提升更為顯著：相較次優(yōu) FSCIL 算法高出6.61%；在所有學(xué)習(xí)會(huì)話中分類準(zhǔn)確率均更高，最終分類準(zhǔn)確率（第 11 會(huì)話后）提升6.17%；PD 率亦更低（更優(yōu)），改善4.41%。CUB200 上的結(jié)果詳見表 3 與圖 4。

4.3 消融研究

我們進(jìn)行了一項(xiàng)消融分析，以評(píng)估所提 CIAM 框架中每個(gè)建模組件在達(dá)成最終準(zhǔn)確率、性能保持及緩解災(zāi)難性遺忘方面所起的作用。消融實(shí)驗(yàn)的結(jié)果分別在圖5-7中展示，對(duì)應(yīng) miniImageNet、CIFAR100 和 CUB200 數(shù)據(jù)集。CIAM 在每個(gè)會(huì)話學(xué)習(xí)后的分類性能與以下幾種場(chǎng)景進(jìn)行了比較：

1. 無(wú)基礎(chǔ)網(wǎng)絡(luò)：模型在基礎(chǔ)會(huì)話期間無(wú)法從相對(duì)大量的數(shù)據(jù)樣本和類別中獲得充分的學(xué)習(xí)機(jī)會(huì)。
2. 無(wú)VAE：模型在小樣本會(huì)話期間幾乎無(wú)法從小樣本數(shù)據(jù)中學(xué)習(xí)，僅利用已在基礎(chǔ)會(huì)話中學(xué)得的基礎(chǔ)網(wǎng)絡(luò)來(lái)映射小樣本類別。
3. 不適應(yīng)相關(guān)類別：VAE 僅用于學(xué)習(xí)當(dāng)前小樣本類別的表征，而未利用本模型的核心優(yōu)勢(shì)之一——即相應(yīng)地自適應(yīng)相關(guān)歷史類別。
4. 隨機(jī)選擇的相關(guān)類別：VAE 用于自適應(yīng)當(dāng)前小樣本類別及相關(guān)歷史類別，但相關(guān)類別的選擇是隨機(jī)的（即并非通過(guò)高斯核計(jì)算的相似性）。

如圖5-7所示的消融分析結(jié)果表明，CIAM 與上述四種場(chǎng)景之間存在顯著的性能差異，這實(shí)證證明了所提自適應(yīng)機(jī)制及其他建模組件對(duì)于達(dá)成 CIAM 所取得性能水平的重要性。

4.4 醫(yī)學(xué)基準(zhǔn)

除了常用的 FSCIL 基準(zhǔn)外，我們將所提 CIAM 框架應(yīng)用于真實(shí)世界的醫(yī)學(xué)圖像，采用 MedMNIST 數(shù)據(jù)集（Yang 等, 2021a, 2021b）。MedMNIST 是一個(gè)標(biāo)準(zhǔn)的醫(yī)學(xué)影像基準(zhǔn)，由一系列專為醫(yī)療領(lǐng)域機(jī)器學(xué)習(xí)算法評(píng)測(cè)而設(shè)計(jì)的醫(yī)學(xué)圖像數(shù)據(jù)集組成。

MedMNIST 是一個(gè)包含 12 個(gè) 2D 醫(yī)學(xué)數(shù)據(jù)集的集合，所有數(shù)據(jù)均已預(yù)處理并標(biāo)準(zhǔn)化，用于在 28×28 圖像上執(zhí)行分類任務(wù)（Yang 等, 2021a）。MedMNIST 涵蓋多種醫(yī)學(xué)影像模態(tài)與不同數(shù)據(jù)規(guī)模。其標(biāo)簽已提供，用戶無(wú)需領(lǐng)域背景知識(shí)或人工調(diào)參——這對(duì)分析多模態(tài)異質(zhì)數(shù)據(jù)集而言是一項(xiàng)顯著優(yōu)勢(shì)。

與第 4.2 節(jié)對(duì)通用基準(zhǔn)的處理方式一致，我們?cè)?MedMNIST 上也遵循該領(lǐng)域先前文獻(xiàn)中采用的 FSCIL 實(shí)驗(yàn)范式。此處同樣采用 ResNet-18 作為骨干（基礎(chǔ)）網(wǎng)絡(luò)，與 Yang 等（2023）的工作一致；據(jù)我們所知，該工作是目前唯二在 MedMNIST 數(shù)據(jù)集上報(bào)告了 FSCIL 結(jié)果的研究之一。

Derakhshani 等（2022）雖也在 MedMNIST 上開展實(shí)驗(yàn)，但其采用的是標(biāo)準(zhǔn)（非小樣本）類增量學(xué)習(xí)設(shè)定——即每個(gè)增量階段均有充足數(shù)據(jù)；這與我們采用的小樣本類增量學(xué)習(xí)設(shè)定截然不同，后者極具挑戰(zhàn)性：每個(gè)增量小樣本階段僅有極少量樣本（如后文所述，每類僅 1 個(gè)樣本）可供學(xué)習(xí)。

實(shí)驗(yàn)配置如下：基礎(chǔ)會(huì)話微批次大小為 512，各增量小樣本會(huì)話為 64；基礎(chǔ)會(huì)話訓(xùn)練 150 輪，后續(xù)各增量小樣本會(huì)話訓(xùn)練 80 輪。

參照 MedMNIST 上的先前工作（Yang 等, 2023），我們采用包含 6 個(gè)選定醫(yī)學(xué)疾病分類數(shù)據(jù)集的 FSCIL 設(shè)定：其中 3 個(gè)數(shù)據(jù)集的類別作為基礎(chǔ)會(huì)話（共 27 類），另 3 個(gè)數(shù)據(jù)集的類別作為增量小樣本類別（共 15 類）。

• 基礎(chǔ)會(huì)話數(shù)據(jù)集
• • PathMNIST（Kather 等, 2019）：9 類，源于結(jié)直腸癌組織切片，用于預(yù)測(cè)生存期；共 107,180 張圖像（100,000 訓(xùn)練 / 7,180 測(cè)試）；
  • DermaMNIST（Tschandl 等, 2018）：7 類，常見色素性皮膚病變；共 10,015 張（8,010 訓(xùn)練 / 2,005 測(cè)試）；
  • OrganAMNIST（Bilic 等, 2023）：11 類，基于肝臟腫瘤分割（LiTS）基準(zhǔn)的身體器官圖像；共 58,850 張（41,072 訓(xùn)練 / 17,778 測(cè)試）。
• 小樣本會(huì)話數(shù)據(jù)集
• • BloodMNIST（Acevedo 等, 2020）：8 類，來(lái)自無(wú)感染、血液病或腫瘤患者的血液樣本；共 17,092 張（13,671 訓(xùn)練 / 3,421 測(cè)試）；
  • BreastMNIST（Al-Dhabyani 等, 2020）：2 類，780 張乳腺超聲圖像（原為 3 類，后將“正�！迸c“良性”合并為一類，對(duì)抗“惡性”）；624 訓(xùn)練 / 156 測(cè)試；
  • RetinaMNIST（Dataset, 2020）：5 類，視網(wǎng)膜眼底圖像，用于 5 級(jí)糖尿病視網(wǎng)膜病變分級(jí)；1,600 張（1,200 訓(xùn)練 / 400 測(cè)試）。

基礎(chǔ)會(huì)話（27 類）結(jié)束后，我們進(jìn)行15 次“單類單樣本”（1-way 1-shot）增量小樣本會(huì)話，每次引入 1 個(gè)新類別（共 15 類）。

MedMNIST 醫(yī)學(xué)基準(zhǔn)上的實(shí)驗(yàn)結(jié)果見表 4 與圖 8。CIAM在平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率及 PD 率上均達(dá)到當(dāng)前最優(yōu)水平：最終分類準(zhǔn)確率較此前最優(yōu)方法提升4.54%；由 PD 衡量的遺忘率（比此前最低 PD 還低4.43%）尤為關(guān)鍵，原因有二：
i) 該真實(shí)世界圖像數(shù)據(jù)集恰當(dāng)?shù)啬M了現(xiàn)實(shí)場(chǎng)景——FSCIL 框架必須兼顧“適應(yīng)新知”與“保持穩(wěn)定”（即不遺忘舊知）；

ii) CIAM 所實(shí)現(xiàn)的性能保持能力，是在極為嚴(yán)苛的15 次 1-way 1-shot 會(huì)話（每類僅 1 個(gè)樣本）小樣本設(shè)定下達(dá)成的。

此外，從圖 8 可見：在 FSCIL 流程的最后若干會(huì)話中，CIAM 的優(yōu)勢(shì)更為顯著——表明其具備從更長(zhǎng)序列的新類別（如 MedMNIST 中的真實(shí)世界數(shù)據(jù)）中持續(xù)學(xué)習(xí)的能力。這在醫(yī)學(xué)等廣泛存在的現(xiàn)實(shí)場(chǎng)景中至關(guān)重要。

CIAM 在各數(shù)據(jù)集上的平均訓(xùn)練耗時(shí)分別為：miniImageNet 5.4 分鐘、CIFAR100 7.1 分鐘、CUB200 2.2 分鐘、MedMNIST 14.8 分鐘。該運(yùn)行效率在 CIL 范式中極具競(jìng)爭(zhēng)力，主要?dú)w功于所提機(jī)制：將訓(xùn)練負(fù)擔(dān)分解為兩階段——基礎(chǔ)會(huì)話階段的表征預(yù)訓(xùn)練，以及僅在小樣本階段激活并受益于前述預(yù)訓(xùn)練的 VAE 訓(xùn)練階段。

1. 相關(guān)工作

在增量（持續(xù)）學(xué)習(xí)中，訓(xùn)練被劃分為一系列連續(xù)的任務(wù)。在任一訓(xùn)練階段，學(xué)習(xí)器通常僅可訪問(wèn)當(dāng)前任務(wù)的數(shù)據(jù)。類增量學(xué)習(xí)（CIL）指增量學(xué)習(xí)中更具挑戰(zhàn)性的場(chǎng)景：學(xué)習(xí)器在測(cè)試（推理）階段無(wú)法獲知任務(wù)ID（Masana 等, 2022）。因此，類增量學(xué)習(xí)器必須學(xué)會(huì)區(qū)分所有任務(wù)中已遇到的全部類別（Hou 等, 2019；Yu 等, 2020；Mai 等, 2021；Shim 等, 2021；Zhu 等, 2021；Liu 等, 2023；Rymarczyk 等, 2023；Wen 等, 2023；Zhou 等, 2023a）。此外，類增量學(xué)習(xí)器還須具備持續(xù)學(xué)習(xí)新類別而不遺忘舊類別（即已遇類別）的能力。

CIL 中廣泛應(yīng)用的方法包括回放策略：存儲(chǔ)或生成若干先前類別的代表性樣本，并在遇到新類別后重放這些樣本，以維持舊知識(shí)（Liu 等, 2020；Cha 等, 2021；Masana 等, 2022）。另一種常與回放策略結(jié)合的方法是知識(shí)蒸餾（Li & Hoiem, 2016；Rebuffi 等, 2017；Wu 等, 2019；Douillard 等, 2020；Cheraghian 等, 2021a；Kang 等, 2022b），其核心在于估計(jì)不同任務(wù)間表征變化與相應(yīng)損失之間的關(guān)系，目標(biāo)是約束損失變化的一致性，使得在適配新任務(wù)時(shí)，舊表征不會(huì)發(fā)生劇烈變動(dòng)。第三類 CIL 方法基于模型動(dòng)態(tài)擴(kuò)展，即隨新類別到來(lái)而擴(kuò)展模型結(jié)構(gòu)（Liu 等, 2021；Yan 等, 2021；Wang 等, 2023），例如 Yan 等（2021）的工作：在每次增量步驟中，凍結(jié)先前習(xí)得的表征，并通過(guò)新增特征提取器引入額外特征維度進(jìn)行擴(kuò)充。

當(dāng)每個(gè)增量類別的可用數(shù)據(jù)極其稀缺時(shí)，類增量學(xué)習(xí)（CIL）所面臨的嚴(yán)峻挑戰(zhàn)將進(jìn)一步加劇——這正是本文所采用的設(shè)定，稱為小樣本類增量學(xué)習(xí)（FSCIL）。在基礎(chǔ)會(huì)話階段（每類擁有充足樣本）訓(xùn)練完成后，F(xiàn)SCIL 學(xué)習(xí)器將面對(duì)若干增量小樣本會(huì)話，其中每類樣本量極為有限（Chen & Lee, 2020；Tao 等, 2020；Zhu 等, 2021；Liu 等, 2022；Tan 等, 2022；Zhu 等, 2022；Zou 等, 2022；Zhang 等, 2023；Zhuang 等, 2023；Ran 等, 2024；Tian 等, 2024）。

由于所有增量小樣本類別的數(shù)據(jù)均極度稀缺，傳統(tǒng) CIL 策略在 FSCIL 中難以高效運(yùn)作。因此，大多數(shù) FSCIL 算法在基礎(chǔ)會(huì)話后，將表征學(xué)習(xí)與分類器解耦：特征提取器通常僅在基礎(chǔ)會(huì)話中訓(xùn)練表征，隨后即被凍結(jié)；增量小樣本會(huì)話則主要專注于優(yōu)化分類器（Zhang 等, 2021；Akyurek 等, 2022）。除該解耦策略（形成預(yù)訓(xùn)練骨干）外，Zhang 等（2021）還引入了非參數(shù)化的類均值分類器以緩解災(zāi)難性遺忘；Akyurek 等（2022）則將預(yù)訓(xùn)練特征提取器與子空間正則化方案結(jié)合，促使新類權(quán)重向量盡量接近歷史類權(quán)重所張成的空間；Hersche 等（2022）提出的 C-FSCIL 算法，結(jié)合了凍結(jié)的元學(xué)習(xí)特征提取器與一個(gè)可重寫、動(dòng)態(tài)增長(zhǎng)的記憶模塊，用于存儲(chǔ)所有已遇類別的向量表征。

其他 FSCIL 相關(guān)工作基于構(gòu)建小樣本類別的代表性原型：Mazumder 等（2021）通過(guò)最小化新舊類原型間的余弦相似度以應(yīng)對(duì)災(zāi)難性遺忘，并采用參數(shù)子集選擇策略（而非全模型訓(xùn)練）來(lái)學(xué)習(xí)新類；Shi 等（2021）在基礎(chǔ)會(huì)話中尋求目標(biāo)函數(shù)的平坦局部極小值，增量階段則對(duì)原型歸一化，并在平坦區(qū)域內(nèi)微調(diào)參數(shù)；FACT 算法（Zhou 等, 2022）提出前瞻性學(xué)習(xí)策略——為新類分配虛擬原型并預(yù)留嵌入空間；Ji 等（2023）設(shè)計(jì)了一種“原型平滑難例挖掘三元組”（PSHT）損失，用于推遠(yuǎn)新類原型彼此之間及與舊類原型的距離；Cheraghian 等（2021b）則通過(guò)特征空間聚類的子空間計(jì)算策略生成類原型，以關(guān)聯(lián)基礎(chǔ)類與小樣本類。

盡管上述方法在緩解災(zāi)難性遺忘方面取得一定成效，但完全凍結(jié)特征提取器并僅在增量小樣本階段計(jì)算原型的做法，已被證實(shí)易受潛在偏差影響——其根源在于基礎(chǔ)類與小樣本類之間嚴(yán)重的類別不平衡（Wang 等, 2023b；Zhao 等, 2024）。為此，一系列工作提出基于原型校準(zhǔn)的偏差緩解方案（Zhu 等, 2021；Deng 等, 2022；Wang 等, 2023b；Zhang & Gu, 2023；Zhou 等, 2023b；Zhu 等, 2023b）：Zhu 等（2021）提出增量原型學(xué)習(xí)框架，包含隨機(jī)片段選擇策略與自促進(jìn)原型精煉機(jī)制；TEEN（Wang 等, 2023b）的核心原型校準(zhǔn)策略將新類原型與加權(quán)基礎(chǔ)原型融合，以提升新類判別性——但該方法僅更新當(dāng)前類原型，未調(diào)整相似歷史類，可能導(dǎo)致后者易受偏差影響；Zhang & Gu（2023）提出基于旋轉(zhuǎn)與非線性變換增強(qiáng)的原型重放與校準(zhǔn)技術(shù)；LIMIT 算法（Zhou 等, 2023b）則通過(guò)基于 Transformer 的校準(zhǔn)模塊，將新類原型與舊類分類器校準(zhǔn)至同一尺度。

正如 Zhao 等（2024）所指出的，僅靠?jī)鼋Y(jié)和/或原型校準(zhǔn)，仍難以實(shí)現(xiàn)平衡且高效的小樣本增量分類�！捌胶夥诸悺痹诖酥� FSCIL 分類器不對(duì)基礎(chǔ)類或增量小樣本類產(chǎn)生嚴(yán)重偏向；同時(shí)，還須高效利用增量小樣本類別的少量樣本，以高保真度表征這些類別。我們推測(cè)，特征提取器與分類器之間的僵硬分離可能加劇了此類偏差。因此，我們的工作可視為構(gòu)建了一種新的中間表征——潛在表征 z z，它介于特征提取器（即基礎(chǔ)表征）與分類器之間。該潛在表征通過(guò)所提方式優(yōu)化，不僅能適配當(dāng)前類，還能同步調(diào)整相關(guān)歷史類的表征，從而協(xié)同緩解災(zāi)難性遺忘與潛在偏差。

其他 FSCIL 算法還包括：Tao 等（2020）利用神經(jīng)氣體網(wǎng)絡(luò)保持所有類別特征流形的拓?fù)浣Y(jié)構(gòu)；MetaFSCIL（Chi 等, 2022）基于元學(xué)習(xí)，采用雙層優(yōu)化，通過(guò)從基礎(chǔ)類中采樣增量任務(wù)序列來(lái)模擬評(píng)估協(xié)議；Achituve 等（2021）構(gòu)建了一種基于高斯過(guò)程擬合的樹狀分層增長(zhǎng)模型；van de Ven 等（2021）在 CIL 模型中訓(xùn)練了變分自編碼器，但其面向標(biāo)準(zhǔn)（非小樣本）CIL，且存在嚴(yán)重可擴(kuò)展性問(wèn)題——每遇新類即需訓(xùn)練（及測(cè)試）一個(gè)全新 VAE，推理成本亦因每次似然估計(jì)需 10,000 個(gè)重要性采樣而劇增；ALICE（Peng 等, 2022）以角度懲罰損失替代交叉熵?fù)p失，以獲得更緊湊特征、引入邊界提升判別性，并結(jié)合數(shù)據(jù)增強(qiáng)；SAVC（Song 等, 2023）是一種虛擬對(duì)比模型，通過(guò)引入虛擬類別將基礎(chǔ)類與新小樣本類分離。

1. 結(jié)論本文提出了一種小樣本類增量學(xué)習(xí)框架，以應(yīng)對(duì)該范式的主要挑戰(zhàn)，如災(zāi)難性遺忘、潛在偏差與過(guò)擬合。所提框架的核心部分是一個(gè)我們專門設(shè)計(jì)的潛在變量模型：當(dāng)新小樣本類別到來(lái)時(shí)，該模型驅(qū)動(dòng)一種一致性自適應(yīng)過(guò)程——不僅調(diào)整新類別，也同步更新相關(guān)的歷史類別，以整合類增量學(xué)習(xí)器剛剛獲得的新知識(shí)。我們還推導(dǎo)了對(duì)未來(lái)類別的誤差泛化上界，為所提策略提供了理論依據(jù)。通過(guò)在三個(gè)主流小樣本類增量學(xué)習(xí)基準(zhǔn)上的大量實(shí)驗(yàn)，以平均總體分類準(zhǔn)確率、最終分類準(zhǔn)確率及性能下降率（用于評(píng)估災(zāi)難性遺忘）等多項(xiàng)指標(biāo)衡量，所提自適應(yīng)策略的有效性得到充分驗(yàn)證。此外，在真實(shí)醫(yī)學(xué)基準(zhǔn)上取得的當(dāng)前最優(yōu)分類準(zhǔn)確率與性能保持結(jié)果，進(jìn)一步證明了該自適應(yīng)策略在現(xiàn)實(shí)場(chǎng)景中的學(xué)習(xí)能力。

原文：https://www.jair.org/index.php/jair/article/view/17006/27160