本文作者為：En Yu, Jie Lu, Kun Wang, Xiaoyu Yang, Guangquan Zhang。所有作者均來(lái)自于悉尼科技大學(xué)（UTS）澳大利亞人工智能研究院（AAII）。

在智慧城市、社交媒體、工業(yè)物聯(lián)網(wǎng)等真實(shí)開(kāi)放動(dòng)態(tài)環(huán)境中，數(shù)據(jù)往往以多流（Multistream）形式并發(fā)產(chǎn)生。然而，現(xiàn)實(shí)世界并非完美的實(shí)驗(yàn)室，這些數(shù)據(jù)流往往存在異構(gòu)性，且分布變化各不相同，伴隨著復(fù)雜的異步概念漂移。

如何讓模型既能 “專(zhuān)精” 于單一流的特性，又能 “博采眾長(zhǎng)” 利用流間相關(guān)性，同時(shí)還能自適應(yīng)分布變化？

悉尼科技大學(xué)（UTS）研究團(tuán)隊(duì)提出了一種全新的漂移感知協(xié)作輔助混合專(zhuān)家學(xué)習(xí)框架CAMEL(Collaborative Assistance Mixture of Experts Learning)。

CAMEL 巧妙地將混合專(zhuān)家模型（MoE）引入流式學(xué)習(xí)，通過(guò) “私有專(zhuān)家” 與 “輔助專(zhuān)家” 的協(xié)作機(jī)制，以及自動(dòng)化專(zhuān)家生命周期管理，完美解決了異構(gòu)多流學(xué)習(xí)中的關(guān)鍵問(wèn)題。該工作已被 AAAI 2026 接收為 Oral 論文。

• 論文標(biāo)題：Drift-aware Collaborative Assistance Mixture of Experts for Heterogeneous Multistream Learning
• 論文鏈接：https://arxiv.org/abs/2508.01598

01 引言

在真實(shí)應(yīng)用場(chǎng)景中，數(shù)據(jù)通常以連續(xù)且無(wú)限的數(shù)據(jù)流形式產(chǎn)生，其生成機(jī)制往往呈現(xiàn)顯著的非平穩(wěn)性，即數(shù)據(jù)的聯(lián)合概率分布隨時(shí)間發(fā)生不可預(yù)測(cè)的概念漂移。這一特性與經(jīng)典機(jī)器學(xué)習(xí)所依賴(lài)的獨(dú)立同分布（I.I.D.）假設(shè)存在根本沖突。

然而，現(xiàn)有研究大多聚焦于單一或同構(gòu)數(shù)據(jù)流的漂移建模，難以應(yīng)對(duì)真實(shí)世界中普遍存在的多源異構(gòu)數(shù)據(jù)流情形。以智能城市為例，交通傳感器、氣象觀(guān)測(cè)、公共交通記錄及社交媒體等信息流在時(shí)間尺度與演化模式上彼此獨(dú)立，卻潛藏著重要的動(dòng)態(tài)關(guān)聯(lián)。若能在概念漂移過(guò)程中有效挖掘并利用這些跨流關(guān)系，將顯著提升決策的準(zhǔn)確性與魯棒性。

現(xiàn)有的方法往往陷入兩難：要么假設(shè)所有流是同構(gòu)的，強(qiáng)行統(tǒng)一處理導(dǎo)致模型失配；要么采用靜態(tài)模型，一旦某個(gè)流發(fā)生漂移，重新訓(xùn)練會(huì)導(dǎo)致 “災(zāi)難性遺忘”，而增量微調(diào)又可能因?yàn)榱髦g的不同步演化而引發(fā) “負(fù)遷移” 。

為此，作者正式定義了異構(gòu)多流學(xué)習(xí)（HML）問(wèn)題，并提出 CAMEL 框架。這是一種動(dòng)態(tài)的、通過(guò)協(xié)作輔助的混合專(zhuān)家學(xué)習(xí)框架，通過(guò)模塊化設(shè)計(jì)在 “專(zhuān)精 — 協(xié)作 — 適應(yīng)” 之間取得平衡。

圖 1：CAMEL 整體框架。每個(gè)流的 MoE 模塊利用動(dòng)態(tài)的私有專(zhuān)家?guī)旌蛯?zhuān)用的輔助專(zhuān)家，通過(guò)多頭注意力進(jìn)行協(xié)作融合。系統(tǒng)遵循 “測(cè)試 - 診斷 - 適應(yīng)” 的循環(huán)，通過(guò)自主專(zhuān)家調(diào)節(jié)器動(dòng)態(tài)管理專(zhuān)家生命周期以響應(yīng)漂移信號(hào)。

02 方法論與架構(gòu)設(shè)計(jì)

研究團(tuán)隊(duì)面向 HML 場(chǎng)景下的三大核心挑戰(zhàn)：內(nèi)在異構(gòu)性、多流知識(shí)融合以及異步概念漂移，設(shè)計(jì)了一套模塊化的漂移感知架構(gòu)。

挑戰(zhàn)一：內(nèi)在異構(gòu)性

CAMEL 為每個(gè)流配置異構(gòu)感知的 “獨(dú)立系統(tǒng)”：

挑戰(zhàn)二：多流知識(shí)融合

多流數(shù)據(jù)的核心價(jià)值在于流之間的潛在相關(guān)性，但盲目融合所有流的信息會(huì)導(dǎo)致負(fù)遷移。

挑戰(zhàn)三：異步概念漂移

面對(duì)數(shù)據(jù)分布的非平穩(wěn)性，CAMEL 設(shè)計(jì)了自主專(zhuān)家調(diào)優(yōu)器 ，在專(zhuān)家粒度上實(shí)現(xiàn)模型容量的在線(xiàn)伸縮，遵循 “測(cè)試 - 診斷 - 適應(yīng)” 的閉環(huán)邏輯：

• 漂移檢測(cè)：利用基于最大均值差異（MMD）的漂移檢測(cè)器監(jiān)控特征分布變化。
• 增量式擴(kuò)展（Add & Freeze）： 當(dāng)檢測(cè)到漂移且伴隨性能顯著下降時(shí)， 實(shí)例化一個(gè)新的私有專(zhuān)家學(xué)習(xí)新概念，并凍結(jié)舊專(zhuān)家以規(guī)避災(zāi)難性遺忘。

03 理論分析與實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)驗(yàn)證：為了驗(yàn)證 CAMEL 的有效性，研究團(tuán)隊(duì)構(gòu)建了包含 12 個(gè)合成流和 4 個(gè)真實(shí)數(shù)據(jù)集（涵蓋了天氣、新聞、信用卡信息等）的 8 大基準(zhǔn)場(chǎng)景。

表 1 中的結(jié)果表明，CAMEL 在幾乎所有場(chǎng)景中實(shí)現(xiàn)了最先進(jìn)的平均準(zhǔn)確率，顯著超越了單流基線(xiàn)（SRP、AMF、IWE）和多流方法（MCMO、OBAL、BFSRL）。CAMEL 的優(yōu)越性在異構(gòu)環(huán)境中尤為明顯，現(xiàn)有的多流方法由于依賴(lài)共享特征或標(biāo)簽空間而失敗。相比之下，CAMEL 的流特定模塊能夠在輸入異構(gòu)下實(shí)現(xiàn)穩(wěn)健的性能。該框架還通過(guò)其協(xié)作輔助機(jī)制有效利用潛在的流間相關(guān)性，超越了單流方法。

表 1：各方法在所有基準(zhǔn)上的分類(lèi)準(zhǔn)確率（%）。紅色代表最優(yōu)，藍(lán)色代表次優(yōu)。

04 結(jié)語(yǔ)

CAMEL 的提出標(biāo)志著多流學(xué)習(xí)從 “靜態(tài)同構(gòu)” 向 “動(dòng)態(tài)異構(gòu)” 邁出了關(guān)鍵一步。 該框架以私有專(zhuān)家保障流內(nèi)專(zhuān)精，以輔助專(zhuān)家挖掘跨流關(guān)聯(lián)，并通過(guò)自動(dòng)化的專(zhuān)家生命周期管理在漂移下實(shí)現(xiàn)持續(xù)適應(yīng)與效率控制，為復(fù)雜、動(dòng)態(tài)演化的異構(gòu)多流場(chǎng)景提供了一種可擴(kuò)展的解決方案。