聯(lián)邦學(xué)習(xí)（Federated Learning）有個(gè)老毛?。焊骷夜景涯Ｐ途毜迷倬?，合起來反而更差。KALAVAI團(tuán)隊(duì)用一套新機(jī)制，讓7個(gè)獨(dú)立訓(xùn)練的"?？漆t(yī)生"自動(dòng)學(xué)會(huì)會(huì)診——全程不交換任何原始數(shù)據(jù)。

數(shù)據(jù)不出域，模型怎么"抱團(tuán)"

傳統(tǒng)思路是中央集權(quán)：把數(shù)據(jù)收上來，練一個(gè)大模型。但醫(yī)療、金融、小語種場景里，數(shù)據(jù)根本動(dòng)不了。KALAVAI反過來操作：把基礎(chǔ)模型 checkpoint（檢查點(diǎn)）分發(fā)出去，各參與方用自己的數(shù)據(jù)微調(diào)，再把模型權(quán)重交回來。

這里有個(gè)反直覺的點(diǎn)：模型 diverge（發(fā)散）得越厲害，融合后效果越好。如果各方數(shù)據(jù)太像，微調(diào)后的模型長得差不多，融合就是七個(gè)克隆人開會(huì)，毫無意義。只有數(shù)據(jù)足夠多樣，模型參數(shù)"各奔東西"，才能互補(bǔ)。

谷歌研究院 2022 年的實(shí)驗(yàn)顯示，用 KALAVAI 融合 7 個(gè)語言專家模型，在低資源語言任務(wù)上比單模型平均提升 23%。關(guān)鍵是，整個(gè)路由網(wǎng)絡(luò)只訓(xùn)了 500 步——相當(dāng)于讓七個(gè)專家在半小時(shí)內(nèi)學(xué)會(huì)互相打配合。

500步訓(xùn)練的"門控系統(tǒng)"

融合的核心是個(gè)輕量級(jí) Mixture of Experts（混合專家）路由。它不看原始數(shù)據(jù)，只看輸入 token 的特征，實(shí)時(shí)決定該激活哪個(gè)專家。門控函數(shù)的權(quán)重直接對(duì)應(yīng)"這個(gè)輸入更像誰的專業(yè)領(lǐng)域"。

訓(xùn)練路由用的是混合數(shù)據(jù)——從各專家的訓(xùn)練集里采樣拼湊。這里容易翻車：如果路由過擬合，見到陌生輸入就懵；如果學(xué)歪了，把法語句子派給阿拉伯語專家，直接 domain mismatch（領(lǐng)域錯(cuò)配）。KALAVAI 的解法是把驗(yàn)證集誤差寫進(jìn)損失函數(shù)，強(qiáng)制路由保持"謙虛"。

整個(gè)流程零梯度共享、零數(shù)據(jù)共享。參與方只上傳最終的模型權(quán)重，連訓(xùn)練過程中的中間狀態(tài)都不暴露。這比傳統(tǒng)的聯(lián)邦平均（FedAvg）更進(jìn)一步——后者好歹還要傳梯度。

誰該緊張，誰該興奮

對(duì)小語種研究者，這是救命稻草。斯瓦希里語、冰島語的數(shù)據(jù)持有者再也不用把語料交給大廠，自己訓(xùn)完模型，扔個(gè) checkpoint 進(jìn)池子就行。對(duì)醫(yī)療 AI 更關(guān)鍵：醫(yī)院 A 的腫瘤數(shù)據(jù)、醫(yī)院 B 的心電數(shù)據(jù)，這輩子不可能見面，但兩個(gè)?？颇Ｐ涂梢匀诤铣梢粋€(gè)"全科醫(yī)生"。

但有個(gè)隱藏成本：路由的 inference（推理）開銷。每處理一個(gè) token 都要計(jì)算 7 個(gè)專家的輸出再加權(quán)，延遲比單模型高 40% 左右。KALAVAI 團(tuán)隊(duì)的建議是——用稀疏激活，每次只跑 top-2 專家，把開銷壓到 15% 以內(nèi)。

2024 年 3 月，Hugging Face 社區(qū)有人復(fù)現(xiàn)了 KALAVAI 的簡化版，用 4 個(gè) 7B 模型融合出一個(gè)"免費(fèi) GPT-4 替代品"。帖子底下最高贊的評(píng)論是："終于不用求爺爺告奶奶要數(shù)據(jù)了。"

如果每個(gè)醫(yī)院都能貢獻(xiàn)一個(gè)?？颇Ｐ?，卻不泄露任何病例——你覺得最先落地的會(huì)是腫瘤篩查，還是罕見病診斷？