本文第一作者郝一鳴，香港中文大學(xué)（深圳）GAP-Lab 在讀博士生。本文共同第一作者為許牧天，于香港中文大學(xué)（深圳）取得博士學(xué)位。導(dǎo)師韓曉光教授，為本文通訊作者。

個性化視覺生成的實(shí)際應(yīng)用中，通用視覺基礎(chǔ)模型的表現(xiàn)往往難以滿足精準(zhǔn)需求。為實(shí)現(xiàn)高度定制化的生成效果，通常需對大模型進(jìn)行針對性的自適應(yīng)微調(diào)，但當(dāng)前以 LoRA 為代表的主流方法，仍受限于定制化數(shù)據(jù)收集與冗長的優(yōu)化流程，耗時耗力，難以在真實(shí)場景中廣泛應(yīng)用。

為此，港中大（深圳）GAP-Lab 提出全新框架LoFA，從上重塑個性化視覺生成的技術(shù)路徑。該框架能夠在數(shù)秒內(nèi)根據(jù)用戶指令前饋式直出對應(yīng)的 LoRA 參數(shù)，使大模型快速適配到個性化任務(wù)中 —— 無需漫長優(yōu)化，效果卻媲美甚至超越傳統(tǒng) LoRA，真正推動大模型適配進(jìn)入 “即時獲取” 的新時代。

• 論文名稱：LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models
• 論文鏈接：https://arxiv.org/abs/2512.08785
• 項目主頁：https://jaeger416.github.io/lofa/
• 開源代碼：https://github.com/GAP-LAB-CUHK-SZ/LoFA

背景與挑戰(zhàn)

圖 1. LoFA 概念圖：與傳統(tǒng) LoRA 的對比

近年來，創(chuàng)意媒體和視覺內(nèi)容的需求持續(xù)增長，這推動了功能強(qiáng)大的視覺生成基礎(chǔ)模型的發(fā)展。這類模型通過大規(guī)模圖像或視頻數(shù)據(jù)集訓(xùn)練，展現(xiàn)出豐富的能力與通用的先驗(yàn)知識。然而，面對用戶的個性化需求 —— 尤其是涉及細(xì)粒度指令時，模型往往難以生成完全符合用戶期望的結(jié)果（如圖 1 “WAN” 所示，文本到視頻基礎(chǔ)模型 WAN 在理解 “一名男子正在做功夫側(cè)踢” 這類具體動作指令時表現(xiàn)不佳）。

為解決這一問題，早期研究通常采用 parameter-efficient fine-tuning (PEFT) 技術(shù)，通過融入個性化先驗(yàn)知識來調(diào)整模型。但這些方法需要為每個個性化任務(wù)單獨(dú)優(yōu)化適配器（例如 LoRA），不僅依賴特定任務(wù)數(shù)據(jù)，還需大量優(yōu)化時間（見圖 1 “Classical LoRA” 示例），難以滿足實(shí)際應(yīng)用中用戶對快速響應(yīng)新需求的要求。

為實(shí)現(xiàn)快速適配，近期少量研究嘗試在測試階段直接預(yù)測 LoRA 權(quán)重。例如，HyperDreamBooth 提出了基于 hypernetwork 的方法，但仍需額外的后優(yōu)化步驟；DiffLoRA 則在此基礎(chǔ)上完全取消了后優(yōu)化過程。然而，這一研究方向面臨一個根本性挑戰(zhàn)：模型必須學(xué)習(xí)從低維細(xì)粒度用戶指令到高維復(fù)雜 LoRA 參數(shù)分布的復(fù)雜映射關(guān)系。

正因如此，現(xiàn)有方法目前僅在圖像生成中針對主體身份個性化這類相對受限的場景中得到驗(yàn)證。這一局限可能源于這些方法將 LoRA 權(quán)重壓縮至低維空間作為超網(wǎng)絡(luò)輸出，不可避免地造成信息損失并限制模型表達(dá)能力。因此，如何實(shí)現(xiàn)能夠有效處理細(xì)粒度用戶指令或高維復(fù)雜 LoRA 權(quán)重的快速模型適配方法 —— 這對面向用戶的實(shí)際應(yīng)用至關(guān)重要 —— 仍然是視覺生成領(lǐng)域一個亟待探索的研究難題。

為彌補(bǔ)這一空白，本論文提出了 LoFA—— 一種通用的學(xué)習(xí)框架，能夠從多樣化或細(xì)粒度的用戶指令中直接預(yù)測個性化 LoRA 參數(shù)，實(shí)現(xiàn)視覺生成模型的快速適配（見圖 1 “LoFA” 部分）。

核心方法介紹

圖 2. LoRA 響應(yīng)圖譜的可視化：獨(dú)特的結(jié)構(gòu)化分布

LoFA 的核心思路是在 hypernetwork 的設(shè)計中嵌入一種新型引導(dǎo)機(jī)制，使其能夠直接從用戶指令中預(yù)測完整且未經(jīng)壓縮的 LoRA 權(quán)重，而無需依賴有損壓縮技術(shù)。為實(shí)現(xiàn)這一目標(biāo)，作者首先發(fā)現(xiàn)了 LoRA 的一個關(guān)鍵特性 —— 響應(yīng)圖譜。該圖譜呈現(xiàn)為個性化 LoRA 權(quán)重與原始模型參數(shù)間相對變化所形成的獨(dú)特結(jié)構(gòu)化模式，能夠有效捕捉用戶指令的核心影響（可視化結(jié)果見圖 2，具體分析見論文）。

圖 3. LoFA 的流程：響應(yīng)圖譜引導(dǎo)的兩階段學(xué)習(xí)框架

基于這一發(fā)現(xiàn)，論文設(shè)計了一種全新架構(gòu)（如圖 3），摒棄了直接進(jìn)行 “指令 - LoRA 權(quán)重” 的暴力映射方式。該架構(gòu)以原始基礎(chǔ)模型權(quán)重作為輸入，通過交叉注意力機(jī)制融合用戶指令，從而學(xué)習(xí)相對適配關(guān)系。整個學(xué)習(xí)過程進(jìn)一步劃分為兩個階段：網(wǎng)絡(luò)首先預(yù)測響應(yīng)圖譜（其維度遠(yuǎn)低于 LoRA 權(quán)重且結(jié)構(gòu)更簡單），隨后運(yùn)用習(xí)得的響應(yīng)知識引導(dǎo)最終的 LoRA 權(quán)重預(yù)測，使其能夠識別并聚焦關(guān)鍵適配區(qū)域，從而簡化學(xué)習(xí)過程并提升穩(wěn)定性。

通過這種結(jié)構(gòu)化響應(yīng)引導(dǎo)的設(shè)計，網(wǎng)絡(luò)能夠?qū)W習(xí)基礎(chǔ)模型與目標(biāo) LoRA 之間的相對適配關(guān)系，同時預(yù)測具備完整表達(dá)能力的、未經(jīng)壓縮的 LoRA 權(quán)重。

實(shí)驗(yàn)分析

論文通過系統(tǒng)性的實(shí)驗(yàn)評估 LoFA 框架在視頻與圖像生成任務(wù)中的有效性。為全面驗(yàn)證其處理多樣化指令條件的泛化能力，論文在三個關(guān)鍵應(yīng)用場景中測試了多種輸入模態(tài)：

在視頻生成任務(wù)中，以 WAN2.1-1.3B 為基礎(chǔ)模型，重點(diǎn)評估兩方面應(yīng)用：

（1）基于文本或運(yùn)動姿態(tài)的個性化人體動作視頻生成，該任務(wù)針對視頻數(shù)據(jù)的核心屬性 —— 動態(tài)運(yùn)動的個性化建模，具有顯著挑戰(zhàn)性；

（2）以風(fēng)格圖像為參考的文本到視頻風(fēng)格化，此為視頻編輯領(lǐng)域的經(jīng)典任務(wù)。

在圖像生成任務(wù)中，采用 Stable Diffusion XL 作為基礎(chǔ)模型，評估（3）ID 個性化圖像生成 —— 這也是先前相關(guān)研究唯一支持的應(yīng)用場景。

LoFA 不僅在性能上顯著超越基線方案，更達(dá)到了與獨(dú)立優(yōu)化的 LoRA 模型相媲美 —— 且在多類場景中表現(xiàn)更優(yōu)的效果，這證明了快速模型適配在實(shí)際應(yīng)用中的可行性。所有結(jié)果如下：

圖 4. 基于文本的個性化人體動作視頻生成結(jié)果對比

圖 5. 基于運(yùn)動姿態(tài)的個性化人體動作視頻生成結(jié)果對比

圖 6. 以風(fēng)格圖像為參考的文本到視頻風(fēng)格化

圖 7. ID 個性化的圖像生成

總結(jié)與展望

LoFA 突破了現(xiàn)有個性化技術(shù)的關(guān)鍵局限 —— 在保持高質(zhì)量生成結(jié)果的同時，徹底消除了冗長的優(yōu)化過程。大量實(shí)驗(yàn)表明，LoFA 取得了與逐例優(yōu)化的 LoRA 模型相當(dāng)甚至更優(yōu)的性能，同時將適配時間從數(shù)小時縮短至秒級。這一進(jìn)展為高效模型適配確立了新的范式，有望推動各類實(shí)時個性化應(yīng)用的發(fā)展。然而，當(dāng)前 LoFA 仍需要針對不同領(lǐng)域的特定指令（如人體動作指令、身份特征指令或藝術(shù)風(fēng)格指令）分別訓(xùn)練獨(dú)立網(wǎng)絡(luò)。理想的解決方案應(yīng)是構(gòu)建具備強(qiáng)大 zero-shot 能力的 unified hypernetwork。通過擴(kuò)大訓(xùn)練數(shù)據(jù)的規(guī)模與多樣性，這一目標(biāo)未來將有望實(shí)現(xiàn)。