本文第一作者是二年級博士生閆熠辰，主要研究方向是多模態(tài)大模型的數(shù)據(jù)質(zhì)量管理；通訊作者是李環(huán)研究員，主要研究方向包括人工智能數(shù)據(jù)準(zhǔn)備、大模型高效推理與部署、時空大數(shù)據(jù)與模型輕量化等。

01 省流版：一張圖看懂 COIDO

在深入技術(shù)細(xì)節(jié)之前，我們先用一張漫畫來直觀理解 COIDO (Coupled Importance-Diversity Optimization) 解決的核心問題與方案：

正如鐘離在漫畫中所言，面對海量視覺指令數(shù)據(jù)的選擇任務(wù)，傳統(tǒng)方法需要遍歷全部數(shù)據(jù)才能進(jìn)行篩選造成大量「磨損」（高昂計算成本）。同時在面對數(shù)據(jù)重要性和多樣性問題時，傳統(tǒng)方法往往顧此失彼。而 COIDO 通過「耦合優(yōu)化」的新契約，實現(xiàn)了以簡馭繁的效果。

02 論文速覽

• 論文題目：COIDO: Efficient Data Selection for Visual Instruction Tuning via Coupled Importance-Diversity Optimization
• 收錄會議：NeurIPS 2025
• 作者單位：浙江大學(xué)大數(shù)據(jù)智能團(tuán)隊、杭州電子科技大學(xué)、北京郵電大學(xué)
• 項目代碼：https://github.com/SuDIS-ZJU/COIDO
• 論文鏈接：https://arxiv.org/abs/2510.17847

03 研究背景與動機(jī) (Motivation)

多模態(tài)大語言模型（MLLM）的能力在很大程度上依賴于高質(zhì)量的視覺指令微調(diào)（Visual Instruction Tuning）。然而，隨著數(shù)據(jù)集規(guī)模的爆炸式增長（如 LLaVA-665K），在全量數(shù)據(jù)上進(jìn)行微調(diào)帶來了巨大的計算開銷和冗余 。

現(xiàn)有的數(shù)據(jù)篩選方法雖然旨在選取高質(zhì)量子集，但普遍存在兩個關(guān)鍵痛點：

• 高昂的篩選成本：現(xiàn)有方法通常要求目標(biāo) MLLM 對全量數(shù)據(jù)進(jìn)行反向傳播以計算重要性（如梯度、Loss），這導(dǎo)致篩選階段本身的計算成本就極高，違背了 「降本增效」的初衷 。也就是說，為了篩選出少量有價值數(shù)據(jù)，我們還是得讓全部的數(shù)據(jù)進(jìn)入到目標(biāo) MLLM 當(dāng)中并訓(xùn)練。
• 優(yōu)化目標(biāo)的解耦：數(shù)據(jù)篩選通常需要兼顧重要性（Importance）和多樣性（Diversity）?，F(xiàn)有方法往往將二者割裂處理——在訓(xùn)練階段關(guān)注重要性，在篩選階段通過獨立算法處理多樣性。這種解耦往往導(dǎo)致次優(yōu)的權(quán)衡 。

針對上述問題，本文提出了 COIDO 框架，旨在通過極低成本的訓(xùn)練，實現(xiàn)重要性與多樣性的聯(lián)合（耦合）優(yōu)化 。

04 方法論 (Mothodology)

COIDO 的核心思想是摒棄「遍歷全量數(shù)據(jù)」的舊范式，轉(zhuǎn)而采用輕量級評分器（Plug-in Scorer）配合小樣本采樣的策略。

1. 輕量級評分器與小樣本學(xué)習(xí)：不同于需要全量微調(diào) MLLM 的方法，COIDO 引入了一個輕量級的插件評分器（COIDO Scorer）。我們僅從全量數(shù)據(jù)中隨機(jī)采樣一小部分（例如 20%）作為訓(xùn)練集。評分器通過這部分?jǐn)?shù)據(jù)學(xué)習(xí)整個數(shù)據(jù)集的分布特征，從而能夠?qū)κＳ鄶?shù)據(jù)進(jìn)行泛化評分，無需遍歷全集進(jìn)行訓(xùn)練 。

2. 重要性與多樣性的耦合優(yōu)化 (Coupled Optimization)：這是本論文的核心創(chuàng)新點。本文將重要性和多樣性的優(yōu)化統(tǒng)一在了一個聯(lián)合訓(xùn)練框架中，而非分階段進(jìn)行：

重要性損失 (L_I)：基于 Cross-Entropy Loss 的重加權(quán)。我們將評分器輸出的得分 w 加權(quán)作用于 MLLM 的預(yù)測 Loss。根據(jù)反向傳播原理，模型會自動降低高難度（高 Loss）樣本的權(quán)重以最小化整體 Loss，從而使得評分器隱式地學(xué)習(xí)到樣本的重要性（即：分?jǐn)?shù)越低，樣本越重要 / 越難）
多樣性損失 (L_D)：基于譜聚類（Spectral Clustering）的方差最小化。我們在特征空間將數(shù)據(jù)聚類，并計算各簇（Cluster）平均得分的方差。通過最小化該方差，迫使模型在挑選高分樣本時，不會過度集中于某一類，從而保證了數(shù)據(jù)的多樣性分布。

05 實驗 (Experiments)

本文在 LLaVA-1.5-7B 模型及 LLaVA-665K 數(shù)據(jù)集上進(jìn)行了廣泛驗證，并在 10 個主流多模態(tài)基準(zhǔn)（包括 VQAv2, GQA, MMBench 等）上進(jìn)行了測試。

1. 性能與效率的雙重 SOTA：實驗結(jié)果表明，COIDO 僅利用 20% 的數(shù)據(jù)進(jìn)行訓(xùn)練和篩選，即可達(dá)到全量數(shù)據(jù)微調(diào) 98.2% 的平均性能。與現(xiàn)有的 SOTA 方法（如 ICONS、TIVE、COINCIDE）相比：

• 計算效率最高：COIDO 擁有最低的 Total FLOPs (4.2E)，顯著優(yōu)于需要全量遍歷的方法。
• 篩選質(zhì)量最優(yōu)：在相同的數(shù)據(jù)留存率下，COIDO 在各個 Benchmark 上均取得了極具競爭力的結(jié)果。

2. 強(qiáng)大的泛化性與遷移性：將在 LLaVA-665K 上訓(xùn)練好的 COIDO Scorer 直接應(yīng)用于 Vision-Flan 數(shù)據(jù)集（Zero-shot Transfer），其表現(xiàn)甚至優(yōu)于在該數(shù)據(jù)集上從頭訓(xùn)練的評分器，證明了 COIDO 能夠?qū)W習(xí)到通用的數(shù)據(jù)價值評估標(biāo)準(zhǔn)。

06 總結(jié) (Conclusion)

COIDO 提供了一種全新的多模態(tài)數(shù)據(jù)篩選范式。它打破了「數(shù)據(jù)篩選必須昂貴」的刻板印象，證明了通過耦合優(yōu)化和小樣本學(xué)習(xí)，我們可以「以簡馭繁」，用極小的計算代價精準(zhǔn)定位高價值的視覺指令數(shù)據(jù)。這不僅為資源受限的研究者提供了高效微調(diào) MLLM 的可能，也為未來大規(guī)模多模態(tài)數(shù)據(jù)的自動化清洗與治理提供了新的思路。

關(guān)注項目主頁獲取更多細(xì)節(jié)與代碼實現(xiàn)！