• 論文標(biāo)題：Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation
• 項(xiàng)目地址：https://github.com/AI9Stars/Cheers
• 模型地址：https://huggingface.co/ai9stars/Cheers
• HF Daily Paper：https://huggingface.co/papers/2603.12793
• 論文鏈接：https://arxiv.org/abs/2603.12793

過去幾年，多模態(tài)模型在理解任務(wù)上快速演進(jìn)，圖像問答、OCR、視覺推理、跨模態(tài)對話等能力不斷提升；與此同時，圖像生成模型也在視覺質(zhì)量、指令遵循和細(xì)節(jié)表達(dá)上持續(xù)突破。下一步一個自然的問題是：能否用同一個模型，同時做好理解與生成？這正是統(tǒng)一多模態(tài)模型（Unified Multimodal Models, UMMs）正在回答的問題。

但這件事并不容易。理解任務(wù)更依賴穩(wěn)定、抽象、適合推理的語義表示，生成任務(wù)則要求模型保留充足的局部細(xì)節(jié)與高頻紋理，以保證圖像質(zhì)量和真實(shí)感。近期越來越多工作都注意到，理解與生成在視覺表征和優(yōu)化目標(biāo)上存在天然張力，如何在同一個框架中兼顧二者，仍然是統(tǒng)一多模態(tài)建模最核心的挑戰(zhàn)之一。

今天，我們正式介紹并開源發(fā)布 CHEERS。CHEERS 提出了一種面向統(tǒng)一多模態(tài)理解與生成的架構(gòu)路線：在盡可能保持系統(tǒng)簡潔的前提下，將理解任務(wù)與生成任務(wù)統(tǒng)一到同一個端到端框架中進(jìn)行聯(lián)合優(yōu)化，并最大程度繼承開源預(yù)訓(xùn)練模型已有知識。我們希望它回答的不只是 “能否統(tǒng)一”，更是能否以一種足夠簡潔、足夠高效、足夠開源友好的方式完成統(tǒng)一。Cheers 實(shí)現(xiàn)了：

• 統(tǒng)一多模態(tài)理解與生成的端到端框架
• 保持架構(gòu)簡潔，同時實(shí)現(xiàn)理解與生成聯(lián)合優(yōu)化
• 零額外預(yù)訓(xùn)練成本，充分繼承開源預(yù)訓(xùn)練模型知識，相對傳統(tǒng) VLM 僅增加輕量 VAE 與 Cascaded Flow Matching Head
• 更少訓(xùn)練數(shù)據(jù)下達(dá)到同規(guī)模 SOTA / 領(lǐng)先性能
• 4× token compression，兼顧統(tǒng)一建模與高效率

一、當(dāng)前統(tǒng)一多模態(tài)模型的技術(shù)方案？

從視覺表示角度看，現(xiàn)有工作又大致呈現(xiàn)出幾種典型思路。有些方法會把理解和生成放在相對分離的視覺空間里，各自優(yōu)化、互不干擾，這類方案任務(wù)性能通常不差，但統(tǒng)一性相對有限；有些方法更強(qiáng)調(diào)單一語義空間，希望讓同一套表示同時支撐理解與生成，但往往會在結(jié)構(gòu)細(xì)節(jié)上遇到瓶頸；還有一些方法嘗試融合異構(gòu)特征，把語義信息與像素級信息匯總到一起，但融合之后也容易出現(xiàn)干擾和拉扯。CHEERS 的位置，正是在這些路線之間給出一個更加克制的答案：不追求把所有問題壓縮成一種表示，也不走完全分離的雙系統(tǒng)，而是在統(tǒng)一框架下重新安排語義與細(xì)節(jié)的職責(zé)。

二、CHEERS，一條現(xiàn)實(shí)可行的統(tǒng)一路線

在這個問題上，CHEERS 的出發(fā)點(diǎn)非常明確：不是為了統(tǒng)一而引入龐大而復(fù)雜的組合系統(tǒng)，而是在保留已有開源預(yù)訓(xùn)練能力的基礎(chǔ)上，用盡可能小的架構(gòu)增量完成從 “理解模型” 到 “理解 + 生成統(tǒng)一模型” 的升級。具體來說，CHEERS 構(gòu)建了一個統(tǒng)一多模態(tài)大模型框架，通過統(tǒng)一視覺 tokenizer、LLM 主干以及 Cascaded Flow Matching Head，將多模態(tài)理解與圖像生成納入同一條端到端鏈路。

這個設(shè)計(jì)最重要的價值在于兩點(diǎn)。第一，它實(shí)現(xiàn)了理解與生成任務(wù)的同時優(yōu)化。同一個 LLM 主干既服務(wù)于文本自回歸與多模態(tài)理解，也服務(wù)于圖像生成過程中的條件建模，從而讓統(tǒng)一不再停留在 “模塊拼裝”，而成為真正端到端的聯(lián)合建模。第二，它盡可能繼承了開源預(yù)訓(xùn)練模型已有知識。CHEERS 不需要為了 “統(tǒng)一化” 額外再做一輪昂貴的大規(guī)模預(yù)訓(xùn)練，而是完整保留并利用已有預(yù)訓(xùn)練能力，讓統(tǒng)一多模態(tài)模型的構(gòu)建成本顯著降低。對于開源社區(qū)而言，這一點(diǎn)尤其重要，因?yàn)檎嬲鼙怀掷m(xù)復(fù)現(xiàn)、擴(kuò)展和使用的路線，不只是性能強(qiáng)，更要足夠現(xiàn)實(shí)。

三、CHEERS 如何處理 “語義” 和 “細(xì)節(jié)”

近期不少統(tǒng)一多模態(tài)工作都已經(jīng)觀察到類似經(jīng)驗(yàn)：理解更偏向穩(wěn)定語義，生成更依賴細(xì)節(jié)保真。這說明問題本身正在逐漸被行業(yè)看清。在 CHEERS 中，視覺信息被組織為兩類互補(bǔ)成分：語義 token 用于多模態(tài)理解和生成條件控制，細(xì)節(jié)殘差則用于在生成過程中補(bǔ)足高頻紋理和局部保真。

對應(yīng)地，在生成階段，CHEERS 采用 “先語義、后細(xì)節(jié)” 的級聯(lián)方式：先生成全局語義布局，再通過語義門控逐步注入細(xì)節(jié)信息，對局部紋理進(jìn)行修正和增強(qiáng)。同時我們發(fā)現(xiàn)，即便沒有對高頻細(xì)節(jié)注入強(qiáng)度做顯式監(jiān)督，模型也會在生成后期自然增強(qiáng)對高頻細(xì)節(jié)的使用。這種現(xiàn)象非常像人類作畫時 “先搭結(jié)構(gòu)、再補(bǔ)內(nèi)容、后補(bǔ)紋理” 的過程，也說明 CHEERS 的設(shè)計(jì)并不是機(jī)械堆疊模塊，而是在建模上更貼近理解與生成各自的需求節(jié)奏。

四、小數(shù)據(jù)，大性能：

更重要的是特征空間的統(tǒng)一

從實(shí)驗(yàn)結(jié)果來看，CHEERS 在同等規(guī)模統(tǒng)一多模態(tài)模型中取得了很強(qiáng)的綜合表現(xiàn)。在多項(xiàng)主流理解基準(zhǔn)與生成基準(zhǔn)上，CHEERS 都展現(xiàn)出競爭性甚至領(lǐng)先的結(jié)果。論文中，CHEERS 在 GenEval 上達(dá)到 0.78，在 MMBench、MMStar、AI2D、MathVista 等理解基準(zhǔn)上也取得了穩(wěn)健表現(xiàn)。同時，CHEERS 還實(shí)現(xiàn)了 4× token compression，為高分辨率視覺理解與生成提供了更高效率的統(tǒng)一建模方式。

相比單純列舉性能，我們更想強(qiáng)調(diào)另一點(diǎn)：CHEERS 達(dá)成這些結(jié)果時，使用的數(shù)據(jù)規(guī)模顯著小于部分同類方法。CHEERS 總訓(xùn)練樣本規(guī)模為 83M，相比一些同類工作節(jié)省了約 2× 甚至更多的數(shù)據(jù)需求，仍然能夠達(dá)到同規(guī)模 SOTA 或領(lǐng)先性能。這說明 CHEERS 的優(yōu)勢不只是 “訓(xùn)得出來”，而是它對已有預(yù)訓(xùn)練知識具有更高的繼承和利用效率。某種意義上，這比單純提升某個 benchmark 分?jǐn)?shù)更值得關(guān)注，因?yàn)榻y(tǒng)一多模態(tài)走到今天，真正稀缺的已經(jīng)不只是數(shù)據(jù)規(guī)模，而是如何把已有知識體系更高效地組織起來。

五、總結(jié)

在我們看來，CHEERS 的意義不止體現(xiàn)在結(jié)果上，也體現(xiàn)在它對統(tǒng)一多模態(tài)研究提供了一些值得繼續(xù)思考的方向。

第一個啟發(fā)是：統(tǒng)一模型真正需要統(tǒng)一的，未必是單一視覺表示本身，而可能是一個足夠穩(wěn)定、足夠高效的信息接口。如果不同任務(wù)對視覺信息的需求本來就不同，那么比起強(qiáng)行讓所有能力共享同一份表征，更重要的也許是讓不同信息以合適方式進(jìn)入統(tǒng)一主干。

第二個啟發(fā)是：理解與生成并不一定互相拖累，關(guān)鍵在于架構(gòu)設(shè)計(jì)是否合理。論文表明，在統(tǒng)一架構(gòu)設(shè)計(jì)下，聯(lián)合訓(xùn)練生成目標(biāo)不會顯著破壞理解能力，反而有機(jī)會帶來細(xì)粒度感知層面的增益。

第三個啟發(fā)是：高效統(tǒng)一多模態(tài)，不一定意味著更重、更大、更復(fù)雜。CHEERS 用簡單的系統(tǒng)改動，完成了從傳統(tǒng)理解型 VLM 到統(tǒng)一模型的升級，這為后續(xù)很多開源工作提供了一種更現(xiàn)實(shí)的參考路徑。

第四個啟發(fā)是：效率問題本身就是統(tǒng)一多模態(tài)問題的一部分。CHEERS 的 4× token compression 不只是工程優(yōu)化，也意味著高分辨率理解與生成可以在更現(xiàn)實(shí)的計(jì)算預(yù)算下被同時納入一個系統(tǒng)中，這對未來更長上下文、更復(fù)雜視覺輸入的統(tǒng)一建模都很關(guān)鍵。

我們期待的不只是一個更強(qiáng)的模型，而是一條讓更多研究者和開發(fā)者都能繼續(xù)往前推進(jìn)的路線。因此我們開源了訓(xùn)練、推理測評代碼和模型權(quán)重，并于近期開源微調(diào)數(shù)據(jù)。希望大家可以支持我們的工作。

作者簡介：

張易辰，碩士，高級工程師，專注于理解生成統(tǒng)一方向，面向基礎(chǔ)模型架構(gòu)設(shè)計(jì)、大模型預(yù)訓(xùn)練進(jìn)行了相關(guān)研究；彭達(dá)，碩士在讀，專注于多模態(tài)理解和生成、高效推理，面向基礎(chǔ)架構(gòu)、預(yù)訓(xùn)練、視頻高效編碼進(jìn)行了相關(guān)研究；通訊作者郭宗昊，博士，清華THUNLP訪問學(xué)者，專注于多模態(tài)智能，面向多模態(tài)基礎(chǔ)模型架構(gòu)設(shè)計(jì)、大模型預(yù)訓(xùn)練與模型深思考能力進(jìn)行了相關(guān)研究，在CVPR、NeurIPS、IJCV等頂會頂刊發(fā)表論文20余篇，谷歌學(xué)術(shù)引用超2000次。