Token，這下真成了智能世界的基本單位。

不是被定義出來的“詞元”，而是被一套全新的統(tǒng)一Token架構(gòu)，直接壓進(jìn)了現(xiàn)實(shí)建模的最底層。

過去一年，幾乎所有頭部大模型玩家，都在忙著重寫多模態(tài)的底層架構(gòu)。

從谷歌、OpenAI到國內(nèi)的字節(jié)、MiniMax，大家在實(shí)踐中逐漸形成共識(shí)——不走原生多模態(tài)，已經(jīng)不夠、不行了。

但問題是，原生多模態(tài)到底該怎么走？到目前為止，業(yè)界并沒有一個(gè)統(tǒng)一答案。

直到這一次，一直悶頭搞AI的美團(tuán)LongCat，歘的一下亮出新解法：

把圖片、語音，統(tǒng)統(tǒng)當(dāng)成Token來預(yù)測。

聽起來有點(diǎn)離譜，但他們不僅這么做了，而且——

還做成了。

真原生、真統(tǒng)一

先回答一個(gè)基本問題：為什么要做原生多模態(tài)？

理由雖然很多，但核心只有一個(gè)：

目前業(yè)界主流的多模態(tài)大模型，本質(zhì)上采用的是一套“拼湊式架構(gòu)”——語言模型當(dāng)?shù)鬃?，視覺、語音當(dāng)外掛。

這種架構(gòu)下，理解靠連續(xù)特征對(duì)齊（比如要理解圖片就得把圖片轉(zhuǎn)成語言能看懂的信號(hào)）、生成靠擴(kuò)散模型，兩套系統(tǒng)各說各話，根本談不上真正的統(tǒng)一。

結(jié)果就是，中間“傳話人”一多，算力消耗飆升，信息也一路跑偏、流失。

而原生多模態(tài)，則從一開始就用一套統(tǒng)一的方式，把所有模態(tài)一起建?！恍枰唇?、不需要傳話翻譯，所有模態(tài)共用同一套“語言”。

而這，正是美團(tuán)LongCat做的事。

至于為什么說他們采用的方式很“離譜”，原因在于，他們把“離散自回歸”直接搬到了圖像和語音這種連續(xù)信號(hào)上。

眾所周知，依賴離散自回歸建模，“預(yù)測下一個(gè)Token”讓大語言模型一戰(zhàn)成名。

但當(dāng)這套范式被搬到視覺上時(shí)，問題也隨之出現(xiàn)：

圖片是連續(xù)信號(hào)，不能像文本那樣天然離散，一旦強(qiáng)行切成Token（類似把一張圖分成幾塊），模型就會(huì)丟信息“變?nèi)酢薄?/p>

因此，行業(yè)長期認(rèn)為，離散視覺建模存在“性能天花板”。

但隨著美團(tuán)LongCat一篇新論文的出現(xiàn)，這一認(rèn)知被打破了——

文本、圖像、語音，可以被統(tǒng)一壓進(jìn)同一個(gè)離散Token空間，用一套自回歸邏輯從頭建模，而且模型效果可以媲美主流頂尖模型。

從論文中可以看到，為這套理念提供支撐的，正是美團(tuán)LongCat首創(chuàng)的離散原生自回歸架構(gòu)——DiNA（Discrete Native Autoregressive ）。

DiNA核心只做一件事——把文字、圖像、語音都變成同一種東西，即離散Token。

這樣一來，無論模型是讀文字、看圖片還是聽聲音，本質(zhì)上都是在預(yù)測下一個(gè)Token。

聽起來是不是仍有點(diǎn)抽象？不妨看看下面這張架構(gòu)運(yùn)行圖。

簡單來說，DiNA的一個(gè)完整“小周天”，大致會(huì)經(jīng)歷以下三個(gè)過程：

• 輸入側(cè)：文本、圖像、語音各自經(jīng)過自家Tokenizer，統(tǒng)一把原始信號(hào)轉(zhuǎn)成離散Token；
• 中間：所有Token匯入一個(gè)不區(qū)分模態(tài)的學(xué)習(xí)器，它只處理Token序列，所有理解、推理、生成都在這里完成；
• 輸出側(cè)：處理完的Token再通過各自的De-Tokenizer還原成圖像、音頻、文本。

這種架構(gòu)設(shè)計(jì)帶來的好處顯而易見：

以前都是各管各的（文字模型管文字、圖片模型管圖片），現(xiàn)在所有模態(tài)都共享同一個(gè)自回歸骨干。

這意味著，甭管處理哪種模態(tài)，模型都用同一套參數(shù)、同一個(gè)注意力機(jī)制、同一個(gè)損失函數(shù)。

而這，無疑可以讓模型在訓(xùn)練時(shí)更穩(wěn)定，部署時(shí)更輕量。

訓(xùn)練時(shí)，多模態(tài)數(shù)據(jù)互相補(bǔ)充，梯度信號(hào)更穩(wěn)，不容易跑偏；部署時(shí)，一個(gè)模型頂三個(gè)，顯存省了，速度也快了。

空口無憑。

美團(tuán)LongCat用LongCat-Flash-Lite MoE（總參數(shù)685億，激活僅30億）做基座，在這個(gè)框架上訓(xùn)練出LongCat-Next。

結(jié)果發(fā)現(xiàn)，DiNA的MoE路由在訓(xùn)練中逐漸學(xué)會(huì)了“分工”——不同專家開始偏好處理不同模態(tài)，激活的專家數(shù)量也比純語言模型時(shí)更多，這說明模型正在用更大容量支撐能力擴(kuò)展。

說白了就是，為了多干活，找了更多專家。

再一個(gè)，前面提到了理解和生成的割裂問題（需要兩套系統(tǒng)）。

而在DiNA這里，它倆也變成了“預(yù)測下一個(gè)Token”這一件事——數(shù)學(xué)形式完全一樣，只是輸入輸出互換。

看到圖片，預(yù)測文字是“理解”；看到文字，預(yù)測圖片是“生成”。理解和生成一個(gè)模型全搞定。

至于具體效果嘛？實(shí)驗(yàn)數(shù)據(jù)很能說明問題：

統(tǒng)一模型的理解損失僅比純理解模型高0.006，而生成損失比純生成模型低0.02。

這說明什么？理解不僅沒拖累生成，反而表現(xiàn)出協(xié)同潛力。

以及最后還有很重要的一點(diǎn)，那就是真·原生。

以前的多模態(tài)模型，本質(zhì)上天天干的是“對(duì)齊”的活兒——不同模態(tài)之間“對(duì)話”需要靠“翻譯傳話”。

而現(xiàn)在，美團(tuán)LongCat發(fā)現(xiàn)：

把不同模態(tài)的Token丟進(jìn)t-SNE可視化之后，它們不是各占一角，而是混在一起，自然交融，而且不同的專家模塊開始自動(dòng)偏好處理圖像、文字或語音。

這說明，模型不是在“拼湊”多模態(tài)，而是在內(nèi)部長出了一個(gè)統(tǒng)一的多模態(tài)世界。

說到這里，懂行的朋友可能就問了：

OK，現(xiàn)在我們已經(jīng)知道DiNA架構(gòu)長什么樣、具體怎么運(yùn)作的了，但這里還有一個(gè)關(guān)鍵問題沒有被提到：

它是怎么把不同模態(tài)離散成Token的？文本不必多說，至少得說清圖像和語音咋處理的。

而這，就要談到美團(tuán)LongCat的另一項(xiàng)自研了。

所以，怎么“離散”的？

一般來說，基于以下兩點(diǎn)理由，離散建模一直被人說“不行”：

• 表征容量有限：離散Token就那么幾個(gè)，怕裝不下太多信息；
• 離散化損失：離散化過程會(huì)丟東西，比如一旦把連續(xù)信號(hào)切成塊，細(xì)節(jié)就容易漏掉。

但美團(tuán)LongCat就說了，這些還真不是關(guān)鍵。

真正決定上限的，是離散Token本身是否具備語義完備性（Semantic Completeness）。

換言之，問題不在“要不要離散”，而在離散后的Token本身到底夠不夠“有內(nèi)容”——既懂大意，又摳細(xì)節(jié)。

所以現(xiàn)在問題就變成了：怎么構(gòu)建合適的表征基礎(chǔ)？

先說視覺。

對(duì)此，美團(tuán)LongCat想了兩招。

第一招：先把基礎(chǔ)打好，讓信息在被離散前盡可能豐富、準(zhǔn)確。

他們拿出語義對(duì)齊編碼器SAE（Semantic-and-Aligned Encoder），用來從圖像中提煉高信息密度、多屬性的特征。

不同于傳統(tǒng)對(duì)比學(xué)習(xí)（如SigLIP那種“看文字和圖片是否匹配”），SAE是通過大規(guī)模視覺-語言監(jiān)督，像做閱讀理解一樣，把圖像描述、視覺問答、視覺推理統(tǒng)統(tǒng)學(xué)一遍。

結(jié)果就是，它提取的特征既有“這是什么”的語義，又有“長什么樣”的細(xì)節(jié)。

第二招：甩出自研視覺分詞器dNaViT，把SAE提煉出來的特征，逐級(jí)量化成離散Token。

怎么個(gè)逐級(jí)量化？dNaViT這里采用的是8層殘差向量量化（RVQ），通俗來講就是“分層打包”。

既然細(xì)節(jié)很多，那就第一層打包輪廓、第二層打包顏色、第三層打包紋理……

每一層只負(fù)責(zé)上一層沒包進(jìn)去的“剩余信息”。

8層補(bǔ)下去之后，最后可以實(shí)現(xiàn)高達(dá)28倍的極致像素空間壓縮。

光壓縮還不算完，到了還原圖像的時(shí)候，dNaViT還有一套雙軌解碼器來為還原質(zhì)量“保駕護(hù)航”。

• 結(jié)構(gòu)像素解碼器：搭出低分辨率錨點(diǎn)圖，保布局；
• 擴(kuò)散像素細(xì)化器：注入高頻紋理細(xì)節(jié)，讓畫面更完整清晰。

到這里，美團(tuán)LongCat就完成了視覺離散的幾個(gè)關(guān)鍵步驟——SAE“先看懂”、dNaViT再壓縮和還原。

發(fā)現(xiàn)沒，和語言模型的Tokenizer一樣，dNaViT也把圖像的理解和生成放在同一套Token序列里閉環(huán)流轉(zhuǎn)了。

不過更關(guān)鍵的還在于，在LongCat-Next中：

視覺Token化這個(gè)過程完成的是圖像到離散ID的映射，真正的特征是原生學(xué)習(xí)的。

意思是，視覺Token化這個(gè)過程只負(fù)責(zé)把圖像轉(zhuǎn)成ID編號(hào)，至于這個(gè)編號(hào)代表什么含義，是模型自己學(xué)出來的，不是別人硬塞給它的。

在美團(tuán)LongCat看來，這種從“借用模態(tài)”到“內(nèi)生模態(tài)”的轉(zhuǎn)變，是原生多模態(tài)建模的核心。

還是舉一個(gè)例子。

從dNaViT的架構(gòu)圖可以看到，雖然左邊輸入了三張尺寸完全不同的圖像，但經(jīng)過中間的離散和右下邊的還原后，輸出的尺寸和輸入完全一致，細(xì)節(jié)也沒丟。

這就是“原生分辨率”的含義——無需任何額外動(dòng)作（縮放、裁剪、填充），dNaViT可以實(shí)現(xiàn)任意分辨率的圖像編碼與解碼。

再說語音。

語音的離散思路和視覺基本一致——

先用OpenAI的Whisper編碼器提取聲音特征，然后用RVQ切成離散Token，最后用解碼器還原聲音。

唯一比較狠的一點(diǎn)是，在文本引導(dǎo)音頻的統(tǒng)一建模下，LongCat-Next同時(shí)支持并行生成與串行生成兩種策略，使得模型可以在生成速度與語音準(zhǔn)確性之間靈活權(quán)衡。

• 想“快”（如實(shí)時(shí)語音對(duì)話）：可以走并行生成，延遲更低；
• 想“準(zhǔn)”（如后期配音）：可以走串行生成，雖然過程慢一點(diǎn)，但文本對(duì)音頻的指導(dǎo)作用更強(qiáng)。

至于什么情況選哪個(gè)，也都是模型自己來決定。

通過隨機(jī)延遲對(duì)齊——訓(xùn)練時(shí)隨機(jī)切換“一起出”和“先后出”，模型能自己學(xué)會(huì)平衡速度和準(zhǔn)確度，實(shí)現(xiàn)又快又準(zhǔn)。

至此，美團(tuán)LongCat在LongCat-Next身上看到了：

離散表示并非信息的退化形式，而可以成為統(tǒng)一理解與生成的完備表達(dá)載體。

通過“離散”這種方式，文字、圖像、語音可以變成“同一種Token”——原生多模態(tài)的底層統(tǒng)一，由此實(shí)現(xiàn)。

跑分和背后的發(fā)現(xiàn)

具體效果可以看LongCat-Next的跑分情況。

這個(gè)基于LongCat-Flash-Lite（MoE）訓(xùn)練的模型，沒有像傳統(tǒng)模型那樣給不同任務(wù)設(shè)計(jì)不同的專家模塊，而是采用“與模態(tài)無關(guān)”的MoE——由模型自行決定如何為各模態(tài)分配訓(xùn)練資源。

結(jié)果大家也都看到了，憑借這套離散原生框架，LongCat-Next在視覺理解、圖像生成、音頻、智能體等多個(gè)維度上，都展現(xiàn)出與多模專用模型相當(dāng)甚至領(lǐng)先的性能。

老實(shí)說，雖然LongCat-Next的成績不錯(cuò)，但我還是有點(diǎn)懷疑“離散”是否真能work。

于是立馬讓模型識(shí)別一下桌面上的小白盒（反光下比較模糊）：

沒想到LongCat-Next成功識(shí)別了耳機(jī)盒上的所有關(guān)鍵參數(shù)：

當(dāng)然，如果細(xì)扒每一項(xiàng)成績，你會(huì)發(fā)現(xiàn)背后還藏著這樣幾個(gè)關(guān)鍵點(diǎn)：

發(fā)現(xiàn)1：離散視覺沒有天花板

前文也提到，行業(yè)長期認(rèn)為離散模型在做細(xì)粒度文本識(shí)別時(shí)，天然就不如連續(xù)模型。

因?yàn)殡x散化本身就是一個(gè)信息壓縮和丟失的過程，而細(xì)粒度文本識(shí)別恰恰對(duì)信息保真度要求極高。

但LongCat-Next這次用實(shí)力挑戰(zhàn)了這一觀點(diǎn)。

證據(jù)之一是，在OmniDocBench這個(gè)涵蓋學(xué)術(shù)論文、財(cái)報(bào)、行政表格等各種復(fù)雜文檔的多模態(tài)基準(zhǔn)測試上，LongCat-Next的成績不僅超越同類多模態(tài)模型，還超過了專門做視覺理解的模型。

更重要的是，美團(tuán)LongCat通過對(duì)照實(shí)驗(yàn)發(fā)現(xiàn)，離散視覺的性能瓶頸并非來自“離散化本身”，而是來自數(shù)據(jù)規(guī)模。

在相同設(shè)置下對(duì)比離散模型（Discrete）和連續(xù)模型（Continuous）可以發(fā)現(xiàn)：

小數(shù)據(jù)下，離散模型確實(shí)弱于連續(xù)模型；但隨著數(shù)據(jù)規(guī)模不斷擴(kuò)大，二者的性能差距會(huì)持續(xù)縮小。

繼續(xù)擴(kuò)大數(shù)據(jù)規(guī)模，離散模型甚至可以和連續(xù)模型性能接近一致（near-parity）。

照理說，如果離散化本身存在不可突破的性能上限，那么隨著數(shù)據(jù)增加，這一差距理應(yīng)在某個(gè)階段停止收斂，但實(shí)驗(yàn)中并未觀察到這一“收斂停滯”。

所以論文給出了一個(gè)判斷——

離散建模并不存在內(nèi)在性能天花板，其上限更多取決于數(shù)據(jù)規(guī)模與表征質(zhì)量。

發(fā)現(xiàn)2：理解和生成可以協(xié)同

原理就不必多說了，咱直接亮成績：

在考察長文本渲染能力的LongText-Bench上（側(cè)重生成），LongCat-Next拿下93.15的高分。

與此同時(shí)，它還在考察數(shù)學(xué)推理能力的MathVista上（側(cè)重理解），斬獲83.1的領(lǐng)先成績。

理解和生成齊高，這說明理解不僅沒有損害生成，反而表現(xiàn)出協(xié)同潛力。

這也很好理解。以前它們分屬兩套系統(tǒng)，各有各的優(yōu)化目標(biāo)；現(xiàn)在卻被拉到了一起，理解學(xué)到的東西直接服務(wù)生成，兩者天然同向、越學(xué)越強(qiáng)。

發(fā)現(xiàn)3：經(jīng)過原生多模態(tài)訓(xùn)練后，不會(huì)折損文本能力

以前多模態(tài)訓(xùn)練就像“端水”，要小心翼翼在各種模態(tài)的能力之間取得平衡。

但LongCat-Next就不一樣了。

圖像、音頻能力配上后，文本能力也沒被削弱——

在純文本任務(wù)上，LongCat-Next在MMLU-Pro和C-Eval上分別斬獲77.02和86.80的領(lǐng)先成績。

而且工具調(diào)用、代碼能力等個(gè)個(gè)不差。

還是那句話，當(dāng)模型學(xué)會(huì)用同一種方式理解圖像、聲音和文字時(shí)，它對(duì)世界的理解無疑更上一層樓。

美團(tuán)LongCat用實(shí)驗(yàn)初步證明：

當(dāng)不同模態(tài)都用同一套離散Token體系后，模型不再需要為不同模態(tài)、不同任務(wù)分別設(shè)計(jì)機(jī)制，而是可以用一套可擴(kuò)展的方式去建模整個(gè)世界。

在這個(gè)意義上，離散建模并非一種妥協(xié)，而是另一條可擴(kuò)展路徑。

這件事意味著什么？

不止于此。

把視角再往前推一步，你會(huì)發(fā)現(xiàn)一個(gè)有意思的“隔空呼應(yīng)”：這項(xiàng)研究，幾乎正對(duì)上了LeCun和謝賽寧等人的判斷。

LeCun就不必多說了，誰都知道他一直批評(píng)“純文本LLM無法實(shí)現(xiàn)AGI”；謝賽寧則在對(duì)談張小珺時(shí)表示，語言本身是人類文明高度提煉的結(jié)構(gòu)，相當(dāng)于一種“捷徑”或“拐杖”，過度依賴語言會(huì)限制AI對(duì)真實(shí)世界的學(xué)習(xí)。

而要突破語言模型的局限性，統(tǒng)一的多模態(tài)預(yù)訓(xùn)練，正是那條繞不開的路。

在近期公開的論文《Beyond Language Modeling: An Exploration of Multimodal Pretraining》中，LeCun等人決定不再把視覺當(dāng)作輔助輸入，而是推進(jìn)統(tǒng)一的多模態(tài)預(yù)訓(xùn)練——

讓視覺和語言一樣，成為模型里的“first-class citizen”。

而美團(tuán)LongCat這一步，正是把這條思路進(jìn)一步推向工程化落地的體現(xiàn)——

在不推翻LLM、自回歸這些成熟體系的前提下，他們直接把圖像、語音、文字統(tǒng)統(tǒng)壓進(jìn)了Token序列，并且做到了工業(yè)級(jí)可用。

怎么個(gè)工業(yè)可用？答案是：開源。

沒錯(cuò)，美團(tuán)LongCat這次不僅公開了技術(shù)論文，而且還把LongCat-Next及其分詞器開！源！了！

不過要想使用LongCat-Next，除了硬件上需要至少3張80GB顯存的專業(yè)顯卡（如英偉達(dá)A100/H100），軟件配置要求如下：

到這一步，當(dāng)一套方案不僅在論文里成立，而且已經(jīng)以開源的形式跑通工程閉環(huán)時(shí)，它對(duì)業(yè)界的意義除了多了一個(gè)新框架外，更重要的其實(shí)還在于——驗(yàn)證了一條新路徑。

細(xì)究之下，在通往“原生多模態(tài)”的這條路上：

有人在做融合，語言模型當(dāng)?shù)鬃?，視覺、語音當(dāng)外掛，一心想讓不同模態(tài)更好協(xié)同；也有人更進(jìn)一步做早期融合+MoE，不再依賴預(yù)訓(xùn)練編碼器，從零開始聯(lián)合訓(xùn)練，讓模型內(nèi)部自己長出視覺和聽覺。

而美團(tuán)LongCat更為直接——不走融合，不做對(duì)齊，直接把所有模態(tài)統(tǒng)統(tǒng)變成Token。

此時(shí)，模型面對(duì)的就不再是“多模態(tài)”，而是同一種可以被預(yù)測、被生成的序列。

某種程度上來說——

模態(tài)這個(gè)東西本身，也正在消失。

Paper: https://github.com/meituan-longcat/LongCat-Next/blob/main/tech_report.pdf
GitHub: https://github.com/meituan-longcat/LongCat-Next
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-Next
blog: https://longcat.chat/longcat-next/intro