1月28日，智源研究院多token prediction for large multimodal models（通過(guò)預(yù)測(cè)下一個(gè)詞元進(jìn)行多模態(tài)學(xué)習(xí)的多模態(tài)大模型）"，在學(xué)術(shù)期刊《自然》（Nature）上線(xiàn)。據(jù)了解，這是我國(guó)科研機(jī)構(gòu)主導(dǎo)的大模型成果首次在Nature正刊發(fā)表。

Nature編輯點(diǎn)評(píng)這項(xiàng)研究：Emu3僅基于預(yù)測(cè)下一個(gè)詞元（Next-token prediction），實(shí)現(xiàn)了大規(guī)模文本、圖像和視頻的統(tǒng)一學(xué)習(xí)，其在生成與感知任務(wù)上的性能可與使用專(zhuān)門(mén)路線(xiàn)相當(dāng)，這一成果對(duì)構(gòu)建可擴(kuò)展、統(tǒng)一的多模態(tài)智能系統(tǒng)具有重要意義。

Emu3架構(gòu)圖

據(jù)介紹，Emu3將圖像、文本和視頻統(tǒng)一離散化到同一個(gè)表示空間中，并從零開(kāi)始，在多模態(tài)序列混合數(shù)據(jù)上聯(lián)合訓(xùn)練一個(gè)單一的 Transformer。這一架構(gòu)證明了僅憑“預(yù)測(cè)下一個(gè)詞元”，就能夠同時(shí)支持高水平的生成能力與理解能力，并且在同一統(tǒng)一架構(gòu)下，自然地?cái)U(kuò)展到機(jī)器人操作以及多模態(tài)交錯(cuò)等生成任務(wù)。此外，研究團(tuán)隊(duì)還做了大量消融實(shí)驗(yàn)和分析，驗(yàn)證了多模態(tài)學(xué)習(xí)的規(guī)模定律（Scaling law）、統(tǒng)一離散化的高效性、以及解碼器架構(gòu)的有效性。

實(shí)驗(yàn)數(shù)據(jù)顯示，在生成與感知任務(wù)上，Emu3的表現(xiàn)可對(duì)標(biāo)成熟的任務(wù)專(zhuān)用模型：在文生圖任務(wù)中，其效果接近擴(kuò)散模型；在視覺(jué)語(yǔ)言理解方面，則與融合CLIP和大語(yǔ)言模型的主流方案相當(dāng)。此外，該模型支持視頻生成，通過(guò)逐詞元預(yù)測(cè)視頻序列的方式，實(shí)現(xiàn)了基于因果的視頻生成與延展。

目前，智源研究團(tuán)隊(duì)已對(duì)Emu3的相關(guān)關(guān)鍵技術(shù)與模型進(jìn)行了開(kāi)源。智源研究院自2022年啟動(dòng)Emu系列模型研發(fā)，目前已構(gòu)建起覆蓋多模態(tài)世界模型、具身智能大腦等方向的技術(shù)基座。（袁寧）

本文來(lái)自網(wǎng)易科技報(bào)道，更多資訊和深度內(nèi)容，關(guān)注我們。