AI似乎正在朝著一個(gè)有趣的方向演進(jìn)，從只能處理單一模態(tài)的專(zhuān)用模型，發(fā)展為能夠同時(shí)理解和生成文字、圖像、音頻、視頻等多種媒體的全才模型，也被稱(chēng)為"全模態(tài)"的AI系統(tǒng)。然而，訓(xùn)練這樣的AI系統(tǒng)面臨著巨大挑戰(zhàn)。

2025年8月7日，字節(jié)Seed團(tuán)隊(duì)推出VeOmni框架，通過(guò)模塊化設(shè)計(jì)和智能并行策略，將復(fù)雜的全模態(tài)AI訓(xùn)練簡(jiǎn)化為"搭積木"式的直觀(guān)操作。該框架支持30B參數(shù)模型達(dá)到每GPU 2800 token/s的吞吐量，能處理160K上下文長(zhǎng)度，顯著降低了多模態(tài)AI研發(fā)門(mén)檻，為推動(dòng)AI技術(shù)普及提供了強(qiáng)大工具。相關(guān)論文發(fā)表在arXiv上。

想象一下，如果訓(xùn)練一個(gè)能夠同時(shí)理解文字、圖片、視頻和聲音的AI模型就像搭積木一樣簡(jiǎn)單，只需要把不同的積木塊組合在一起，不用擔(dān)心底層的復(fù)雜連接問(wèn)題，這會(huì)帶來(lái)多大的便利？ByteDance的研究團(tuán)隊(duì)就創(chuàng)造了這樣一個(gè)"積木盒子"：VeOmni框架，讓原本極其復(fù)雜的多模態(tài)AI訓(xùn)練變得像組裝玩具一樣直觀(guān)。傳統(tǒng)的訓(xùn)練方法就像試圖用同一套教具去教授完全不同的課程，效果往往不盡人意。更麻煩的是，當(dāng)你想要擴(kuò)大訓(xùn)練規(guī)模，比如從教一個(gè)學(xué)生變成教一百個(gè)、一千個(gè)學(xué)生時(shí)，現(xiàn)有的方法就會(huì)變得極其復(fù)雜和低效。這正是VeOmni要解決的核心問(wèn)題?；睘楹?jiǎn)：模塊化的訓(xùn)練新思路VeOmni的核心創(chuàng)新在于提出了一種"模塊化訓(xùn)練配方"的概念。如果把傳統(tǒng)的AI訓(xùn)練比作做菜，那么以往的方法就像每次做菜都要從頭開(kāi)始，不僅要準(zhǔn)備食材，還要自己制作調(diào)料，甚至連鍋碗瓢盆都要自己打造。而VeOmni則像是建立了一個(gè)標(biāo)準(zhǔn)化的廚房系統(tǒng)，你只需要從調(diào)料架上拿取現(xiàn)成的調(diào)料，從工具柜里取出合適的廚具，就能快速烹飪出美味的料理。
這種模塊化設(shè)計(jì)的巧妙之處在于將復(fù)雜的訓(xùn)練過(guò)程分解為三個(gè)相互獨(dú)立又能協(xié)調(diào)工作的部分：編碼器、基礎(chǔ)模型和解碼器。編碼器就像是翻譯官，負(fù)責(zé)將不同類(lèi)型的原始數(shù)據(jù)（文字、圖像、音頻等）翻譯成AI能夠理解的通用語(yǔ)言?；A(chǔ)模型則是大腦中樞，負(fù)責(zé)處理和分析這些翻譯后的信息。解碼器則是表達(dá)者，將處理后的信息重新轉(zhuǎn)換為人類(lèi)能夠理解的各種形式。更重要的是，VeOmni設(shè)計(jì)了一套標(biāo)準(zhǔn)化的接口協(xié)議，就像USB接口一樣，任何符合標(biāo)準(zhǔn)的設(shè)備都能輕松連接。這意味著研究人員可以自由地更換或升級(jí)其中任何一個(gè)組件，而不需要重新設(shè)計(jì)整個(gè)系統(tǒng)。比如，你想要添加一個(gè)新的圖像處理模塊，只需要確保它遵循VeOmni的接口標(biāo)準(zhǔn)，就能無(wú)縫集成到現(xiàn)有系統(tǒng)中。訓(xùn)練過(guò)程的設(shè)計(jì)很直觀(guān)，在訓(xùn)練階段，每個(gè)編碼器只需要實(shí)現(xiàn)一個(gè)名為"lm_encode"的功能，將原始數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)格式的嵌入向量，這些向量隨后被插入到基礎(chǔ)模型的輸入中。解碼器也遵循同樣的簡(jiǎn)潔設(shè)計(jì)，通過(guò)"lm_head"功能將模型輸出轉(zhuǎn)換為目標(biāo)模態(tài)的數(shù)據(jù)。在推理階段，系統(tǒng)更加智能。當(dāng)模型生成特定的標(biāo)記符號(hào)時(shí)，系統(tǒng)會(huì)自動(dòng)切換到相應(yīng)的生成模式。比如，當(dāng)檢測(cè)到圖像開(kāi)始標(biāo)記時(shí)，系統(tǒng)會(huì)自動(dòng)啟動(dòng)圖像生成流程，通過(guò)解碼器的"lm_embed"功能生成中間嵌入，然后使用"lm_generate"功能產(chǎn)生最終的圖像輸出。這種設(shè)計(jì)讓多模態(tài)生成變得既靈活又高效。分布式訓(xùn)練的藝術(shù)：讓計(jì)算資源發(fā)揮最大效能當(dāng)面對(duì)訓(xùn)練大規(guī)模AI模型這個(gè)挑戰(zhàn)時(shí)，單臺(tái)計(jì)算機(jī)的能力顯然是不夠的，就像用一個(gè)人來(lái)搬運(yùn)幾十噸貨物一樣不現(xiàn)實(shí)。這時(shí)就需要分布式訓(xùn)練，讓多臺(tái)計(jì)算機(jī)協(xié)同工作，就像組織一個(gè)搬運(yùn)團(tuán)隊(duì)一樣。但是，如何讓這些計(jì)算機(jī)高效協(xié)作，避免互相干擾或資源浪費(fèi)，這本身就是一門(mén)藝術(shù)。VeOmni在這方面的創(chuàng)新可以用"分工合作"來(lái)形容。它提供了多種不同的并行化策略，每種策略都針對(duì)特定的場(chǎng)景進(jìn)行了優(yōu)化。全分片數(shù)據(jù)并行（FSDP）就像是將一個(gè)大型拼圖分發(fā)給多個(gè)人同時(shí)拼裝，每個(gè)人負(fù)責(zé)一部分，最后再將結(jié)果合并。這種方法的好處是顯著減少了每臺(tái)計(jì)算機(jī)需要的內(nèi)存，讓原本無(wú)法在單臺(tái)機(jī)器上訓(xùn)練的大型模型成為可能。序列并行（SP）則專(zhuān)門(mén)針對(duì)長(zhǎng)序列訓(xùn)練進(jìn)行了優(yōu)化。當(dāng)處理極長(zhǎng)的文本、高分辨率圖像或長(zhǎng)視頻時(shí)，傳統(tǒng)方法往往會(huì)遇到內(nèi)存不足的問(wèn)題。VeOmni采用了DeepSpeed-Ulysses技術(shù)，將長(zhǎng)序列切分到不同的計(jì)算設(shè)備上處理，就像將一本厚書(shū)的不同章節(jié)分給不同的人閱讀，然后再匯總理解內(nèi)容。更巧妙的是，VeOmni還開(kāi)發(fā)了異步版本的Async-Ulysses，讓通信和計(jì)算可以同時(shí)進(jìn)行，大大提高了效率。專(zhuān)家并行（EP）是為混合專(zhuān)家模型（MoE）設(shè)計(jì)的特殊策略。MoE模型的工作原理類(lèi)似于一個(gè)專(zhuān)業(yè)咨詢(xún)團(tuán)隊(duì)，面對(duì)不同類(lèi)型的問(wèn)題時(shí)，會(huì)激活相應(yīng)的專(zhuān)家來(lái)處理。VeOmni讓這些"專(zhuān)家"能夠分布在不同的計(jì)算設(shè)備上，同時(shí)通過(guò)巧妙的通信優(yōu)化技術(shù)，將數(shù)據(jù)傳輸?shù)难舆t隱藏在專(zhuān)家計(jì)算的過(guò)程中，實(shí)現(xiàn)了近乎無(wú)損的性能提升。最重要的是VeOmni的"可組合n維并行"設(shè)計(jì)。就像搭建樂(lè)高積木一樣，你可以自由組合不同的并行策略。比如，你可以同時(shí)使用FSDP和SP實(shí)現(xiàn)2D并行，或者結(jié)合FSDP、SP和EP實(shí)現(xiàn)3D并行。這種設(shè)計(jì)的靈活性意味著研究人員可以根據(jù)具體的模型架構(gòu)和硬件配置，選擇最優(yōu)的并行組合策略。更重要的是，VeOmni使用了統(tǒng)一的設(shè)備網(wǎng)格抽象來(lái)管理這些復(fù)雜的并行配置。傳統(tǒng)方法需要手動(dòng)管理多個(gè)進(jìn)程組，就像同時(shí)指揮幾個(gè)不同的樂(lè)隊(duì)一樣復(fù)雜。而VeOmni的設(shè)計(jì)讓這個(gè)過(guò)程變得像使用遙控器控制電視一樣簡(jiǎn)單，研究人員只需要通過(guò)簡(jiǎn)單的配置就能啟用復(fù)雜的并行策略。系統(tǒng)優(yōu)化的精妙之處：讓每一分計(jì)算資源都物盡其用除了核心的并行化策略，VeOmni還集成了一系列精心設(shè)計(jì)的系統(tǒng)優(yōu)化技術(shù)，這些技術(shù)就像汽車(chē)引擎的各種優(yōu)化部件一樣，雖然單獨(dú)看起來(lái)可能不起眼，但組合在一起卻能帶來(lái)顯著的性能提升。動(dòng)態(tài)批處理技術(shù)解決了一個(gè)常見(jiàn)的效率問(wèn)題。在傳統(tǒng)方法中，為了批量處理數(shù)據(jù)，系統(tǒng)往往需要將所有樣本填充到相同的長(zhǎng)度，就像為了裝箱整齊而在不同大小的物品間填充泡沫一樣，這會(huì)造成大量的計(jì)算浪費(fèi)。VeOmni的動(dòng)態(tài)批處理則像是使用可調(diào)節(jié)大小的包裝盒，根據(jù)實(shí)際內(nèi)容調(diào)整容器大小，配合FlashAttention技術(shù)，在保證計(jì)算正確性的同時(shí)最大化了資源利用率。在計(jì)算核心優(yōu)化方面，VeOmni集成了包括RMSNorm、LayerNorm、RoPE、SwiGLU等在內(nèi)的高度優(yōu)化算子核心，以及專(zhuān)門(mén)針對(duì)MoE操作的優(yōu)化實(shí)現(xiàn)。這些優(yōu)化就像為發(fā)動(dòng)機(jī)更換了高性能零部件，每個(gè)組件都經(jīng)過(guò)精心調(diào)校，確保在各種不同的硬件配置下都能發(fā)揮最佳性能。內(nèi)存優(yōu)化策略包括層級(jí)重計(jì)算、激活卸載和優(yōu)化器狀態(tài)卸載等技術(shù)。這些技術(shù)的作用類(lèi)似于智能內(nèi)存管理，根據(jù)實(shí)際需要?jiǎng)討B(tài)調(diào)整內(nèi)存使用策略。比如，不常用的數(shù)據(jù)可以暫時(shí)存儲(chǔ)到速度較慢但容量更大的存儲(chǔ)設(shè)備中，需要時(shí)再調(diào)回高速內(nèi)存，這樣就能在有限的內(nèi)存條件下訓(xùn)練更大的模型。檢查點(diǎn)系統(tǒng)使用了ByteCheckpoint技術(shù)，實(shí)現(xiàn)了高效的模型保存和恢復(fù)。這個(gè)系統(tǒng)不僅支持在不同的分布式配置間進(jìn)行模型遷移，還能確保訓(xùn)練過(guò)程的可靠性。就像汽車(chē)的自動(dòng)保存功能一樣，即使遇到意外情況，也能從最近的保存點(diǎn)繼續(xù)，而不需要從頭開(kāi)始。元設(shè)備初始化技術(shù)讓大型模型的初始化變得更加高效。傳統(tǒng)方法在初始化大型模型時(shí)需要分配實(shí)際的物理內(nèi)存，而VeOmni可以在"虛擬"設(shè)備上完成初始化，然后通過(guò)DTensor格式進(jìn)行參數(shù)分片和并行加載，顯著加速了大規(guī)模模型的啟動(dòng)過(guò)程。實(shí)驗(yàn)驗(yàn)證：真實(shí)世界中的卓越表現(xiàn)為了驗(yàn)證VeOmni的實(shí)際效果，研究團(tuán)隊(duì)進(jìn)行了一系列詳盡的實(shí)驗(yàn)，涵蓋了從8個(gè)GPU到128個(gè)GPU的大規(guī)模集群，測(cè)試了從7B到72B參數(shù)規(guī)模的不同模型。這些實(shí)驗(yàn)就像是對(duì)一輛新車(chē)進(jìn)行全方位的路試，從城市道路到高速公路，從日常通勤到長(zhǎng)途旅行，全面測(cè)試其性能表現(xiàn)。在使用Qwen2-VL 7B模型的實(shí)驗(yàn)中，VeOmni展現(xiàn)出了令人印象深刻的擴(kuò)展能力。在8個(gè)GPU的配置下，系統(tǒng)能夠支持高達(dá)192K的上下文長(zhǎng)度訓(xùn)練，模型FLOPs利用率達(dá)到61.5%。當(dāng)擴(kuò)展到72B參數(shù)的模型時(shí)，即使在128個(gè)GPU的大規(guī)模配置下，系統(tǒng)仍能穩(wěn)定支持96K上下文長(zhǎng)度的訓(xùn)練，MFU達(dá)到54.82%。這些數(shù)字背后代表的是系統(tǒng)在處理超長(zhǎng)序列時(shí)的出色能力，這對(duì)于處理長(zhǎng)文檔、高分辨率圖像或長(zhǎng)視頻等任務(wù)具有重要意義。更令人興奮的是在混合專(zhuān)家模型上的測(cè)試結(jié)果。使用基于Qwen3-30B-A3B的30B參數(shù)MoE模型，VeOmni實(shí)現(xiàn)了超過(guò)2800 tokens/sec/GPU的訓(xùn)練吞吐量，能夠擴(kuò)展到160K的上下文長(zhǎng)度。這個(gè)性能水平意味著研究人員可以在相對(duì)較短的時(shí)間內(nèi)訓(xùn)練出具有強(qiáng)大多模態(tài)能力的大型模型。與現(xiàn)有的先進(jìn)框架TorchTitan的對(duì)比實(shí)驗(yàn)進(jìn)一步證明了VeOmni的優(yōu)勢(shì)。在相同的硬件配置和模型設(shè)置下，VeOmni在吞吐量和內(nèi)存效率方面都表現(xiàn)更優(yōu)。特別是在長(zhǎng)序列訓(xùn)練場(chǎng)景下，當(dāng)TorchTitan因?yàn)閮?nèi)存不足而無(wú)法繼續(xù)訓(xùn)練時(shí)，VeOmni仍能穩(wěn)定運(yùn)行并保持良好的性能。收斂性研究涵蓋了三種結(jié)構(gòu)不同的全模態(tài)模型，包括Janus、LLaMA#Omni和Qwen3-MoE#Omni。這些模型分別專(zhuān)注于不同的任務(wù)組合，從純圖像理解和生成，到跨越文本、圖像、視頻、音頻的全模態(tài)處理。實(shí)驗(yàn)結(jié)果顯示，所有模型在使用VeOmni訓(xùn)練時(shí)都表現(xiàn)出穩(wěn)定的收斂行為，驗(yàn)證了框架的可靠性和通用性。這些實(shí)驗(yàn)數(shù)據(jù)不僅展示了VeOmni在技術(shù)指標(biāo)上的優(yōu)勢(shì)，更重要的是證明了其在實(shí)際應(yīng)用中的可行性。研究團(tuán)隊(duì)使用了多個(gè)領(lǐng)域的真實(shí)數(shù)據(jù)集，包括FineWeb-100T用于文本理解、ShareGPT4V用于圖像理解、LLaVA-Video用于視頻理解、Voice Assistant用于音頻理解，以及ImageNet用于圖像生成任務(wù)。這種全面的測(cè)試確保了VeOmni能夠應(yīng)對(duì)真實(shí)世界中的復(fù)雜訓(xùn)練需求。至頂AI實(shí)驗(yàn)室洞見(jiàn)VeOmni提供了全模態(tài)AI訓(xùn)練中的技術(shù)難題的解決思路。從技術(shù)發(fā)展的角度來(lái)看，VeOmni降低了進(jìn)行大規(guī)模多模態(tài)AI研究的門(mén)檻?，F(xiàn)在，研究人員可以將更多精力投入到模型設(shè)計(jì)和算法創(chuàng)新上，而不是被系統(tǒng)工程問(wèn)題所困擾。在商業(yè)應(yīng)用方面，VeOmni使得更多的公司能夠開(kāi)發(fā)自己的全模態(tài)AI產(chǎn)品。過(guò)去，開(kāi)發(fā)這樣的產(chǎn)品需要巨大的技術(shù)投入和專(zhuān)業(yè)知識(shí)，現(xiàn)在中小型公司也能夠利用VeOmni快速構(gòu)建出具有競(jìng)爭(zhēng)力的AI產(chǎn)品。這種技術(shù)民主化可能會(huì)催生更多創(chuàng)新的應(yīng)用場(chǎng)景。教育領(lǐng)域也將從中受益。VeOmni的簡(jiǎn)潔設(shè)計(jì)和清晰文檔使其成為優(yōu)秀的AI教學(xué)工具。計(jì)算機(jī)科學(xué)和AI專(zhuān)業(yè)的學(xué)生可以通過(guò)實(shí)際操作VeOmni來(lái)深入理解分布式機(jī)器學(xué)習(xí)的原理和實(shí)踐。從更廣泛的社會(huì)影響來(lái)看，VeOmni可能會(huì)加速多模態(tài)AI技術(shù)的普及和應(yīng)用。當(dāng)創(chuàng)建能夠同時(shí)理解和生成文字、圖像、音頻、視頻的AI系統(tǒng)變得更加容易時(shí)，我們可能會(huì)看到這些技術(shù)在教育、醫(yī)療、娛樂(lè)、工業(yè)設(shè)計(jì)等各個(gè)領(lǐng)域的廣泛應(yīng)用。論文地址：https://arxiv.org/abs/2508.02317END本文來(lái)自至頂AI實(shí)驗(yàn)室，一個(gè)專(zhuān)注于探索生成式AI前沿技術(shù)及其應(yīng)用的實(shí)驗(yàn)室。致力于推動(dòng)生成式AI在各個(gè)領(lǐng)域的創(chuàng)新與突破，挖掘其潛在的應(yīng)用場(chǎng)景，為企業(yè)和個(gè)人提供切實(shí)可行的解決方案。
Q&AQ1： VeOmni是什么？A：VeOmni是一個(gè)模塊化訓(xùn)練框架，專(zhuān)為加速全模態(tài)大語(yǔ)言模型（omni-modal LLMs）開(kāi)發(fā)而設(shè)計(jì)。它通過(guò)模型中心的分布式配方庫(kù)解耦模型定義與并行邏輯，支持高效3D并行（如FSDP、SP和EP）。例如，在128個(gè)GPU上訓(xùn)練30B參數(shù)的混合專(zhuān)家模型時(shí)，吞吐量超2,800 tokens/sec/GPU。該框架還提供輕量級(jí)接口，以最小代碼更改集成新模態(tài)。Q2：VeOmni如何實(shí)現(xiàn)全模態(tài)訓(xùn)練？A：VeOmni使用模型中心配方（如FSDP、SP和EP）解耦通信與計(jì)算，使不同模態(tài)模塊（如視覺(jué)編碼器）可獨(dú)立處理。它采用輕量接口（基于HuggingFace的PreTrainedModel），簡(jiǎn)化多模態(tài)集成；它的復(fù)合架構(gòu)包括解耦的編碼器、基礎(chǔ)模型和解碼器。靈活并行組合（如FSDP+SP+EP）處理長(zhǎng)序列和MoE模型，減少工程開(kāi)銷(xiāo)。 Q3：VeOmni的訓(xùn)練性能有多高？A：實(shí)驗(yàn)中，VeOmni在128 GPU上訓(xùn)練30B參數(shù)模型時(shí)，支持160K上下文長(zhǎng)度，吞吐量達(dá)2,800+ tokens/sec/GPU。對(duì)于7B模型，它能處理192K序列長(zhǎng)度，模型浮點(diǎn)利用率（MFU）為61.5%。它的n維并行設(shè)計(jì)能高效處理數(shù)據(jù)流和負(fù)載平衡。該系統(tǒng)在8-128 GPU規(guī)模下優(yōu)于現(xiàn)有框架（如TorchTitan），確保穩(wěn)定收斂。