這項(xiàng)由谷歌DeepMind研究團(tuán)隊(duì)完成的研究以預(yù)印本形式發(fā)布于2026年4月，論文編號(hào)為arXiv:2604.09168，有興趣深入了解的讀者可以通過(guò)該編號(hào)查詢完整論文。

深度學(xué)習(xí)模型變得越來(lái)越強(qiáng)大，但代價(jià)是越來(lái)越"重"——?jiǎng)虞m數(shù)百億個(gè)參數(shù)，需要占用大量?jī)?nèi)存，運(yùn)行在昂貴的服務(wù)器上。普通人手機(jī)里的圖片生成應(yīng)用，能流暢運(yùn)行的往往是功能大打折扣的"輕量版"。這種"要么強(qiáng)大要么輕便"的兩難困境，困擾著整個(gè)AI領(lǐng)域。而這篇論文想做的，就是打破這個(gè)困境。

研究團(tuán)隊(duì)提出了一種叫做"彈性循環(huán)變換器"（Elastic Looped Transformers，縮寫ELT）的新架構(gòu)。用最簡(jiǎn)單的話來(lái)說(shuō)：傳統(tǒng)的AI模型就像一棟有很多樓層的大樓，每一層都有獨(dú)立的裝修和家具（也就是獨(dú)立的參數(shù)）。而ELT則像一部電梯——它只有一套裝置，但可以反復(fù)上下運(yùn)行很多次，每運(yùn)行一次，對(duì)圖像的理解就更深一層。這樣一來(lái)，你不需要建很多層樓，只需要讓電梯多跑幾趟，就能達(dá)到同樣的效果。最終結(jié)果相當(dāng)引人注目：在參數(shù)數(shù)量只有傳統(tǒng)模型四分之一的情況下，ELT在標(biāo)準(zhǔn)圖像生成測(cè)試中達(dá)到了相同的質(zhì)量水平，并且在視頻生成任務(wù)中還超越了對(duì)標(biāo)模型。

一、為什么現(xiàn)有的AI模型會(huì)越來(lái)越"臃腫"？

要理解這項(xiàng)研究解決了什么問(wèn)題，得先聊聊AI圖像生成模型的工作方式。以目前主流的擴(kuò)散模型（Diffusion Model）為例，它的工作原理可以類比為一位畫家從一張布滿噪點(diǎn)的畫布開始，一遍又一遍地擦拭和修改，直到一幅清晰的圖像浮現(xiàn)出來(lái)。這個(gè)"擦拭和修改"的過(guò)程，需要反復(fù)調(diào)用一個(gè)叫做"變換器"（Transformer）的神經(jīng)網(wǎng)絡(luò)模塊來(lái)預(yù)測(cè)如何改進(jìn)圖像。

傳統(tǒng)的做法是：把很多層變換器疊在一起，每一層都有自己獨(dú)立的參數(shù)（可以理解為每層都有各自獨(dú)立的"畫筆工具箱"）。層數(shù)越多，模型越強(qiáng)大，但占用的內(nèi)存也越多。DiT-XL這類主流擴(kuò)散變換器模型的參數(shù)量高達(dá)6.75億個(gè)，而且在每一個(gè)去噪步驟中都需要把這些參數(shù)完整地調(diào)用一遍。

另一個(gè)思路是"循環(huán)"——讓同一層參數(shù)被反復(fù)調(diào)用多次，就像那部反復(fù)上下的電梯。這種思路其實(shí)早就有人提出來(lái)了，最具代表性的是2018年提出的"通用變換器"（Universal Transformers）。然而，在圖像和視頻的高質(zhì)量生成領(lǐng)域，循環(huán)架構(gòu)一直沒(méi)能真正站穩(wěn)腳跟。原因在于一個(gè)棘手的問(wèn)題：如果你訓(xùn)練模型時(shí)規(guī)定它循環(huán)8次，那它在循環(huán)3次或10次時(shí)生成的圖像就會(huì)一團(tuán)糟，因?yàn)橹虚g狀態(tài)的表示對(duì)模型來(lái)說(shuō)毫無(wú)意義，只有跑完全部8圈，輸出才是有效的。

這就像一個(gè)工人被訓(xùn)練成"必須擰滿8圈螺絲才能停下"——如果你讓他只擰3圈就停，螺絲根本沒(méi)有固定??；讓他擰10圈，螺絲可能就滑絲了。這種"只能在固定深度工作"的問(wèn)題，讓普通循環(huán)變換器失去了靈活性，也限制了它的實(shí)際應(yīng)用價(jià)值。ELT要解決的，正是這個(gè)問(wèn)題。

二、"彈性電梯"是怎么煉成的？

ELT的核心機(jī)制可以分成兩個(gè)部分：循環(huán)機(jī)制本身，以及讓循環(huán)變得"有彈性"的訓(xùn)練策略。

先說(shuō)循環(huán)機(jī)制。研究團(tuán)隊(duì)把若干個(gè)變換器層組合成一個(gè)"復(fù)合塊"，用希臘字母Θ（theta）表示這個(gè)塊里所有的參數(shù)。假設(shè)這個(gè)塊由N層變換器組成，訓(xùn)練時(shí)讓它循環(huán)L次，那么總的有效計(jì)算深度就是N×L。比如，一個(gè)有8層的塊循環(huán)4次，等效于一個(gè)有32層的深層網(wǎng)絡(luò)，但實(shí)際存儲(chǔ)的參數(shù)只有8層的量。這樣，模型的參數(shù)量由N決定，而計(jì)算能力由L決定，兩者被解耦開來(lái)了。

然而，光有循環(huán)機(jī)制是不夠的。如前所述，用傳統(tǒng)方式訓(xùn)練出來(lái)的循環(huán)模型，中間狀態(tài)（也就是電梯還沒(méi)到頂層時(shí)的狀態(tài)）是混亂無(wú)序的。為了解決這個(gè)問(wèn)題，研究團(tuán)隊(duì)提出了"內(nèi)循環(huán)自蒸餾"訓(xùn)練策略，英文縮寫為ILSD。

"蒸餾"在AI領(lǐng)域是一個(gè)常用概念，原意是讓一個(gè)小模型去模仿一個(gè)大模型的行為，從而讓小模型獲得大模型的能力。ILSD的創(chuàng)意在于：它不需要兩個(gè)獨(dú)立的模型，而是讓同一個(gè)模型自己教自己。具體來(lái)說(shuō)，在每一次訓(xùn)練時(shí)，模型被當(dāng)作一個(gè)"雙軌系統(tǒng)"來(lái)運(yùn)行：一條軌道是"教師軌道"，讓模型跑滿最大循環(huán)次數(shù)（比如8次），得到最高質(zhì)量的輸出；另一條軌道是"學(xué)生軌道"，隨機(jī)選一個(gè)中間循環(huán)次數(shù)（比如3次），只跑到這里就停下，得到一個(gè)中間狀態(tài)的輸出。

接著，訓(xùn)練目標(biāo)包含三個(gè)部分。第一部分是讓教師軌道的輸出盡可能接近真實(shí)圖像，這是主干任務(wù)。第二部分是讓學(xué)生軌道的輸出也盡可能接近真實(shí)圖像，這給中間狀態(tài)加上了直接的"生成質(zhì)量"約束。第三部分是讓學(xué)生軌道的輸出盡可能接近教師軌道的輸出，也就是讓"跑了3圈的結(jié)果"去模仿"跑了8圈的結(jié)果"——這就是"自蒸餾"的含義。

這個(gè)設(shè)計(jì)有一個(gè)非常聰明的地方：學(xué)生軌道的計(jì)算過(guò)程，本身就是教師軌道計(jì)算過(guò)程的一個(gè)子集。教師要跑8圈，而學(xué)生是其中的前3圈。所以在一次前向傳播中，兩條軌道共享計(jì)算，不需要額外的計(jì)算開銷。這與傳統(tǒng)蒸餾方法形成了鮮明對(duì)比——傳統(tǒng)方法需要分別跑教師模型和學(xué)生模型兩遍，計(jì)算量翻倍。

在訓(xùn)練過(guò)程中，研究團(tuán)隊(duì)還引入了一個(gè)叫做"學(xué)生循環(huán)隨機(jī)采樣"的機(jī)制：每次訓(xùn)練時(shí)，學(xué)生軌道的中間停止點(diǎn)是從一個(gè)范圍內(nèi)隨機(jī)選取的，而不是固定的某個(gè)數(shù)字。這使得模型學(xué)會(huì)了在任意中間深度都能產(chǎn)生有意義的輸出。此外，第二部分損失（學(xué)生對(duì)真實(shí)圖像的損失）和第三部分損失（學(xué)生對(duì)教師的蒸餾損失）之間的權(quán)重會(huì)隨訓(xùn)練進(jìn)程線性變化：訓(xùn)練初期，學(xué)生主要跟著真實(shí)答案學(xué)，因?yàn)榇藭r(shí)教師本身還沒(méi)訓(xùn)練好；隨著訓(xùn)練推進(jìn)，學(xué)生逐漸更多地去模仿教師，因?yàn)榻處煹妮敵鲑|(zhì)量越來(lái)越高。

通過(guò)這套訓(xùn)練策略，模型的每一個(gè)中間循環(huán)狀態(tài)都被推向"解空間"（也就是有意義的圖像表示空間）。用論文中的形象比喻：普通循環(huán)變換器就像一個(gè)只有終點(diǎn)才有意義的旅程，而ELT經(jīng)過(guò)ILSD訓(xùn)練后，旅程中的每一站都變得有意義，隨時(shí)可以下車。

三、從圖像到視頻，ELT的表現(xiàn)如何？

研究團(tuán)隊(duì)在兩個(gè)主流任務(wù)上驗(yàn)證了ELT的效果：類別條件圖像生成（給定一個(gè)類別標(biāo)簽，如"貓"，生成對(duì)應(yīng)圖像）和類別條件視頻生成。

在圖像生成任務(wù)上，測(cè)試數(shù)據(jù)集是業(yè)界標(biāo)準(zhǔn)的ImageNet 256×256（包含超過(guò)100萬(wàn)張、1000個(gè)類別的圖像）。衡量生成質(zhì)量的指標(biāo)是FID分?jǐn)?shù)（Fréchet Inception Distance），這個(gè)分?jǐn)?shù)越低代表生成質(zhì)量越好。

研究團(tuán)隊(duì)實(shí)現(xiàn)了兩種不同框架下的ELT：基于"掩碼生成變換器"（Masked Generative Transformer，類似于MaskGIT框架）的版本，以及基于"擴(kuò)散變換器"（Diffusion Transformer，類似于DiT框架）的版本。

在掩碼生成框架下，最強(qiáng)的ELT-XL模型（以7層塊循環(huán)4次的配置運(yùn)行）實(shí)現(xiàn)了FID 2.0的成績(jī)，與擁有4.46億參數(shù)的MaskGIT-XL基線模型完全持平。而ELT-XL自身只有1.11億參數(shù)，參數(shù)量減少了約75%。對(duì)應(yīng)的ELT-L模型（12層塊循環(huán)2次，或8層塊循環(huán)3次）則分別實(shí)現(xiàn)了FID 2.1和2.2，參數(shù)量同樣大幅低于基線。在擴(kuò)散變換器框架下，以8層塊循環(huán)4次（等效深度32層）的配置，ELT的FID為3.16，優(yōu)于參數(shù)量為其4倍的32層標(biāo)準(zhǔn)DiT模型（FID 3.43）。以16層塊循環(huán)2次的配置（參數(shù)量是標(biāo)準(zhǔn)32層DiT的約一半），F(xiàn)ID更是達(dá)到2.83，進(jìn)一步超越基線。

在視頻生成任務(wù)上，測(cè)試數(shù)據(jù)集是UCF-101，這是一個(gè)只有約1370萬(wàn)個(gè)訓(xùn)練token的小規(guī)模數(shù)據(jù)集，對(duì)模型的過(guò)擬合防御能力有較高要求。衡量視頻生成質(zhì)量的指標(biāo)是FVD（Fréchet Video Distance），同樣是越低越好。ELT的7600萬(wàn)參數(shù)版本（6層塊循環(huán)4次）在等算力設(shè)置下實(shí)現(xiàn)了FVD 72.8，優(yōu)于擁有3.06億參數(shù)的MAGVIT-L基線（FVD 76），參數(shù)量減少了約75%。如果允許更多的計(jì)算量（6層塊循環(huán)6次，采樣步數(shù)加倍），F(xiàn)VD可以進(jìn)一步降低到60.8，取得更加顯著的優(yōu)勢(shì)。值得關(guān)注的是，研究團(tuán)隊(duì)認(rèn)為ELT在UCF-101這樣數(shù)據(jù)量有限的場(chǎng)景中表現(xiàn)良好，與其循環(huán)架構(gòu)的正則化效果有關(guān)——參數(shù)共享本身就起到了防止過(guò)擬合的作用。

四、"任意時(shí)刻推理"：一個(gè)模型，多種計(jì)算預(yù)算

ELT最吸引人的特性之一，是研究論文中稱為"任意時(shí)刻推理"（Any-Time Inference）的能力。這個(gè)詞來(lái)自控制論領(lǐng)域，指的是一個(gè)算法能夠在任何時(shí)刻被打斷并輸出當(dāng)前最佳結(jié)果的能力。

對(duì)于普通循環(huán)變換器來(lái)說(shuō)，這種能力根本不存在。如果你在它跑完8圈之前強(qiáng)行停下來(lái)，得到的只是一張混亂的噪點(diǎn)圖，毫無(wú)用處。但經(jīng)過(guò)ILSD訓(xùn)練的ELT不同：無(wú)論你在哪個(gè)循環(huán)次數(shù)停下來(lái)，輸出都是有意義的圖像，只不過(guò)循環(huán)次數(shù)越多質(zhì)量越好。這意味著一個(gè)訓(xùn)練好的ELT模型可以同時(shí)服務(wù)于不同的應(yīng)用場(chǎng)景：在高端云端服務(wù)器上，讓它循環(huán)更多次，追求極致的生成質(zhì)量；在手機(jī)或邊緣設(shè)備上，讓它循環(huán)較少次數(shù)，以換取更快的響應(yīng)速度。用戶可以根據(jù)自己的硬件情況和質(zhì)量需求，動(dòng)態(tài)調(diào)整循環(huán)次數(shù)，而完全不需要重新訓(xùn)練模型。

研究團(tuán)隊(duì)通過(guò)Pareto圖（一種展示效率邊界的圖表）來(lái)展示這個(gè)特性：橫軸是推理時(shí)需要的計(jì)算量（以GFLOPs衡量），縱軸是FID分?jǐn)?shù)。對(duì)于一個(gè)固定的ELT模型，改變推理時(shí)的循環(huán)次數(shù)，就能在這張圖上畫出一條曲線。隨著循環(huán)次數(shù)增加，計(jì)算量線性增大，同時(shí)FID穩(wěn)步降低（質(zhì)量提升），直到收益遞減。研究團(tuán)隊(duì)發(fā)現(xiàn)，這條效率邊界的擬合函數(shù)大約是FID = 1922.5 × G的負(fù)0.95次方 + 1.48（其中G代表GFLOPs），展現(xiàn)出非常規(guī)律的冪律縮放特性。

五、參數(shù)少了，速度反而更快？

ELT的參數(shù)效率不僅體現(xiàn)在模型文件更小，還帶來(lái)了實(shí)際運(yùn)行速度的提升。這背后有一個(gè)硬件層面的原因。

現(xiàn)代AI加速器（如GPU或TPU）的工作原理大致如下：它有一個(gè)非?？斓萘坑邢薜?片上內(nèi)存"（SRAM），以及一個(gè)容量很大但讀寫速度慢得多的"外部高帶寬內(nèi)存"（HBM）。如果模型參數(shù)太多，就必須頻繁地在HBM和SRAM之間來(lái)回搬運(yùn)數(shù)據(jù)，這種"內(nèi)存墻"瓶頸會(huì)嚴(yán)重拖慢速度。

由于ELT的參數(shù)量大幅減少，在很多情況下，整個(gè)模型的參數(shù)可以完整地放進(jìn)片上內(nèi)存，完全避免反復(fù)的數(shù)據(jù)搬運(yùn)。研究團(tuán)隊(duì)在谷歌TPU v6e上測(cè)試了這一效果：對(duì)于L規(guī)模的ELT模型，吞吐量是同等計(jì)算量基線模型的2.9倍；XL規(guī)模的是3.3倍；H規(guī)模（最大測(cè)試規(guī)模）的是3.5倍。唯一例外的是B規(guī)模（最小的ELT版本），因?yàn)榧词故荁規(guī)模的基線模型本身也已經(jīng)足夠小，能完整放入內(nèi)存，所以ELT在這個(gè)規(guī)模上沒(méi)有速度優(yōu)勢(shì)。

此外，研究團(tuán)隊(duì)還發(fā)現(xiàn)ELT在訓(xùn)練收斂速度上也有明顯優(yōu)勢(shì)。在等算力設(shè)置下，16層塊循環(huán)2次的ELT比32層基線DiT快2倍達(dá)到相同的FID水平；8層塊循環(huán)4次的ELT則快約1.4倍。這意味著訓(xùn)練成本也隨之降低。

六、深入挖掘：縮放規(guī)律和失效場(chǎng)景

研究團(tuán)隊(duì)不只是展示了幾個(gè)成功案例，還系統(tǒng)性地探索了ELT的縮放規(guī)律，以及它在哪些情況下會(huì)失效。

在縮放規(guī)律方面，研究發(fā)現(xiàn)：增加模型寬度（也就是每一層變換器的維度d）是提升質(zhì)量最有效的手段；在固定寬度的前提下，增加循環(huán)次數(shù)可以穩(wěn)步提升質(zhì)量，但收益會(huì)遞減。當(dāng)循環(huán)次數(shù)增加到一定程度后，切換到更寬的模型比繼續(xù)增加循環(huán)次數(shù)更有效。一個(gè)極端情況揭示了循環(huán)架構(gòu)的本質(zhì)限制：以1層塊循環(huán)32次的配置（等效深度32），F(xiàn)ID高達(dá)10.30，遠(yuǎn)差于任何有意義的對(duì)比基線。這說(shuō)明單個(gè)變換器層的表達(dá)能力不足以支撐高質(zhì)量生成，即使循環(huán)再多次也無(wú)濟(jì)于事。模型需要在每次循環(huán)中處理一定復(fù)雜度的變換，才能有效地推進(jìn)表示質(zhì)量。

在失效場(chǎng)景方面，研究團(tuán)隊(duì)坦誠(chéng)地指出了兩個(gè)主要問(wèn)題。其一，如前所述，當(dāng)唯一層數(shù)N過(guò)少時(shí)，無(wú)論循環(huán)多少次都難以生成高質(zhì)量?jī)?nèi)容。其二，當(dāng)推理時(shí)的循環(huán)次數(shù)L遠(yuǎn)超訓(xùn)練時(shí)的最大循環(huán)次數(shù)L_max時(shí)，質(zhì)量也會(huì)下降——模型的共享參數(shù)在超出訓(xùn)練范圍的迭代次數(shù)下會(huì)"過(guò)度迭代"，脫離已訓(xùn)練的收斂區(qū)域。有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)ILSD的訓(xùn)練策略讓模型具備了一定程度的"超范圍外推"能力：在UCF-101視頻生成實(shí)驗(yàn)中，一個(gè)以最大4圈訓(xùn)練的模型，在6圈時(shí)仍然能獲得比4圈更好的FVD（69.2 vs 72.9），說(shuō)明ILSD確實(shí)對(duì)迭代過(guò)程進(jìn)行了有效的規(guī)律化約束。不過(guò)研究團(tuán)隊(duì)也指出，這種外推能力的邊界和規(guī)律還需要更多研究。

歸根結(jié)底，ELT這項(xiàng)研究做的事情，可以用一句話概括：它證明了AI生成模型不需要靠堆砌獨(dú)立參數(shù)來(lái)變強(qiáng)，讓同一組參數(shù)反復(fù)"深思熟慮"同樣能達(dá)到高質(zhì)量的結(jié)果，而且在合適的訓(xùn)練策略下，這種反復(fù)思考的過(guò)程可以在任意時(shí)刻輸出當(dāng)下最好的答案。這對(duì)于在資源有限的設(shè)備上部署高質(zhì)量生成AI，以及動(dòng)態(tài)調(diào)配算力資源，都有相當(dāng)直接的實(shí)際意義。對(duì)于擴(kuò)散模型的進(jìn)一步加速，研究團(tuán)隊(duì)也提到了一個(gè)有前景的方向：現(xiàn)有的擴(kuò)散模型在每個(gè)去噪步驟上都分配相同的算力，而ELT可以通過(guò)調(diào)整不同步驟的循環(huán)次數(shù)，把更多算力集中在"最需要精細(xì)調(diào)整"的步驟上，實(shí)現(xiàn)更智能的算力分配。

Q&A

Q1：彈性循環(huán)變換器和普通AI圖像生成模型有什么根本區(qū)別？

A：普通AI圖像生成模型里，每一層神經(jīng)網(wǎng)絡(luò)都有自己獨(dú)立的參數(shù)，層數(shù)越多參數(shù)越多，占內(nèi)存越大。彈性循環(huán)變換器則是把一組神經(jīng)網(wǎng)絡(luò)層反復(fù)循環(huán)使用，參數(shù)只存一份，但可以多次運(yùn)行。訓(xùn)練時(shí)用一種叫"內(nèi)循環(huán)自蒸餾"的策略，讓模型在任意循環(huán)次數(shù)下都能輸出有意義的圖像。這樣一來(lái)，用傳統(tǒng)模型四分之一的參數(shù)，就能達(dá)到同等的生成質(zhì)量，而且可以根據(jù)設(shè)備性能靈活調(diào)整循環(huán)次數(shù)。

Q2：內(nèi)循環(huán)自蒸餾訓(xùn)練是怎么運(yùn)作的？

A：內(nèi)循環(huán)自蒸餾（ILSD）的核心思路是：在一次訓(xùn)練中，讓模型既以完整循環(huán)次數(shù)運(yùn)行（教師軌道），也隨機(jī)選一個(gè)中間循環(huán)次數(shù)運(yùn)行（學(xué)生軌道）。學(xué)生軌道的輸出要同時(shí)接近真實(shí)圖像和教師軌道的輸出。因?yàn)閷W(xué)生的計(jì)算過(guò)程本身就是教師計(jì)算的一個(gè)子集，不需要額外的計(jì)算開銷。隨著訓(xùn)練推進(jìn)，學(xué)生越來(lái)越多地去模仿教師，最終讓每個(gè)中間循環(huán)狀態(tài)都能輸出有質(zhì)量的結(jié)果。

Q3：彈性循環(huán)變換器在手機(jī)等低算力設(shè)備上真的能用嗎？

A：從原理上看有很大潛力。彈性循環(huán)變換器參數(shù)量只有對(duì)標(biāo)模型的四分之一，更容易放進(jìn)設(shè)備內(nèi)存，而且可以通過(guò)減少循環(huán)次數(shù)來(lái)降低計(jì)算量。實(shí)驗(yàn)中在TPU上已經(jīng)測(cè)到最高3.5倍的吞吐量提升。具體到手機(jī)端部署，還需要結(jié)合量化、編譯優(yōu)化等工程手段，但ELT提供的參數(shù)效率優(yōu)勢(shì)確實(shí)為低算力高質(zhì)量生成提供了更可行的技術(shù)路徑。