機(jī)器之心報(bào)道

機(jī)器之心編輯部

既然語(yǔ)言可以當(dāng)序列來(lái)學(xué)，那圖像能不能也當(dāng)序列來(lái)學(xué)？

通過(guò)將圖像表示為像素序列，先前的研究表明通過(guò)下一像素預(yù)測(cè)，可以以一種簡(jiǎn)單、端到端的方式同時(shí)學(xué)習(xí)視覺(jué)識(shí)別與生成。

從概念上講，下一像素預(yù)測(cè)非常容易擴(kuò)展，因?yàn)樗菬o(wú)監(jiān)督學(xué)習(xí)：無(wú)需任何人工標(biāo)注。同時(shí)，將圖像表示為像素序列，也對(duì)圖像結(jié)構(gòu)施加了最少的歸納偏置。

然而，盡管像素級(jí)端到端建模在早期被證明是可行的，但這一范式近年來(lái)卻不再流行。

其主要原因在于出現(xiàn)了計(jì)算效率更高的方法，例如：使用視覺(jué) tokenizer 進(jìn)行 patch 級(jí)別學(xué)習(xí)。

盡管研究重心已經(jīng)發(fā)生轉(zhuǎn)移，但一個(gè)簡(jiǎn)單卻極其關(guān)鍵的問(wèn)題仍未被回答：我們距離真正大規(guī)模擴(kuò)展下一像素預(yù)測(cè)，還有多遠(yuǎn)？

不可否認(rèn)，相比自然語(yǔ)言中的下一詞預(yù)測(cè)，下一像素預(yù)測(cè)要困難得多，主要有以下幾點(diǎn)原因：

• 首先，像素的語(yǔ)義信息極低。一個(gè)句子里的詞通常包含豐富含義，而一個(gè)像素只是一點(diǎn)顏色信息，兩者差距巨大。
• 其次，像素之間的空間關(guān)系非常復(fù)雜，不容易用序列方式來(lái)表示。一個(gè)像素的顏色不僅受到周圍鄰域像素的影響，還受到圖像中那些與它不相鄰的物體和結(jié)構(gòu)的影響。
• 第三，隨著圖像分辨率升高，下一像素預(yù)測(cè)的計(jì)算量會(huì)急劇增加。例如，要生成一張 128 × 128 的圖片，一個(gè)自回歸模型必須逐個(gè)預(yù)測(cè) 16,384 個(gè)像素，一步都不能少。

在這篇論文中，來(lái)自 Google DeepMind 的研究者分析了下一像素預(yù)測(cè)在圖像識(shí)別與圖像生成兩類任務(wù)中的擴(kuò)展特性（scaling properties）。

本文首先在固定的 32×32 像素分辨率下開(kāi)展研究，在這一分辨率下，圖像已開(kāi)始呈現(xiàn)清晰的結(jié)構(gòu)與可辨識(shí)的物體交互，因此可被視為對(duì)原生高分辨率圖像的一種有意義的近似。

實(shí)驗(yàn)基于下一像素預(yù)測(cè)損失進(jìn)行了初始 scaling 實(shí)驗(yàn)。如圖 1 (a) 所示，結(jié)果表明：相較于文本 token，原始像素的學(xué)習(xí)需要顯著更高（10–20 倍）的最優(yōu) token-parameter 比例。更具體地，要實(shí)現(xiàn)計(jì)算最優(yōu)平衡，像素模型所需的 token-per-parameter 至少比語(yǔ)言模型高一個(gè)數(shù)量級(jí)（約 400 vs. 20）。

這一初步發(fā)現(xiàn)促使研究者進(jìn)一步深入三個(gè)核心問(wèn)題。第一，我們?nèi)绾慰煽康卦u(píng)估這些模型的性能，尤其是在較低分辨率下（低分辨率便于開(kāi)展大量實(shí)驗(yàn)）？第二，基于下一像素預(yù)測(cè)損失得出的 scaling 規(guī)律，是否與更有意義的下游任務(wù)（如分類與圖像補(bǔ)全）的 scaling 行為一致？第三，不同圖像分辨率下的 scaling 趨勢(shì)會(huì)如何變化？

為回答這些問(wèn)題，本文圍繞三類指標(biāo)進(jìn)行了系列可控實(shí)驗(yàn)。

在固定的 32×32 分辨率下，實(shí)驗(yàn)結(jié)果（見(jiàn)圖 1 (b)）顯示：最優(yōu)的 scaling 策略高度依賴目標(biāo)任務(wù)，其中圖像生成質(zhì)量需要比分類任務(wù)或下一像素預(yù)測(cè)任務(wù)更大的 token-parameter 比例。此外，這些 scaling 動(dòng)態(tài)并非靜態(tài)不變；對(duì) 16×16 與 64×64 等不同分辨率的研究顯示：隨著分辨率提升，模型規(guī)模的增長(zhǎng)必須顯著快于數(shù)據(jù)規(guī)模的增長(zhǎng)。

最后，鑒于訓(xùn)練算力正以每年四到五倍的速度增長(zhǎng)，本文預(yù)測(cè)逐像素建模方式在未來(lái)五年內(nèi)將變得可行。

• 論文標(biāo)題：Rethinking generative image pretraining: How far are we from scaling up next-pixel prediction?
• 論文地址：https://arxiv.org/pdf/2511.08704

方法介紹

本文從 32×32 分辨率的圖像出發(fā)，在多種 IsoFlops（等算力）配置下訓(xùn)練了一系列 Transformer 模型，最大計(jì)算量達(dá)到 7e19 FLOPs，并從三個(gè)不同指標(biāo)對(duì)其性能進(jìn)行評(píng)估：下一像素預(yù)測(cè)目標(biāo)、ImageNet 分類準(zhǔn)確率以及以 Fréchet Distance 衡量的生成質(zhì)量。結(jié)果發(fā)現(xiàn)：

• 首先，最佳擴(kuò)展策略強(qiáng)烈依賴任務(wù)類型：即使在固定的 32×32 分辨率下，分類任務(wù)與生成任務(wù)的最優(yōu) scaling 需求也完全不同，其中生成任務(wù)要達(dá)到最優(yōu)效果所需的數(shù)據(jù)規(guī)模增長(zhǎng)速度是分類任務(wù)的三到五倍。
• 其次，隨著圖像分辨率的提升，最優(yōu) scaling 策略顯示模型規(guī)模必須比數(shù)據(jù)規(guī)模增長(zhǎng)得更快。更令人意外的是，根據(jù)趨勢(shì)外推，像素級(jí)模型的主要瓶頸并不是訓(xùn)練數(shù)據(jù)，而是計(jì)算量。

本文采用 Transformer 架構(gòu)進(jìn)行研究，共四種規(guī)模，參數(shù)從 2800 萬(wàn)到 4.49 億不等。Transformer 架構(gòu)的詳細(xì)信息列在表 1 中。

本文在 JFT-300M 數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，該數(shù)據(jù)集包含 3 億張多樣化圖像，規(guī)模是 ImageNet ILSVRC 2012 訓(xùn)練集的 10 倍以上。在分辨率為 32×32 的條件下，對(duì)數(shù)據(jù)集完整遍歷一遍相當(dāng)于處理超過(guò) 3000 億個(gè)像素。訓(xùn)練過(guò)程采用標(biāo)準(zhǔn)的 Inception 風(fēng)格隨機(jī)裁剪，并以 50% 概率進(jìn)行水平翻轉(zhuǎn)。

在評(píng)估上，本文進(jìn)行了兩種評(píng)估方式，即圖像分類和圖像補(bǔ)全。

實(shí)驗(yàn)及結(jié)果

像素是否遵循與文本相同的規(guī)律？

答案是肯定的：對(duì)原始像素預(yù)測(cè)的擴(kuò)展趨勢(shì)與文本類似、可預(yù)測(cè)，但效率要低得多。由于單個(gè)像素所攜帶的語(yǔ)義信息遠(yuǎn)少于語(yǔ)言 token，本文估計(jì)模型在學(xué)習(xí)原始像素時(shí)，需要比語(yǔ)言模型多 10–20 倍的 token-per-parameter 才能達(dá)到有效學(xué)習(xí)。

本文進(jìn)一步計(jì)算了在不同訓(xùn)練 FLOPs 下的最優(yōu) token-per-parameter 比例，并與典型語(yǔ)言模型進(jìn)行比較。如圖 1 (a) 所示，即便在超過(guò) 10^21 FLOPs 的訓(xùn)練預(yù)算下，學(xué)習(xí)原始像素仍然需要比語(yǔ)言 token 多 10–20 倍的數(shù)據(jù)量。

這表明，即便在低分辨率 32×32 圖像中，單個(gè)像素的語(yǔ)義信息密度仍遠(yuǎn)低于語(yǔ)言 token，后者本身就是一種壓縮且意義集中的信息單位。例如，cat 這個(gè)詞是高度壓縮的符號(hào)，攜帶著大量抽象信息：它是一種動(dòng)物，有毛，會(huì)喵叫，有胡須。而單個(gè)像素本身幾乎不包含語(yǔ)義，因?yàn)樗念伾悼赡芡瑫r(shí)對(duì)應(yīng)貓、汽車或天空的一部分。

總的來(lái)說(shuō)，實(shí)驗(yàn)結(jié)果顯示，下一像素預(yù)測(cè)的最優(yōu)擴(kuò)展趨勢(shì)的確可以通過(guò)語(yǔ)言模型中已成熟的 scaling 框架進(jìn)行預(yù)測(cè)。

最優(yōu) scaling 是否能直接遷移到下游任務(wù)？

答案是不行，至少不是以一種簡(jiǎn)單方式。在固定的 32×32 分辨率下，由下一像素預(yù)測(cè)損失得到的最優(yōu)擴(kuò)展策略對(duì)圖像生成來(lái)說(shuō)并非最優(yōu)。具體而言，要獲得良好的生成質(zhì)量，需要一種更加數(shù)據(jù)驅(qū)動(dòng)的 scaling 方式，即數(shù)據(jù)規(guī)模的增長(zhǎng)速度必須明顯快于模型規(guī)模的增長(zhǎng)速度。

不同任務(wù)的最優(yōu) scaling 存在顯著差異。如圖 1 (b) 所示，基于獨(dú)立 IsoFlops 配置得到的最優(yōu) token-to-parameter 比例在下一像素預(yù)測(cè)損失、ImageNet 分類 top-1 準(zhǔn)確率以及基于圖像補(bǔ)全的 Fréchet Distance 之間存在明顯差別。

隨著圖像分辨率提升，最優(yōu) scaling 會(huì)改變嗎？

答案是會(huì)的。隨著圖像分辨率的提高，最優(yōu)擴(kuò)展策略從在 32×32 分辨率下對(duì)模型規(guī)模與數(shù)據(jù)規(guī)模的平衡，轉(zhuǎn)變?yōu)樵诟叻直媛氏旅黠@偏向更大的模型，而非更多的數(shù)據(jù)。

圖像分類 vs. 圖像生成。正如圖 4 (a) 和圖 4 (c) 所一致展示的，在更高分辨率下訓(xùn)練模型能夠提升下游任務(wù)表現(xiàn)。

對(duì)于圖像分類，從 16×16 切換到 32×32 時(shí)能夠帶來(lái)明顯提升，但在 FLOPs 超過(guò) 1e20 的情況下，從 32×32 增加到 64×64 僅帶來(lái)輕微改進(jìn)。這表明：對(duì)于 ImageNet 分類任務(wù)，在 32×32 之后，進(jìn)一步提升分辨率的收益趨于減弱。

相比之下，對(duì)于圖像生成，32×32 附近的 scaling 趨勢(shì)并未飽和，將分辨率從 32×32 提升至 64×64 能帶來(lái)顯著改進(jìn)。直觀來(lái)看，分辨率提高后，單像素的信息密度下降，但像素之間的視覺(jué)結(jié)構(gòu)變得更復(fù)雜、更真實(shí)。抽象語(yǔ)義在低分辨率即可有效捕獲，而細(xì)粒度紋理則需要更高分辨率。

我們距離原始下一像素預(yù)測(cè)還有多遠(yuǎn)？

目前由于巨大的計(jì)算成本而難以實(shí)際執(zhí)行，但逐像素建模在未來(lái)五年內(nèi)仍是一條可行路徑，并能達(dá)到具有競(jìng)爭(zhēng)力的性能。其主要瓶頸是計(jì)算量，而不是訓(xùn)練數(shù)據(jù)的可獲得性。本文預(yù)計(jì)在未來(lái)五年內(nèi)，基于原始像素的學(xué)習(xí)將成為一條可行的發(fā)展方向。