文：城主

上周,AI繪畫(huà)領(lǐng)域一顆重磅炸彈突然降臨: Stability AI發(fā)布了備受期待的Stable Diffusion 3.0(簡(jiǎn)稱SD3)。消息一出,整個(gè)AI繪畫(huà)圈為之轟動(dòng)。一周后,官方放出了一篇詳盡的技術(shù)論文,闡述了SD3實(shí)現(xiàn)突破性進(jìn)展的底層原理,但同時(shí)也引發(fā)了一連串疑問(wèn): SD3能否在RTX 4090顯卡上流暢運(yùn)行? 對(duì)其他主流GPU的兼容性如何?

更重要的是，面對(duì)OpenAI的Sora等勁敵,這次Stability AI能否力挽狂瀾,重塑行業(yè)格局?

相比于這篇滿是復(fù)雜公式的論文。對(duì)普通讀者而言,Stability AI的論文概要無(wú)疑更具可讀性。這篇論文本質(zhì)上是介紹Stable Diffusion 3背后的研究，但并未明確指導(dǎo)如何實(shí)現(xiàn)其所有功能。官方公布了一些新方法，并分享了關(guān)于哪些訓(xùn)練決策提高了模型性能，哪些沒(méi)能完全達(dá)到預(yù)期，以及哪些組合賦予了Stable Diffusion 3驚人的能力。

Stability AI信心滿滿地表示,在大規(guī)模人類主觀評(píng)測(cè)中,SD3在排版質(zhì)量、對(duì)提示的理解和執(zhí)行度上全面碾壓了DALL-E 3、MidJourney v6、Ideagram v1等頂級(jí)產(chǎn)品。這里務(wù)必強(qiáng)調(diào)一下"提示",因?yàn)樗茿I繪畫(huà)的靈魂所在。MidJourney v6固然能生成讓人嘆為觀止的畫(huà)面,但稍微復(fù)雜抽象一點(diǎn)的提示,它就難以完全"照單全收"。造成這種局面的根本原因,是MidJourney v6過(guò)度迎合大眾的審美偏好。簡(jiǎn)單來(lái)說(shuō),它只擅長(zhǎng)畫(huà)人們愛(ài)看的那些東西。相比之下,Stable Diffusion的強(qiáng)項(xiàng)在于快速理解并忠實(shí)執(zhí)行提示,并能靈活調(diào)整畫(huà)面的局部細(xì)節(jié),而無(wú)需事后大動(dòng)干戈地修修補(bǔ)補(bǔ)。

令人振奮的是,SD3祭出了全新的"多模態(tài)擴(kuò)散Transformer"架構(gòu)(MMDIT)。它采用獨(dú)立的權(quán)重來(lái)編碼圖像和文本特征,大幅提升了文本理解和拼寫(xiě)能力。這是文圖生成領(lǐng)域的一大突破。此外,SD3還為排版單獨(dú)配備了編碼器和Transformer。它儼然將這個(gè)"小眾"領(lǐng)域做成了"極致"。

關(guān)于性能，從這張圖表可以看出,在視覺(jué)美感度、提示匹配度、排版質(zhì)量等方面,SD3在人類偏好調(diào)查中均取得了全面勝利。作為基準(zhǔn),它輕松碾壓了所有競(jìng)品,穩(wěn)坐C位。至于SDXL系列終究略遜一籌。所有的評(píng)判都是由人工完成的，究竟是誰(shuí)掌握了AI繪畫(huà)的"金標(biāo)準(zhǔn)"?

真正讓人驚喜的是SD3的硬件兼容性。Stability AI重點(diǎn)測(cè)試了SD3在主流消費(fèi)級(jí)顯卡上的表現(xiàn)。結(jié)果令人喜出望外:就算是那個(gè)"巨無(wú)霸"版本(模型參數(shù)高達(dá)80億),也能完整裝進(jìn)24GB顯存的RTX 4090。以1000x1000分辨率、50步迭代為例,生成一張圖片需約34秒。要知道,50步在SDXL時(shí)代已經(jīng)是頂配。如果你是"平民玩家",也不用灰心。SD3有多個(gè)輕量化版本,參數(shù)量從8億到80億不等,總有一款適合你。

從幾個(gè)令人驚艷的樣例圖來(lái)看,SD3能根據(jù)簡(jiǎn)單的文字提示,靈活地生成各種主題和風(fēng)格迥異的圖像。這得益于它在主題理解和場(chǎng)景構(gòu)建上的重大進(jìn)步。比如讓一只鱷梨站在講臺(tái)前授課,或是給一只袋鼠戴上墨鏡,它都能完美呈現(xiàn)。從這些看似荒誕的創(chuàng)意中,我們依稀可見(jiàn)SD3驚人的想象力。它已經(jīng)初步具備了從文本中提取高層語(yǔ)義,并靈活組合成畫(huà)面的能力。

官方在論文中指出,對(duì)于從文本到圖像的生成,SD3必須兼顧文本和圖像兩種模態(tài)。這正是他們將新架構(gòu)命名為MMDIT(多模態(tài)擴(kuò)散Transformer)的原因所在。與前代Stable Diffusion一脈相承,SD3沿用了預(yù)訓(xùn)練模型來(lái)提取文本和圖像的特征表示。具體來(lái)說(shuō),它用上了三種不同的文本嵌入器、兩個(gè)CLIP模型和一個(gè)T5模型來(lái)對(duì)文本進(jìn)行編碼,同時(shí)采用了增強(qiáng)版的VAE來(lái)對(duì)圖像進(jìn)行編碼。說(shuō)白了,這套流程就是為了理解用戶可能想要什么樣的文字內(nèi)容,以及與之匹配的圖像,從而更好地理解提示的真正意圖。

最妙的是,得益于嶄新的架構(gòu),SD3可以在同一個(gè)輸入中同時(shí)接受文本嵌入和圖像嵌入,并一次性完成所有操作。如下圖所示,文本嵌入和圖像嵌入被送入同一個(gè)注意力模塊進(jìn)行處理。在其內(nèi)部,信息通過(guò)一種循環(huán)反饋的方式流動(dòng),這是許多模型的標(biāo)準(zhǔn)配置。經(jīng)過(guò)匯總后,模型再輸出最終的生成結(jié)果?？偟膩?lái)說(shuō),這套流程是基于擴(kuò)散Transformer,并在此基礎(chǔ)上構(gòu)建出了SD3的架構(gòu)。

考慮到文本和圖像在本質(zhì)上的差異,SD3為它們各自采用了獨(dú)立的權(quán)重。這相當(dāng)于給每種模態(tài)配備了專屬的Transformer。它們?cè)诟髯缘奶卣骺臻g中運(yùn)作,但又能通過(guò)注意力機(jī)制實(shí)現(xiàn)信息的交互,可謂"分工不分家"。正是這種機(jī)制,使得SD3能更全面地理解跨模態(tài)的聯(lián)系,進(jìn)而輸出更連貫的結(jié)果。這也是SD3力圖同時(shí)利用文圖兩種輸入,并在同一個(gè)注意力模塊中處理的原因所在,而不是采用串行的方式。這一設(shè)計(jì)與SDXL高度相似。

接下來(lái)看兩張驗(yàn)證損失的曲線圖。它們直觀地展示了不同模型及其變體在訓(xùn)練過(guò)程中的表現(xiàn)。理想情況下,隨著訓(xùn)練的推進(jìn),驗(yàn)證損失應(yīng)該逐步降低。可以欣喜地看到,實(shí)際結(jié)果與預(yù)期相符。

Stability AI表示,通過(guò)這種融會(huì)貫通的設(shè)計(jì),信息可以在圖像和文本之間自由流動(dòng),從而提升模型對(duì)生成內(nèi)容的整體把握。此外,這種架構(gòu)還可以輕松拓展至視頻等其他模態(tài)。盡管論文對(duì)此有所討論,但官方對(duì)技術(shù)細(xì)節(jié)依然諱莫如深。值得一提的是,與其他模型相比,SD3在保留原始提示意圖的同時(shí),還能靈活地生成多個(gè)差異化的版本。

尤其欣賞Stability AI在即時(shí)提示跟隨上的創(chuàng)新。官方表示,SD3能夠在保證畫(huà)面多樣性的同時(shí),還能緊扣主題,并對(duì)畫(huà)風(fēng)有很大的控制力。以往,將主題表達(dá)與風(fēng)格渲染割裂開(kāi)來(lái)是件很頭疼的事。盡管有些玩家通過(guò)優(yōu)化UI和復(fù)雜的參數(shù)設(shè)置,在一定程度上實(shí)現(xiàn)了這一點(diǎn),但將其作為模型的內(nèi)在邏輯,無(wú)疑更有前瞻性。

以上是幾個(gè)例子，這一切僅憑一句簡(jiǎn)單的文字提示就能實(shí)現(xiàn)，充分證明了SD3驚人的理解力和創(chuàng)造力。它能從簡(jiǎn)單的提示中提煉出豐富的細(xì)節(jié)和主題。

論文中還提到了另一項(xiàng)創(chuàng)新,即通過(guò)重新加權(quán)(reweighting)噪聲來(lái)改進(jìn)整流流(rectified flow)。這說(shuō)明官方在模型訓(xùn)練中對(duì)噪聲的處理上別有心得。簡(jiǎn)單來(lái)說(shuō),通過(guò)采用整流流公式或RF,可以"拉直"模型的推理路徑,從而以更少的迭代步數(shù)實(shí)現(xiàn)采樣。換言之,這項(xiàng)技術(shù)不僅能降低訓(xùn)練成本,還能幫助模型在推理時(shí)不偏離正軌,避免出現(xiàn)崩潰。

為了驗(yàn)證這一點(diǎn),他們?cè)?0多個(gè)主流擴(kuò)散模型上進(jìn)行了測(cè)試,每次都采用了不同的數(shù)據(jù)集、評(píng)估指標(biāo)和采樣器設(shè)置。結(jié)果表明,盡管現(xiàn)有的RF方法在少量迭代步數(shù)下表現(xiàn)優(yōu)異,但隨著步數(shù)的增加,性能反而出現(xiàn)下降。相比之下,SD3的RF版本卻能持續(xù)提升性能。簡(jiǎn)而言之,在同等計(jì)算資源下,SD3能實(shí)現(xiàn)更高的目標(biāo),極大地提高了性價(jià)比。

這是Stability AI的一記重拳,尤其是對(duì)Midjourney等直接競(jìng)爭(zhēng)對(duì)手而言。坦白講,這更像是在向投資者傳遞一個(gè)信號(hào)：如果給我們投錢,我們創(chuàng)造價(jià)值的效率將更高。細(xì)看那些AI初創(chuàng)公司的開(kāi)銷,GPU的采購(gòu)和租賃往往是最大的一塊。就連Stability AI這樣的獨(dú)角獸,也難逃被算力"繳械"的命運(yùn)。

另一個(gè)亮點(diǎn)在于,Stability AI成功地讓一個(gè)80億參數(shù)的"巨無(wú)霸"塞進(jìn)了24GB顯存的RTX 4090。盡管這與驗(yàn)證損失關(guān)系不大,但足以證明SD3在模型壓縮和推理優(yōu)化上的造詣。事實(shí)上,他們展示的指標(biāo)和驗(yàn)證損失之間存在強(qiáng)相關(guān)性,而后者是評(píng)判模型整體性能的重要依據(jù)。因此,如果訓(xùn)練更高效、猜測(cè)更準(zhǔn)確,模型的性能就會(huì)更優(yōu)秀。

此外,官方指出,SD3的擴(kuò)展趨勢(shì)尚未見(jiàn)頂,不太可能遇到云端服務(wù)中常見(jiàn)的瓶頸。換言之,通過(guò)架構(gòu)創(chuàng)新,他們?cè)谟?jì)算性能上取得了重大突破。在可預(yù)見(jiàn)的未來(lái),SD3還有進(jìn)一步升級(jí)的空間。隨著算力的提升,我們有理由期待用更低的成本獲得更優(yōu)的結(jié)果。

說(shuō)到文本理解,這是Stability AI長(zhǎng)期以來(lái)的一個(gè)重點(diǎn),一以貫之地體現(xiàn)在其他實(shí)驗(yàn)性模型中。在SD3中,他們做了一些有趣的取舍。為了降低顯存占用,他們砍掉了此前SDXL中使用的一個(gè)內(nèi)存大戶——4.7億參數(shù)的T5編碼器。

有趣的是,借助全新的架構(gòu),去掉T5并未明顯影響視覺(jué)效果,只是略微損失了一點(diǎn)文本依附度。從基準(zhǔn)測(cè)試的結(jié)果來(lái)看,即便完全移除這一模塊,SD3的性能也基本無(wú)損。在保證畫(huà)質(zhì)的前提下,這種權(quán)衡可謂相當(dāng)高明。官方還展示了一個(gè)案例,給定同樣的雪貂提示,去掉T5前后的結(jié)果幾乎一樣。

這恐怕是Stability AI迄今為止最硬核的一篇論文,行文晦澀,不太好啃。但作為我們吃瓜讀者而言，只需要知道，Stability AI又拿出了一個(gè)含金量超高的的新繪畫(huà)模型就好了。開(kāi)源是全世界AI愛(ài)好者的福音。

附：

雖然MidJourney一直非常強(qiáng)悍，但作為本地可以運(yùn)行且完全免費(fèi)的Stable Diffusion，無(wú)疑才是眾多專業(yè)級(jí)玩家的最愛(ài)。當(dāng)然了，本地運(yùn)行Stable Diffusion有一點(diǎn)點(diǎn)硬門檻。

如果讀者有興趣自己研究SD（畢竟強(qiáng)大的3.0馬上可以用上了）這里順便和大家友情推薦圖靈出品的一本書(shū)，這是一本為零基礎(chǔ)讀者量身打造的 Stable Diffusion “喂飯版”教程。讀完就可以上手操作，幫助你快速掌握新技能。

這本書(shū)本城也是推薦人之一，翻完全本，感想如推薦語(yǔ)：

“”本書(shū)從零開(kāi)始，詳細(xì)介紹了 Stable Diffusion 的基本概念以及必須掌握的各種豐富設(shè)置參數(shù)，讀者如能按照本書(shū)一步步實(shí)踐，必能熟練掌握 Stable Diffusion 這一強(qiáng)大而免費(fèi)的 AI 繪畫(huà)工具。”

——城主，公眾號(hào)“Web3天空之城”主理人

如果你希望自己入門SD并在本機(jī)跑起來(lái)，不妨可以考慮。網(wǎng)絡(luò)視頻雖然多，但案頭一本可以隨時(shí)翻查的工具書(shū)還是不錯(cuò)的。

作者介紹

關(guān)鍵幀，中科院博士，前阿里巴巴技術(shù)專家，公眾號(hào)“關(guān)鍵幀 Keyframe”主理人，長(zhǎng)期從事互聯(lián)網(wǎng)內(nèi)容領(lǐng)域基礎(chǔ)技術(shù)和業(yè)務(wù)研發(fā)及管理工作，熱愛(ài)系統(tǒng)性分享行業(yè)技術(shù)經(jīng)驗(yàn)并廣受粉絲好評(píng)，熱衷于探索 AIGC技術(shù)發(fā)展和業(yè)務(wù)落地，對(duì) AIGC 業(yè)務(wù)前景有著獨(dú)特的洞察。

這本 Stable Diffusion 入門書(shū)覆蓋內(nèi)容非常全面，文字通俗易懂，圖文并茂，是市面上不可多得的關(guān)于 Stable Diffusion 的實(shí)操大全，是平面設(shè)計(jì)工作者和業(yè)余繪圖愛(ài)好者的好幫手?！?strong>易子立，南京大學(xué)副教授，圖像生成算法 DualGAN 第一作者

《零基礎(chǔ)玩轉(zhuǎn) Stable Diffusion》是一把開(kāi)啟 AI 繪畫(huà)世界大門的鑰匙。作者以實(shí)用為核心，分步驟教你如何本地部署并運(yùn)用 Stable Diffusion，使藝術(shù)創(chuàng)作更加自由和高效。本書(shū)不僅是藝術(shù)愛(ài)好者的新寵，也是設(shè)計(jì)師提升工作效率的利器。讓我們一起跟隨作者，探索 AI 繪畫(huà)的無(wú)限未來(lái)！——Reynold，公眾號(hào)“互聯(lián)網(wǎng) er 的早讀課”主理人

本書(shū)從零開(kāi)始，詳細(xì)介紹了 Stable Diffusion 的基本概念以及必須掌握的各種豐富設(shè)置參數(shù)，讀者如能按照本書(shū)一步步實(shí)踐，必能熟練掌握 Stable Diffusion 這一強(qiáng)大而免費(fèi)的 AI 繪畫(huà)工具。——城主，公眾號(hào)“Web3天空之城”主理人

初次涉足 AI 繪畫(huà)領(lǐng)域，在尋求一本入門書(shū)時(shí)，一次偶然的機(jī)會(huì)讓我遇到了這本通俗易懂的 Stable Diffusion 教程。在看完幾頁(yè)后，我發(fā)現(xiàn)該書(shū)對(duì)零基礎(chǔ)同學(xué)非常友好，于是將它推薦給大家。本書(shū)介紹基礎(chǔ)概念和實(shí)際技巧，是你走進(jìn) AI 繪畫(huà)世界的不二之選！——賈文博，公眾號(hào)“壹念視覺(jué)”主理人

本書(shū)以簡(jiǎn)明實(shí)用為特色，“手把手”帶領(lǐng)讀者探索Stable Diffusion。書(shū)中的實(shí)用操作指南和豐富的示例可以讓大家快速掌握 AI繪畫(huà)技巧。對(duì)所有對(duì)AI繪畫(huà)感興趣的人來(lái)說(shuō)，這是一份不容錯(cuò)過(guò)的AI 繪畫(huà)入門指南，它將帶你進(jìn)入一個(gè)充滿創(chuàng)意和驚喜的藝術(shù)世界！——馮振，《OpenCV 4 快速入門》作者，公眾號(hào)“小白學(xué)視覺(jué)“主理人

當(dāng)藝術(shù)的奇妙之門向我們敞開(kāi)，無(wú)論你是初涉繪畫(huà)的新手還是想要提高技能的繪畫(huà)愛(ài)好者，這本《零基礎(chǔ)玩轉(zhuǎn) Stable Diffusion》都將成為你探索 AI 繪畫(huà)創(chuàng)作世界的“靈魂伴侶”?！?@Jack Cui

隨著人工智能技術(shù)的普及，AI繪圖越來(lái)越受到人們的重視，特別是在繪圖設(shè)計(jì)領(lǐng)域中。本書(shū)從最基礎(chǔ)的軟件安裝開(kāi)始，通過(guò)大量實(shí)操案例，全方位介紹免費(fèi)AI繪圖工具Stable Diffusion的各種使用方法，幫助大家快速掌握AI繪圖，相信這本書(shū)會(huì)是廣大AI繪圖學(xué)習(xí)者的福音?！?strong>寧海濤，公眾號(hào)“DataCharm”主理人，暢銷書(shū)《科研論文配圖繪制指南——基于 Python作者

這是一本通俗易懂的 AI 繪畫(huà)實(shí)戰(zhàn)書(shū)，作者以簡(jiǎn)明干練的寫(xiě)作方式，為讀者揭開(kāi) AIGC 的一層層神秘面紗。通過(guò)閱讀本書(shū)，你將全面深刻地掌握 Stable Diffusion 繪圖軟件的部署和使用方法，書(shū)中的案例也將從多角度提升你的 AI 繪畫(huà)實(shí)戰(zhàn)能力?！?@致敬大神

從零開(kāi)始探索AI 繪畫(huà)，必定要有一本好書(shū)伴身，相信每一位朋友都能通過(guò)這本書(shū)體會(huì)到 AI 世界的魅力 ——@娜烏斯嘉，AI繪畫(huà)博主