始智AI wisemodel.cn社區(qū)是源自中國(guó)的中立開放的AI開源社區(qū)，始終堅(jiān)持“中立、開放、共建、共創(chuàng)、合作”五項(xiàng)基本原則，歡迎加入共同成長(zhǎng)。

智譜聯(lián)合華為開源新一代圖像生成模型GLM-Image，模型基于昇騰Atlas 800T A2設(shè)備和昇思MindSpore AI框架完成從數(shù)據(jù)到訓(xùn)練的全流程，是首個(gè)在國(guó)產(chǎn)芯片上完成全程訓(xùn)練的SOTA多模態(tài)模型。GLM-Image已經(jīng)發(fā)布在始智AI wisemodel開源社區(qū)，歡迎大家前往嘗試。

模型地址

https://wisemodel.cn/models/ZhipuAI/GLM-Image

GLM-Image采用自主創(chuàng)新的「自回歸+擴(kuò)散解碼器」混合架構(gòu)，實(shí)現(xiàn)了圖像生成與語言模型的聯(lián)合，是我們面向以Nano Banana Pro為代表的新一代「認(rèn)知型生成」技術(shù)范式的一次重要探索。

核心亮點(diǎn)如下：

• 架構(gòu)革新，面向「認(rèn)知型生成」的技術(shù)探索：采用創(chuàng)新的「自回歸 + 擴(kuò)散編碼器」混合架構(gòu)，兼顧全局指令理解與局部細(xì)節(jié)刻畫，克服了海報(bào)、PPT、科普?qǐng)D等知識(shí)密集型場(chǎng)景生成難題，向探索以Nano Banana Pro為代表的新一代“知識(shí)+推理”的認(rèn)知型生成模型邁出了重要一步。

• 首個(gè)在國(guó)產(chǎn)芯片完成全程訓(xùn)練的SOTA模型：模型自回歸結(jié)構(gòu)基座基于昇騰Atlas 800T A2設(shè)備與昇思MindSpore AI框架，完成了從數(shù)據(jù)預(yù)處理到大規(guī)模訓(xùn)練的全流程構(gòu)建，驗(yàn)證了在國(guó)產(chǎn)全棧算力底座上訓(xùn)練前沿模型的可行性。

• 文字渲染開源SOTA：在CVTG-2K（復(fù)雜視覺文本生成）和LongText-Bench（長(zhǎng)文本渲染）榜單獲得開源第一，尤其擅長(zhǎng)漢字生成任務(wù)。

• 高性價(jià)比與速度優(yōu)化：API調(diào)用模式下，生成一張圖片僅需0.1元，速度優(yōu)化版本即將更新。

01.

架構(gòu)創(chuàng)新：讀懂指令，寫對(duì)文字

近期，以Nano Banana Pro為代表的閉源圖像生成模型正在推動(dòng)圖像生成與大語言模型的深度融合。技術(shù)范式正從單一的圖像生成，進(jìn)化為兼具世界知識(shí)與推理能力的「認(rèn)知型生成」。這些模型在海報(bào)、PPT、科普?qǐng)D等知識(shí)密集型場(chǎng)景及高保真細(xì)節(jié)呈現(xiàn)上表現(xiàn)驚艷，展現(xiàn)了這一技術(shù)范式的優(yōu)勢(shì)。

GLM-Image正是面向「認(rèn)知型生成」技術(shù)范式一次重要探索。這是首個(gè)開源的工業(yè)表現(xiàn)級(jí)離散自回歸圖像生成模型，希望借此與開源社區(qū)分享我們?cè)谶@一前沿方向的技術(shù)路徑與實(shí)踐思考。

• 創(chuàng)新架構(gòu)讓模型讀懂寫對(duì)：面對(duì)傳統(tǒng)模型在“理解復(fù)雜指令”與“精準(zhǔn)繪制文字”上難以兼顧的問題，GLM-Image 引入了「自回歸+擴(kuò)散解碼器」混合架構(gòu)，創(chuàng)新地融合了9B大小的自回歸模型與7B大小的DiT擴(kuò)散解碼器。前者利用其語言模型的底座優(yōu)勢(shì)，專注于提升對(duì)指令的語義理解和畫面的全局構(gòu)圖；后者配合Glyph Encoder的文本編碼器，專注于還原圖像的高頻細(xì)節(jié)和文字筆畫，以此改善模型“提筆忘字”的現(xiàn)象。

• 多分辨率自適應(yīng)：通過改進(jìn)Tokenizer策略，GLM-Image能夠自適應(yīng)處理多種分辨率，原生支持從1024x1024到2048×2048尺寸的任意比例圖像的生成任務(wù)，無需重新訓(xùn)練。

通用pipeline

解碼器結(jié)構(gòu)示意圖

GLM-Image技術(shù)報(bào)告：https://z.ai/blog/glm-image

02.

開源SOTA：更擅長(zhǎng)文字密集生成任務(wù)

基于上述架構(gòu)創(chuàng)新，GLM-Image在文字渲染的權(quán)威榜單中達(dá)到開源SOTA水平。

• CVTG-2K（復(fù)雜視覺文字生成）榜單核心考察模型在圖像中同時(shí)生成多處文字的準(zhǔn)確性。在多區(qū)域文字生成準(zhǔn)確率上，GLM-Image憑借0.9116的Word Accuracy（文字準(zhǔn)確率）成績(jī)，位列開源模型第一。在NED（歸一化編輯距離）指標(biāo)上，GLM-Image同樣以0.9557領(lǐng)先，表明其生成的文字與目標(biāo)文字高度一致，錯(cuò)字、漏字情況更少。

• LongText-Bench（長(zhǎng)文本渲染）榜單考察模型渲染長(zhǎng)文本、多行文字的準(zhǔn)確性，覆蓋招牌、海報(bào)、PPT、對(duì)話框等8種文字密集場(chǎng)景，并分設(shè)中英雙語測(cè)試，GLM-Image以英文0.952、中文0.979的成績(jī)位列開源模型第一。

03.

首個(gè)國(guó)產(chǎn)芯片訓(xùn)練出的SOTA模型

GLM-Image是我們對(duì)國(guó)產(chǎn)計(jì)算生態(tài)的一次深度探索與驗(yàn)證。其自回歸結(jié)構(gòu)基座從早期的數(shù)據(jù)預(yù)處理到最終的大規(guī)模預(yù)訓(xùn)練，全流程均在昇騰Atlas 800T A2設(shè)備上完成。

依托昇騰NPU和昇思MindSpore AI框架，使用動(dòng)態(tài)圖多級(jí)流水下發(fā)、高性能融合算子、多流并行等特性，我們自研了模型訓(xùn)練套件，全面優(yōu)化數(shù)據(jù)預(yù)處理、預(yù)訓(xùn)練、SFT和RL的端到端流程。通過動(dòng)態(tài)圖的多級(jí)流水優(yōu)化機(jī)制，將Host側(cè)算子下發(fā)的關(guān)鍵階段流水化并高度重疊，消除下發(fā)瓶頸；通過多流并行策略，通信和計(jì)算互掩，打破文本梯度同步、圖像特征廣播等操作的通信墻，極致優(yōu)化性能；使用AdamW EMA、COC、RMS Norm等昇騰親和的高性能融合算子，同步提升訓(xùn)練的穩(wěn)定性和性能。

GLM-Image是首個(gè)在國(guó)產(chǎn)芯片上完成全流程訓(xùn)練的SOTA多模態(tài)模型，驗(yàn)證了在國(guó)產(chǎn)全棧算力底座上訓(xùn)練高性能多模態(tài)生成模型的可行性。我們希望這一實(shí)踐能為社區(qū)挖掘國(guó)產(chǎn)算力潛力提供有價(jià)值的參考。

04.

實(shí)測(cè)案例

下面來看看GLM-Image在實(shí)際的復(fù)雜圖文任務(wù)中的表現(xiàn)。

場(chǎng)景一：科普插畫

GLM-Image 更擅長(zhǎng)繪制包含復(fù)雜邏輯流程與文字說明的科普插畫及原理示意圖。

場(chǎng)景二：多格圖畫

在生成電商圖、漫畫等多格圖畫時(shí)，GLM-Image能夠保持風(fēng)格和主體的一致性，并保障多處文字生成的準(zhǔn)確率。

場(chǎng)景三：社交媒體圖文封面

GLM-Image 適用于制作社交媒體封面及內(nèi)容等排版復(fù)雜的圖片，讓您的創(chuàng)作更自由豐富。

場(chǎng)景四：商業(yè)海報(bào)

GLM-Image 能夠生成構(gòu)圖富有設(shè)計(jì)感、文字嵌入準(zhǔn)確的節(jié)日海報(bào)與商業(yè)宣傳圖。

場(chǎng)景五：寫實(shí)攝影

在文字渲染以外，GLM-Image也同樣擅長(zhǎng)生成各種景別和尺寸的人像、寵物、風(fēng)景、靜物。

最后，用GLM-Image生成的一張圖總結(jié)一下模型的核心要點(diǎn)。

----- END -----

wisemodel相關(guān)：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長(zhǎng)期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長(zhǎng)劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看