国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

讓擴(kuò)散模型「可解釋」不再降質(zhì),開啟圖片編輯新思路

0
分享至



過去三年,擴(kuò)散模型席卷圖像生成領(lǐng)域。以 DiT (Diffusion Transformer) 為代表的新一代架構(gòu)不斷刷新圖像質(zhì)量的極限,讓模型愈發(fā)接近真實(shí)世界的視覺規(guī)律。

然而,與 LLM 可解釋性研究的蓬勃發(fā)展相對(duì),擴(kuò)散模型內(nèi)部的語義結(jié)構(gòu)、時(shí)間規(guī)律以及因果路徑仍然像被深深封住的「黑箱」。研究者可以憑直覺優(yōu)化架構(gòu),但外界無法真正理解擴(kuò)散模型在生成過程中的「思考方式」。

更棘手的是,已有的可解釋性嘗試往往伴隨著明顯的性能下降:特征分解、激活分析、插值擾動(dòng)……無論采用哪種方法,只要試圖將擴(kuò)散模型拆開來看,生成質(zhì)量就會(huì)顯著劣化。這讓「可解釋擴(kuò)散模型」在很長(zhǎng)一段時(shí)間里被視為不切實(shí)際的小眾方向。

在這樣的背景下,香港中文大學(xué) MMLab 與上海人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了一個(gè)不同的觀點(diǎn):擴(kuò)散模型作為當(dāng)今視覺世界最重要的生成器,其內(nèi)部機(jī)制不應(yīng)永遠(yuǎn)處于不可見狀態(tài);可解釋性也不應(yīng)該以犧牲生成質(zhì)量為代價(jià)。

基于這一理念,他們提出了被 AAAI 2026 接收的TIDE (Temporal-Aware Sparse Autoencoders)—— 首個(gè)真正意義上面向擴(kuò)散 Transformer 的時(shí)序稀疏自編碼器框架。



  • 論文標(biāo)題:TIDE: Temporal-Aware Sparse Autoencoders for Interpretable Diffusion Transformers in Image Generation
  • 論文鏈接:
  • https://arxiv.org/pdf/2503.07050

TIDE:

讓「時(shí)序」成為擴(kuò)散可解釋性的核心

以往的可解釋方法大多忽視了擴(kuò)散過程最大的特點(diǎn):生成是一個(gè)隨時(shí)間展開的漸進(jìn)式構(gòu)造過程。早期步驟決定物體形狀和布局,中期步驟塑造語義和結(jié)構(gòu),后期步驟填充材質(zhì)與細(xì)節(jié)。如果忽略這條時(shí)間線,擴(kuò)散模型看起來就像一團(tuán)混亂的噪聲與特征。TIDE 的突破在于,它不是「硬拆」一個(gè)靜態(tài)特征,而是讓模型自己在時(shí)間維度上對(duì)齊語義:

同一個(gè)因子會(huì)在不同時(shí)間步中保持一致的語義軌跡,最終形成一個(gè)可讀、可控、穩(wěn)固的「時(shí)間語義剖面」。

也正是在這樣的時(shí)序框架下,擴(kuò)散模型內(nèi)部原本模糊的過程第一次被清晰呈現(xiàn)出來:粗結(jié)構(gòu)從噪聲中浮現(xiàn)、語義逐漸成型、紋理被不斷潤(rùn)色……模型的「思考流」沿著時(shí)間軸被完整雕刻出來。

更重要的是,這一切并不會(huì)破壞原模型的生成能力。TIDE 的稀疏自編碼器在特征空間進(jìn)行無損重構(gòu),擴(kuò)散軌跡保持穩(wěn)定,模型幾乎感受不到被「觀察」的存在。同時(shí)在 scaling latent 維度時(shí),也優(yōu)于原有 vanilla SAE 方法。



TIDE 架構(gòu)與訓(xùn)練

在 Stable Diffusion XL、PixArt-α、Flux 等主流擴(kuò)散框架上,TIDE 將擴(kuò)散特征分解為具有可控語義的因子:

負(fù)責(zé)輪廓的因子、負(fù)責(zé)物體姿態(tài)的因子、負(fù)責(zé)材質(zhì)紋理的因子……甚至可以捕捉到跨時(shí)間的概念演化?;谶@些因子,研究團(tuán)隊(duì)構(gòu)建出一種全新的圖像編輯方式:編輯不再依賴繁瑣的提示語或反復(fù)調(diào)參,而是可以沿著清晰的語義方向直接操控?cái)U(kuò)散過程。例如:

  • 提升紋理細(xì)節(jié)而不改變?nèi)纸Y(jié)構(gòu)
  • 調(diào)整物體姿態(tài)但保持背景一致
  • 加強(qiáng)某類語義而不干擾其它部分



這些編輯操作完全基于 TIDE 生成的語義因子完成,意味著未來擴(kuò)散模型有望出現(xiàn)一種全新的「因子級(jí)編輯器」,具備高度可控性與透明性。

與此同時(shí),TIDE 對(duì)模型生成質(zhì)量的影響幾乎可以忽略不計(jì)。FID、sFID 變化小于 0.1%,噪聲預(yù)測(cè)軌跡保持穩(wěn)定,實(shí)現(xiàn)了真正意義上的「可解釋而不降質(zhì)」。

TIDE 的效果

TIDE 在不同設(shè)置、不同模型規(guī)模以及不同任務(wù)維度下的整體表現(xiàn)。無論是在超參數(shù)選擇、在 DiT 不同層級(jí)進(jìn)行因子學(xué)習(xí),還是在 SDXL、FLUX-dev 等主流擴(kuò)散架構(gòu)上的泛化能力,TIDE 都表現(xiàn)出高度穩(wěn)定且持續(xù)的優(yōu)勢(shì)。

可以看到,TIDE 在幾乎不增加 FID 代價(jià)的前提下,顯著提升了 AlignScore 中的語義綁定(顏色、形狀、紋理)以及跨區(qū)域關(guān)系理解(空間與非空間關(guān)系),其中多處指標(biāo)在表中以綠色標(biāo)記為最優(yōu)表現(xiàn)。

此外,在安全性評(píng)測(cè)部分,TIDE 相比多個(gè)現(xiàn)有方法大幅降低了攻擊成功率,顯示出更穩(wěn)健的特征理解能力。整體來看,這幅表格清楚證明:TIDE 不僅帶來了高質(zhì)量、可解釋的語義因子,還在保持生成質(zhì)量的同時(shí),提升了模型的結(jié)構(gòu)理解、關(guān)系推理與安全性,成為一種真正可泛化、可落地的可解釋擴(kuò)散框架。



TIDE 的意義:

補(bǔ)齊擴(kuò)散模型的「理解」能力

擴(kuò)散模型已經(jīng)成為現(xiàn)代視覺生成系統(tǒng)的核心支柱,但它們的內(nèi)部機(jī)制一直缺乏系統(tǒng)、透明的解釋路徑。TIDE 的出現(xiàn)不僅提供了首個(gè)真正實(shí)用的可解釋性方案,更重要的是,它讓研究者第一次能夠沿著「時(shí)間」這條線索觀察擴(kuò)散模型內(nèi)部的語義結(jié)構(gòu)。



這種理解能力將直接影響未來的多個(gè)方向:

  • 更可控、更穩(wěn)健的擴(kuò)散編輯系統(tǒng)
  • 統(tǒng)一理解——生成模型的因子級(jí)橋接
  • 擴(kuò)散模型的因果與語義理論研究
  • 新一代透明、可信的視覺生成系統(tǒng)

TIDE 不僅是一個(gè)方法,更是一種新的研究范式:擴(kuò)散模型并非不可解釋,只是缺少一個(gè)合適的視角。

未來展望

研究團(tuán)隊(duì)表示,當(dāng)前 TIDE 已成功驗(yàn)證了時(shí)序稀疏自編碼器框架的有效性,但可解釋擴(kuò)散模型的潛力遠(yuǎn)未被完全發(fā)掘。未來的工作將進(jìn)一步:

  • 擴(kuò)展更大規(guī)模、更精細(xì)的時(shí)序字典
  • 探索跨模態(tài)共享的語義因子
  • 結(jié)合 LLM-SAE 構(gòu)建統(tǒng)一解釋空間
  • 將因子級(jí)編輯推向產(chǎn)品化工具

隨著更多研究者的加入,擴(kuò)散模型的「黑箱壁壘」正逐漸被揭開,而 TIDE 或許是這一轉(zhuǎn)變具有代表性的第一步。



特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
男子公園騎三輪車遭“攔路鐵絲”勒脖身亡,園方:事發(fā)地為私人承包區(qū),已排查公園安全隱患

男子公園騎三輪車遭“攔路鐵絲”勒脖身亡,園方:事發(fā)地為私人承包區(qū),已排查公園安全隱患

極目新聞
2025-12-18 17:10:51
悲??!杭州小米交付中心被撞員工身亡:車主90后,剛提車,未上牌

悲劇!杭州小米交付中心被撞員工身亡:車主90后,剛提車,未上牌

娜烏和西卡
2025-12-19 11:10:31
王勵(lì)勤大動(dòng)作!世界第一組合拆對(duì),3大新星獲重用,蒯曼陳熠聯(lián)手

王勵(lì)勤大動(dòng)作!世界第一組合拆對(duì),3大新星獲重用,蒯曼陳熠聯(lián)手

籃球看比賽
2025-12-19 11:03:25
國羽傳捷報(bào)!王祉怡2-0橫掃世界冠軍,小組第1出線,圣壇組合接場(chǎng)

國羽傳捷報(bào)!王祉怡2-0橫掃世界冠軍,小組第1出線,圣壇組合接場(chǎng)

劉姚堯的文字城堡
2025-12-18 18:29:37
楊冪現(xiàn)身株洲被偶遇,遠(yuǎn)遠(yuǎn)的看著身材前凸后翹,十分吸睛。

楊冪現(xiàn)身株洲被偶遇,遠(yuǎn)遠(yuǎn)的看著身材前凸后翹,十分吸睛。

TVB的四小花
2025-12-19 00:32:25
中紀(jì)委:不能把全面從嚴(yán)治黨等同于反腐敗

中紀(jì)委:不能把全面從嚴(yán)治黨等同于反腐敗

微法官
2025-12-19 08:08:11
萬科自救失敗,要變天了

萬科自救失敗,要變天了

新行情
2025-12-18 14:11:20
西安一小區(qū)7層頂樓住戶拆除原樓板加蓋,一樓住戶臥室現(xiàn)三條裂縫

西安一小區(qū)7層頂樓住戶拆除原樓板加蓋,一樓住戶臥室現(xiàn)三條裂縫

大風(fēng)新聞
2025-12-19 08:36:04
微信新規(guī)已經(jīng)明確!從12月開始,這類微信用戶將無法進(jìn)行轉(zhuǎn)賬!

微信新規(guī)已經(jīng)明確!從12月開始,這類微信用戶將無法進(jìn)行轉(zhuǎn)賬!

復(fù)轉(zhuǎn)這些年
2025-12-17 23:46:36
恥辱被逆轉(zhuǎn)!火箭128-133鵜鶘,看數(shù)據(jù):頭號(hào)罪人是他!

恥辱被逆轉(zhuǎn)!火箭128-133鵜鶘,看數(shù)據(jù):頭號(hào)罪人是他!

籃壇籃談
2025-12-19 10:13:25
一夜消息:哈登或被交易,保羅下家概率出爐,水花有望再合體

一夜消息:哈登或被交易,保羅下家概率出爐,水花有望再合體

冷月小風(fēng)風(fēng)
2025-12-19 10:11:49
太慘了!小米車主剛提新車就喜提牢飯!被撞者身份曝光,人已離世

太慘了!小米車主剛提新車就喜提牢飯!被撞者身份曝光,人已離世

鋭娛之樂
2025-12-18 22:15:24
中國留學(xué)生保存大量?jī)和橐曨l,面臨終身監(jiān)禁

中國留學(xué)生保存大量?jī)和橐曨l,面臨終身監(jiān)禁

大洛杉磯LA
2025-12-19 07:11:48
六人互拔頭發(fā)吃霸王餐后續(xù):正臉曝光社死,還是群慣犯,警方介入

六人互拔頭發(fā)吃霸王餐后續(xù):正臉曝光社死,還是群慣犯,警方介入

有范又有料
2025-12-19 11:39:54
浙江官方:李提香、孫正傲、董宇、岳鑫、梁諾恒合同期滿離隊(duì)

浙江官方:李提香、孫正傲、董宇、岳鑫、梁諾恒合同期滿離隊(duì)

懂球帝
2025-12-19 12:10:11
外籍男子國際航班上辱罵兩名中國女乘客,哈爾濱女博士用英語反擊,當(dāng)事人:他酒后鬧事,被帶離后全場(chǎng)鼓掌

外籍男子國際航班上辱罵兩名中國女乘客,哈爾濱女博士用英語反擊,當(dāng)事人:他酒后鬧事,被帶離后全場(chǎng)鼓掌

極目新聞
2025-12-18 13:41:36
國家文物局:正在查“8800萬藏品被拍賣”,南京博物館“遺漏”?

國家文物局:正在查“8800萬藏品被拍賣”,南京博物館“遺漏”?

奇思妙想草葉君
2025-12-18 23:51:37
央國企員工可以放心做副業(yè)了

央國企員工可以放心做副業(yè)了

細(xì)說職場(chǎng)
2025-12-19 09:59:12
著名播音員鐘瑞在加拿大病逝!丈夫宋世雄的三件禮物溫暖她一生

著名播音員鐘瑞在加拿大病逝!丈夫宋世雄的三件禮物溫暖她一生

銀河史記
2025-12-16 16:18:24
中國的“性蕭條”時(shí)代,正式到來了

中國的“性蕭條”時(shí)代,正式到來了

律法刑道
2025-12-15 08:28:58
2025-12-19 13:11:00
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
11953文章數(shù) 142513關(guān)注度
往期回顧 全部

科技要聞

2025新一代人工智能創(chuàng)業(yè)大賽總決賽收官

頭條要聞

媒體:美方官宣史上對(duì)臺(tái)單筆最大軍售 野心藏不住了

頭條要聞

媒體:美方官宣史上對(duì)臺(tái)單筆最大軍售 野心藏不住了

體育要聞

沒有塔圖姆,還有塔禿姆

娛樂要聞

曲協(xié)表態(tài)僅6天,郭德綱擔(dān)心的事還是發(fā)生

財(cái)經(jīng)要聞

非法集資911億!"金融大鱷"終審被判無期

汽車要聞

最便宜GLS 2026款奔馳GLS經(jīng)典版售96.8萬

態(tài)度原創(chuàng)

藝術(shù)
房產(chǎn)
教育
時(shí)尚
本地

藝術(shù)要聞

諸樂三的寫意花鳥

房產(chǎn)要聞

萬科·三亞嘉瀾地,萬科高端旅居系1號(hào)作品全球發(fā)布

教育要聞

“考考考老師的法寶”應(yīng)該休矣

“煙管褲”今年冬天爆火,怎么搭都時(shí)髦!

本地新聞

云游安徽|訪黃山云海古村,讀一城山水風(fēng)骨

無障礙瀏覽 進(jìn)入關(guān)懷版