EmoStyle 由深圳大學(xué)可視計(jì)算研究中心黃惠教授課題組獨(dú)立完成，第一作者為楊景媛助理教授，第二作者為研二碩士生柏梓桓。深圳大學(xué)可視計(jì)算研究中心（VCC）以計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、人機(jī)交互、機(jī)器學(xué)習(xí)、具身智能、可視化和可視分析為學(xué)科基礎(chǔ)，致力前沿探索與跨學(xué)科創(chuàng)新。中心主任黃惠為深圳大學(xué)講席教授、計(jì)算機(jī)學(xué)科帶頭人、計(jì)算機(jī)與軟件學(xué)院院長(zhǎng)。

• 論文標(biāo)題：EmoStyle: Emotion-Driven Image Stylization
• 論文鏈接：https://arxiv.org/abs/2512.05478
• 項(xiàng)目主頁：https://vcc.tech/research/2026/EmoStyle
• 項(xiàng)目代碼：https://github.com/JingyuanYY/EmoStyle

很多時(shí)候，我們心里攢滿了表達(dá)的愿望，卻因?yàn)闆]有繪畫功底、缺乏藝術(shù)訓(xùn)練，只能對(duì)著相冊(cè)里平淡的照片發(fā)呆。比如，明明想拍下那個(gè)午后的愜意，鏡頭里卻只剩下一片蒼白的過曝；在過年返工的路上，看著窗外灰蒙蒙的天空，心里正泛起一陣陣 “emo”，那一刻你多希望能在畫面里抹上一筆明媚的色彩，去治愈現(xiàn)實(shí)的沉悶。

EmoStyle 想做的很簡(jiǎn)單：你只需要提供一種 “情感”，剩下的創(chuàng)作，它替你完成。

你不用去學(xué)怎么調(diào)色，用什么筆觸，也不用糾結(jié)什么藝術(shù)流派。你只需要告訴它，現(xiàn)在的你想要一點(diǎn) “明媚”，或者一點(diǎn) “懷舊”，它就像一個(gè)懂你的小畫家，替你點(diǎn)亮腦海里塵封的感受，繪制出一幅幅有溫度、有故事的作品。我們相信，每個(gè)人都能夠把生活過得有創(chuàng)意一點(diǎn)，哪怕只是從給照片換個(gè)心情開始。

圖像情感風(fēng)格化（Affective Image Stylization）具有雙重目標(biāo)：

• 精準(zhǔn)且顯著地喚起目標(biāo)情感
• 保持編輯后圖像與原圖的語義一致性

如下圖所示，AIS 融合了風(fēng)格遷移和 AIM (Affective Image Manipulation) 的優(yōu)勢(shì)，彌補(bǔ)了它們之間的差距：它能夠在像 AIM 一樣喚起情感的同時(shí)，像風(fēng)格遷移一樣生成風(fēng)格化的結(jié)果。AIS 主要面對(duì)兩大關(guān)鍵挑戰(zhàn)：（1）訓(xùn)練數(shù)據(jù)的缺失：現(xiàn)有的數(shù)據(jù)集無法提供 “內(nèi)容 - 情感 - 風(fēng)格化 “的圖像三元組用于情感風(fēng)格化任務(wù)；（2）建立情感和風(fēng)格之間的映射：生成在保持內(nèi)容一致性同時(shí)又富有情感表現(xiàn)力的風(fēng)格變體，絕非易事。

為解決上述兩大挑戰(zhàn)，本文的主要貢獻(xiàn)如下：

• 提出EmoStyle，一種能夠有效融合情感詞與圖像內(nèi)容，并實(shí)現(xiàn)情感感知的圖像風(fēng)格化任務(wù)的方法；
• 構(gòu)建首個(gè) AIS 數(shù)據(jù)集EmoStyleSet，涵蓋 10,041 個(gè)三元組，提供高質(zhì)量且風(fēng)格豐富的情感風(fēng)格化基準(zhǔn)，推動(dòng)視覺情感研究。
• 設(shè)計(jì)Emotion-Content ReasonerStyle Quantizer模塊，融合 EmoStyleSet 的情感知識(shí)，有效提升生成模型的情感感知能力，并推廣到文生圖任務(wù)領(lǐng)域。

EmoStyleSet 的構(gòu)建

鑒于現(xiàn)有數(shù)據(jù)集的缺失，我們首先利用 UnZipLoRA 將 Artemis 數(shù)據(jù)集中所涵蓋的藝術(shù)圖像解耦進(jìn)行內(nèi)容 LoRA 的學(xué)習(xí)，并結(jié)合 ControlNet 生成對(duì)應(yīng)的真實(shí)圖像?？紤]到藝術(shù)圖像內(nèi)容和風(fēng)格解耦的復(fù)雜性，我們對(duì)生成的圖像施行指標(biāo)測(cè)量和人工篩選的過濾過程，以提升數(shù)據(jù)集的整體質(zhì)量。

Emotion-Content Reasoner 的設(shè)計(jì)

在藝術(shù)創(chuàng)作中，風(fēng)格與內(nèi)容是緊密交織的，藝術(shù)家會(huì)自然地調(diào)整其風(fēng)格選擇，使其與主題內(nèi)容和情感意圖相契合。AIS的一大關(guān)鍵挑戰(zhàn)在于如何選擇合適的藝術(shù)風(fēng)格以有效激發(fā)目標(biāo)情感。

為此，我們首先提出了 Emotion-Content Reasoner，旨在根據(jù)給定內(nèi)容圖像和目標(biāo)情感確定最合適的風(fēng)格。

通過將情感詞編碼為 one-hot 向量，結(jié)合由 SigLIP 編碼的圖像特征，由 transformer 完成跨模態(tài)推理，推導(dǎo)出一種情感和內(nèi)容感知的風(fēng)格查詢，用于后續(xù)的風(fēng)格選擇。

Style Quantizer 的設(shè)計(jì)

在人類視覺認(rèn)知中，藝術(shù)風(fēng)格往往認(rèn)為是離散的類別，而非連續(xù)的，例如 Impressionism。因此，我們提出 Style Quantizer，將風(fēng)格特征離散化為獨(dú)立的原型，從而實(shí)現(xiàn)可解釋且可控的風(fēng)格學(xué)習(xí)。

在訓(xùn)練過程中，我們通過風(fēng)格損失，流匹配損失和對(duì)齊損失經(jīng)過兩階段訓(xùn)練共同優(yōu)化網(wǎng)絡(luò)：

其中，風(fēng)格損失側(cè)重于風(fēng)格相似性，流匹配損失側(cè)重于像素相似性，對(duì)齊損失側(cè)重于情感正確性。

實(shí)驗(yàn)結(jié)果

在對(duì)比實(shí)驗(yàn)中，我們從風(fēng)格遷移，圖像編輯和 AIM 三種不同任務(wù)中選擇了對(duì)比方法。與其他方法相比，EmoStyle 在情感表達(dá)與內(nèi)容保留之間實(shí)現(xiàn)了卓越的平衡，呈現(xiàn)出既美觀又富有情感感染力的風(fēng)格化效果，使其成為情感驅(qū)動(dòng)的藝術(shù)風(fēng)格化創(chuàng)作的有效框架。

在消融實(shí)驗(yàn)中，若不使用 Style Quantizer，結(jié)果往往更接近真實(shí)圖像；Emotion Encoder 和 Emotion-Content Reasoner 對(duì)情感感知風(fēng)格化至關(guān)重要，移除它們將導(dǎo)致結(jié)果情感感染力減弱。通過整合這些關(guān)鍵模塊，EmoStyle 能夠生成情感真實(shí)、藝術(shù)性強(qiáng)且內(nèi)容一致的圖像。

同時(shí)，我們觀察到通過擴(kuò)大 Scale 能增強(qiáng)情感與風(fēng)格的表達(dá)力，卻會(huì)損害結(jié)構(gòu)的完整性，由此揭示了情感與內(nèi)容之間的權(quán)衡關(guān)系。EmoStyle 有效平衡了這些方面，并且用戶可根據(jù)個(gè)人偏好調(diào)整情感強(qiáng)度并精細(xì)調(diào)節(jié)風(fēng)格化效果。

在定量實(shí)驗(yàn)中，我們?cè)u(píng)估了語義、風(fēng)格以及情感性三個(gè)方面的指標(biāo)，EmoStyle 在大多數(shù)指標(biāo)上超越了其他對(duì)比方法，展現(xiàn)了其在 AIS 任務(wù)上的卓越性能。

我們還對(duì)情感風(fēng)格詞典進(jìn)行了部分可視化，每種風(fēng)格詞典都提供多樣且美觀的風(fēng)格類別，能有效喚起目標(biāo)情緒。用戶可針對(duì)每種情緒進(jìn)一步選擇特定風(fēng)格，生成符合其偏好的圖像。

除了圖像風(fēng)格化之外，EmoStyle 還能擴(kuò)展到文本到圖像的生成，能夠根據(jù)文本描述創(chuàng)建富有情感表現(xiàn)力的圖像。

總結(jié)與展望

列夫?托爾斯泰曾言：

Art is not a handicraft, it is the transmission of feelings.

藝術(shù)不止匠心之精，更在于情感之美

近年來，我們課題組先后提出了情感計(jì)算領(lǐng)域的 Emo 系列研究工作：

• EmoSet（ICCV 2023）：首個(gè)具有豐富屬性標(biāo)注的大規(guī)模視覺情感數(shù)據(jù)集；
• EmoGen（CVPR 2024）：首個(gè)針對(duì)圖像情感內(nèi)容生成的研究；
• EmoEdit（CVPR 2025）：首個(gè)聚焦于圖像情感內(nèi)容編輯的研究；
• EmoStyle（CVPR 2026）：首個(gè)聚焦于圖像情感風(fēng)格化的研究。

我們希望通過這一系列探索，為情感計(jì)算（Affective Computing）與生成式人工智能（AIGC）的交叉領(lǐng)域貢獻(xiàn)新的思路與方法。未來，我們將持續(xù)深耕這一領(lǐng)域，也期待更多志同道合的朋友加入，共同探索「情感」這片藍(lán)海！