在藝術(shù)學習的世界里，最讓人著迷的莫過于能夠親眼目睹一幅畫作從空白畫布到完成作品的整個創(chuàng)作過程。然而，傳統(tǒng)的繪畫教程視頻往往存在諸多局限：缺乏互動性、無法個性化定制，更重要的是，現(xiàn)有的人工智能模型在生成繪畫過程時經(jīng)常出現(xiàn)時間不連貫、結(jié)構(gòu)跳躍等問題，難以真實還原人類藝術(shù)家的創(chuàng)作流程。

這項由意大利特倫托大學的馬庫斯·波比策爾（Markus Pobitzer）、常柳（Chang Liu）、莊晨逸（Chenyi Zhuang）、龍騰（Teng Long）、任斌（Bin Ren）以及尼庫·塞貝（Nicu Sebe）領(lǐng)導的研究團隊，于2025年11月發(fā)表在arXiv預印本平臺（編號arXiv:2511.17344v1）的論文，為這一難題提供了令人驚艷的解決方案。他們開發(fā)的"Loomis Painter"系統(tǒng)，能夠?qū)⑷魏屋斎雸D片重構(gòu)成一個完整的繪畫過程視頻，就像時光倒流一般，讓我們看到這幅畫是如何一筆一畫創(chuàng)作出來的。有興趣深入了解的讀者可以通過論文編號arXiv:2511.17344v1在arXiv平臺查詢完整論文。

這項技術(shù)的神奇之處在于，它不僅能忠實地重現(xiàn)原始繪畫過程，還能將同一幅圖片轉(zhuǎn)換成不同藝術(shù)媒介的繪畫過程。無論是油畫的層層疊疊、鉛筆素描的逐步深入，還是丙烯畫的色彩漸變，系統(tǒng)都能準確模擬出相應的繪畫技法和時序特征。更令人驚嘆的是，該系統(tǒng)還能夠?qū)崿F(xiàn)著名的盧米斯（Loomis）肖像繪畫方法，這是一種經(jīng)典的人像繪畫技法，強調(diào)正確的比例和結(jié)構(gòu)性繪畫方法。

研究團隊的創(chuàng)新核心是一個統(tǒng)一的多媒介繪畫過程生成框架，結(jié)合了語義驅(qū)動的風格控制機制。這個框架能夠?qū)⒍喾N藝術(shù)媒介嵌入到擴散模型的條件空間中，通過跨媒介風格增強技術(shù)，實現(xiàn)一致的紋理演化和跨風格的過程轉(zhuǎn)換。同時，他們提出的"逆向繪畫"訓練策略確保了生成過程的平滑性和人類繪畫習慣的一致性。

為了訓練這個系統(tǒng)，研究團隊構(gòu)建了一個大規(guī)模的真實繪畫過程數(shù)據(jù)集，并在跨媒介一致性、時間連貫性和最終圖像保真度方面進行了全面評估。他們在LPIPS、DINO和CLIP等評估指標上都取得了優(yōu)異的表現(xiàn)。此外，團隊還提出了一種全新的評估方法——感知距離輪廓（PDP）曲線，能夠定量地模擬創(chuàng)作序列，包括構(gòu)圖、色彩鋪設(shè)和細節(jié)精修等人類藝術(shù)創(chuàng)作的典型階段。

### 一、傳統(tǒng)繪畫教學的困境與AI繪畫生成的挑戰(zhàn)

當我們想要學習繪畫技巧時，最直接的方法就是觀看繪畫教程。就像學做菜需要看廚師的每一個步驟一樣，學畫畫也需要看到藝術(shù)家的每一筆是如何落在畫布上的。然而，現(xiàn)有的繪畫教學資源存在著明顯的局限性。

傳統(tǒng)的書籍教程就像靜態(tài)的照片菜譜，只能展示最終成果，卻無法顯示動態(tài)的制作過程。而YouTube上的繪畫視頻雖然能展示完整過程，但就像單向播放的錄像一樣，缺乏互動性和個性化指導。更關(guān)鍵的是，這些視頻往往無法針對不同的輸入圖片提供相應的繪畫過程演示。

近年來，人工智能在藝術(shù)圖像合成方面取得了顯著進展，但在過程級建模方面仍然面臨重大挑戰(zhàn)�，F(xiàn)有的生成模型在創(chuàng)建繪畫序列時，經(jīng)常出現(xiàn)時間不連續(xù)、結(jié)構(gòu)跳躍以及跨藝術(shù)媒介泛化能力差等問題。這就好比一個機器人廚師能做出美味的菜肴，但在制作過程中會突然跳過某些步驟，或者無法適應不同的烹飪方式。

具體來說，當前的繪畫生成方法主要分為兩類。第一類是神經(jīng)繪畫方法，比如Paint Transformer，這些方法將繪畫視為一個參數(shù)化渲染問題，通過前饋架構(gòu)逐步生成筆觸參數(shù)。然而，這種方法合成的筆觸序列往往偏離真實藝術(shù)家的構(gòu)圖方式，就像一個從未學過正統(tǒng)烹飪的人試圖模仿大廚的手法，形似而神不似。

第二類是像素級生成方法，直接在像素層面合成繪畫序列。早期的方法如Inverse Painting采用自回歸的三階段流程，通過與參考圖像比較中間幀、遮罩下一個操作區(qū)域并通過擴散更新像素來重構(gòu)繪畫工作流。更近期的ProcessPainter利用圖像擴散模型生成繪畫過程，但主要使用合成數(shù)據(jù)進行訓練。PaintsUndo專注于重現(xiàn)動漫風格繪畫的繪畫過程，而PaintsAlter將這一想法擴展到視頻擴散，以實現(xiàn)更連續(xù)的進展。

盡管這些方法取得了一定進展，但它們在處理多樣化藝術(shù)媒介時仍然存在明顯不足。就像一位只會做中餐的廚師突然要做法餐一樣，現(xiàn)有方法往往無法很好地適應不同的繪畫風格和技法特征。

### 二、Loomis Painter的核心創(chuàng)新：逆向思維重構(gòu)繪畫過程

面對這些挑戰(zhàn)，特倫托大學的研究團隊提出了一個極具創(chuàng)新性的解決方案。他們的核心洞察是：與其試圖預測下一筆畫什么，不如學會如何"撤銷"上一筆。這種逆向思維就像學習拆解一臺精密機器一樣，通過理解每個部件是如何安裝的，我們就能掌握整個組裝過程。

傳統(tǒng)的繪畫生成方法采用前向預測，就像試圖預測故事的下一個情節(jié)發(fā)展。這種方法的問題在于，繪畫創(chuàng)作具有高度的不確定性和創(chuàng)造性，下一筆的位置和顏色可能有無數(shù)種選擇。而Loomis Painter采用的逆向?qū)W習策略，則是從完成的畫作開始，逐步學習如何回到空白畫布。這種方法的優(yōu)勢在于，每一步的目標都是明確的：如何移除當前的一部分內(nèi)容來接近前一個階段。

這種逆向訓練策略解決了兩個關(guān)鍵問題。首先，現(xiàn)有的圖像到視頻模型通常被訓練為在初始幀重構(gòu)輸入圖像，這在我們的情況下對應于完成的繪畫。如果要先生成空白畫布，就需要大量重新訓練來覆蓋這種默認行為。其次，輸入圖像的時序位置與生成過程存在錯位。在視頻擴散模型中，圖像通常放在第一個時間位置，但這與漸進式繪畫軌跡的期望序列不匹配。

通過時序反轉(zhuǎn)，研究團隊巧妙地重新組織了時序監(jiān)督，實現(xiàn)了更平滑的過程建模。給定一個從空畫布到完成作品的原始繪畫視頻，他們構(gòu)建其反轉(zhuǎn)序列。這種反轉(zhuǎn)自然引入了單調(diào)的"細節(jié)移除"過程：高頻紋理逐漸消失，色彩區(qū)域簡化為粗糙的結(jié)構(gòu)塊，底層構(gòu)圖變得越來越突出。

### 三、跨媒介藝術(shù)風格的統(tǒng)一建模

Loomis Painter的另一個重要創(chuàng)新是實現(xiàn)了跨媒介藝術(shù)風格的統(tǒng)一建模。這就像培養(yǎng)一位多才多藝的藝術(shù)家，不僅要會油畫，還要精通素描、水彩等各種技法，更重要的是要理解不同媒介之間的內(nèi)在聯(lián)系。

為了實現(xiàn)媒介感知的過程控制，研究團隊引入了一種語義條件機制，將文本媒介屬性整合到時序生成過程中，并將它們與跨媒介的一致結(jié)構(gòu)線索對齊。具體來說，給定藝術(shù)媒介的文本描述（如"油畫"、"鉛筆素描"）和場景描述，系統(tǒng)構(gòu)建一個組合語義提示，預訓練的文本編碼器將其轉(zhuǎn)換為語義嵌入，作為生成模型的條件向量。

在擴散過程中，這個條件信息通過交叉注意力機制注入，允許媒介語義直接影響每個時間步的潛在特征時序演化。這種嵌入驅(qū)動風格特征和程序特征：例如，模型學習油畫中的顏色分層行為或鉛筆素描中的漸進填充圖案，使得能夠合成媒介適當?shù)墓ぷ髁鞒獭?/p>

為了實現(xiàn)任意輸入圖像到相應藝術(shù)媒介的轉(zhuǎn)換，團隊提出了跨媒介訓練策略。他們對給定圖像應用風格變換以獲得變體，保留物體和語義的同時移除原始藝術(shù)媒介的身份特征。這種策略讓模型接觸到不同風格下一致的形狀、輪廓和空間關(guān)系，使其能夠?qū)W習這些元素如何映射到目標藝術(shù)媒介。每個物體隨時間逐步渲染，模擬自然的繪畫過程。

### 四、大規(guī)模真實繪畫數(shù)據(jù)集的構(gòu)建

要訓練出高質(zhì)量的繪畫過程生成模型，就像培養(yǎng)一位優(yōu)秀的藝術(shù)家一樣，需要大量真實的繪畫過程數(shù)據(jù)作為"教材"。然而，從原始教程視頻中提取高質(zhì)量的繪畫過程數(shù)據(jù)面臨著諸多挑戰(zhàn)，最主要的問題是畫家的手部、畫筆等物體會遮擋畫布，影響模型學習真正的筆觸變化。

研究團隊開發(fā)了一套完整的數(shù)據(jù)處理流水線來解決這些問題。這個過程就像一位專業(yè)的視頻編輯師，需要精確地識別并移除所有不必要的干擾元素，同時保留繪畫過程的核心信息。

首先，系統(tǒng)會自動檢測視頻中的起始和結(jié)束幀，通過識別"手"的首次和最后出現(xiàn)來隔離核心繪畫過程，這就像在一部電影中找到正片的開始和結(jié)束一樣。接下來，對于畫布定位，系統(tǒng)使用零樣本目標檢測技術(shù)查詢"畫布"。對于分屏教程（如盧米斯肖像教程，通常在左側(cè)顯示參考照片，右側(cè)顯示畫布），系統(tǒng)會計算水平強度梯度并在梯度最大的列處分割圖像，有效分離畫布區(qū)域。

處理遮擋問題時，系統(tǒng)將修剪后的視頻分割成多個時間段，從每段中采樣一定數(shù)量的幀。然后使用先進的分割模型檢測遮擋物（如手部、畫筆），通過計算采樣幀的遮罩中位數(shù)生成每段的干凈幀。這種計算會迭代地包含前段的中位數(shù)幀來填充持續(xù)遮擋的區(qū)域，最初以空白白色畫布初始化。

最后，在后處理階段，系統(tǒng)會檢測并移除標志和文字疊加，確保最終的訓練數(shù)據(jù)純凈無干擾。整個流水線在NVIDIA RTX A4000 GPU上能夠接近實時地處理分辨率為640x360像素的視頻，實現(xiàn)了高效的數(shù)據(jù)集策劃。

通過這套流水線，研究團隊策劃了一個包含767個繪畫教程視頻的大規(guī)模數(shù)據(jù)集，涵蓋丙烯畫、油畫、鉛筆畫和盧米斯肖像等多種藝術(shù)媒介。其中丙烯畫子集包含81個寫實丙烯風景畫教程，強調(diào)濕畫濕法混合和分層等技法；油畫子集收集了151個油畫教程，包括142個印象派風景畫和9個寫實繪畫；鉛筆子集包含270個鉛筆和28個彩色鉛筆教程；盧米斯肖像子集包含207個遵循安德魯·盧米斯比例方法的肖像教程。

### 五、創(chuàng)新評估體系：感知距離輪廓曲線

評估繪畫過程的質(zhì)量不能僅僅依靠傳統(tǒng)的圖像質(zhì)量指標，就像評價一部電影不能只看最后一幀的畫面質(zhì)量一樣。繪畫過程的評估需要考慮整個創(chuàng)作序列的合理性、時間連貫性以及是否符合人類藝術(shù)家的創(chuàng)作習慣。

為此，研究團隊提出了一個全新的評估指標——感知距離輪廓（Perceptual Distance Profile, PDP）。這個指標的核心思想是通過測量視頻中每一幀與最終完成作品之間的感知距離，來構(gòu)建一條描述創(chuàng)作進程的曲線。

PDP的工作原理就像記錄一位藝術(shù)家的創(chuàng)作節(jié)奏一樣。在繪畫開始時，空白畫布與最終作品的差異最大，隨著繪畫進程的推進，這種差異逐步縮小，直到作品完成。真實的人類繪畫過程通常遵循一個特定的模式：開始時進展較快（建立基本構(gòu)圖），然后穩(wěn)步推進（添加主要色彩和形狀），最后階段進展放緩（精細化細節(jié)）。

通過比較生成視頻和真實繪畫過程的PDP曲線，可以量化評估生成的繪畫過程是否符合人類的創(chuàng)作規(guī)律。這種評估方法的優(yōu)勢在于它不要求兩個視頻具有相同的幀數(shù)，因為曲線會被插值到統(tǒng)一的時間軸上進行比較。

實驗結(jié)果表明，研究團隊的方法在所有評估指標上都取得了最佳性能。在傳統(tǒng)的LPIPS、CLIP和DINOv2指標上，Loomis Painter顯著優(yōu)于現(xiàn)有的基線方法，包括Inverse Painting、ProcessPainter和PaintsUndo。更重要的是，在PDP評估中，該方法生成的繪畫過程曲線與真實人類繪畫過程高度吻合，證明了其在模擬真實藝術(shù)創(chuàng)作流程方面的優(yōu)越性。

### 六、廣泛的應用前景與實際效果

Loomis Painter的應用前景極其廣闊，就像一把萬能鑰匙，能夠打開藝術(shù)教育、內(nèi)容創(chuàng)作、數(shù)字媒體等多個領(lǐng)域的新大門。在藝術(shù)教育方面，這項技術(shù)能夠為任何參考圖片生成對應的繪畫教程，讓學習者能夠看到具體的創(chuàng)作步驟。無論是想要學習如何畫一只兔子、一座城堡，還是一幅肖像，系統(tǒng)都能提供詳細的逐步指導。

在內(nèi)容創(chuàng)作領(lǐng)域，這項技術(shù)為視頻制作者和藝術(shù)博主提供了全新的創(chuàng)作可能。他們可以使用現(xiàn)有的藝術(shù)作品生成對應的繪畫過程視頻，而無需實際完成整個繪畫過程。這大大降低了教學內(nèi)容制作的門檻和時間成本。

系統(tǒng)的多媒介支持能力使其能夠滿足不同學習者的需求和偏好。有些人可能更喜歡鉛筆素描的簡潔明了，有些人則偏愛油畫的豐富層次，還有人對丙烯畫的明快色彩情有獨鐘。Loomis Painter能夠?qū)⑼环鶇⒖紙D片轉(zhuǎn)換成不同藝術(shù)媒介的繪畫過程，為學習者提供多樣化的學習體驗。

特別值得一提的是盧米斯肖像方法的實現(xiàn)。這是一種經(jīng)典的人像繪畫技法，由安德魯·盧米斯開發(fā)，強調(diào)正確的比例和結(jié)構(gòu)性方法。該技術(shù)能夠?qū)⑷魏稳讼裾掌D(zhuǎn)換成盧米斯風格的素描過程，展示如何將頭部分割成區(qū)域以便于結(jié)構(gòu)化繪畫。盡管主要在人臉上訓練，但模型表現(xiàn)出了強大的泛化能力，甚至能夠擴展到動物頭部的繪制。

在實際測試中，系統(tǒng)展現(xiàn)出了令人印象深刻的效果。當輸入一張兔子的圖片時，系統(tǒng)能夠生成完整的素描過程，從最初的輪廓勾勒到逐步添加細節(jié)，整個過程自然流暢，符合真實藝術(shù)家的繪畫習慣。對于復雜的風景畫，系統(tǒng)同樣能夠準確地模擬出從構(gòu)圖建立、色彩鋪設(shè)到細節(jié)精修的完整流程。

### 七、技術(shù)挑戰(zhàn)與未來改進方向

盡管Loomis Painter取得了顯著成果，但研究團隊也誠實地指出了當前技術(shù)的一些局限性。這些限制就像新技術(shù)發(fā)展路上的里程碑，標志著未來努力的方向。

數(shù)據(jù)處理方面仍有改進空間。目前的遮擋檢測系統(tǒng)無法檢測手部陰影，導致訓練數(shù)據(jù)中出現(xiàn)暗色偽影，這在鉛筆畫生成中尤為明顯，通常表現(xiàn)為右下區(qū)域的陰影。這個問題的根源在于，陰影是光影效果而非物理遮擋，現(xiàn)有的分割模型難以準確識別和處理。

模型的訓練數(shù)據(jù)分布也帶來了一些局限。基礎(chǔ)模型在肖像繪制方面存在困難，因為訓練期間很少接觸肖像類內(nèi)容。在某些情況下，模型會試圖在繪畫過程中移動人物頭部，這顯然不符合正常的繪畫邏輯。不過，藝術(shù)媒介轉(zhuǎn)換模型通過在盧米斯肖像照片上的微調(diào)解決了這個問題。

跨媒介生成的局限性也值得注意。當生成訓練期間未見過的內(nèi)容和藝術(shù)媒介組合時，藝術(shù)媒介模型有時會失效。例如，將盧米斯方法應用于非肖像繪畫，或者對人像使用丙烯畫方法（因為該方法主要在風景畫上訓練）時，效果可能不夠理想。

數(shù)據(jù)集的媒介分布也存在偏差，主要偏向鉛筆類繪畫序列，彩色工作流程的樣本相對較少。藝術(shù)家的多樣性也有限，且許多教程包含過度的相機移動、縮放和遮擋，這些都會影響時序一致性。

未來的改進方向已經(jīng)有了明確的輪廓。研究團隊指出，要全面支持人類藝術(shù)家的繪畫之旅，僅僅展示逐步序列是不夠的。理解繪畫過程還需要指示選擇了哪些顏色、如何混合、使用了什么工具（鉛筆或畫筆），以及如何在畫布上應用它們。這些更精細的控制信息將是下一階段研究的重點。

此外，擴大數(shù)據(jù)集的規(guī)模和多樣性，改進遮擋檢測算法以處理陰影等復雜情況，以及增強模型對不同藝術(shù)風格組合的適應能力，都是值得探索的發(fā)展方向。隨著技術(shù)的不斷完善，我們有理由相信，Loomis Painter將為藝術(shù)教育和創(chuàng)作領(lǐng)域帶來更加革命性的變化。

說到底，Loomis Painter代表著人工智能與藝術(shù)教育結(jié)合的一次重要突破。它不僅解決了傳統(tǒng)繪畫教學中的諸多痛點，還開辟了全新的藝術(shù)學習和創(chuàng)作可能性。雖然目前仍有一些技術(shù)挑戰(zhàn)需要克服，但這項研究已經(jīng)為我們展示了一個令人興奮的未來圖景：在不久的將來，任何人都可能擁有一位私人繪畫導師，能夠針對任何想要學習的圖片提供詳細的、個性化的繪畫指導。這種技術(shù)的普及將極大地降低藝術(shù)學習的門檻，讓更多人能夠享受繪畫的樂趣并掌握這門古老而美麗的藝術(shù)形式。

Q&A

Q1：Loomis Painter是什么？

A：Loomis Painter是由意大利特倫托大學開發(fā)的AI繪畫過程生成系統(tǒng)，能夠?qū)⑷魏屋斎雸D片重構(gòu)成完整的繪畫過程視頻，就像看到畫家一筆一筆完成作品的全過程。它不僅能忠實重現(xiàn)原始繪畫過程，還能將同一幅圖轉(zhuǎn)換成油畫、素描、丙烯畫等不同藝術(shù)媒介的繪畫流程。

Q2：這個技術(shù)跟現(xiàn)有的AI繪畫工具有什么區(qū)別？

A：與現(xiàn)有AI繪畫工具最大的不同是，Loomis Painter專注于生成繪畫"過程"而不是靜態(tài)結(jié)果。它采用創(chuàng)新的"逆向繪畫"策略，從完成作品倒推到空白畫布，避免了傳統(tǒng)方法中常見的時間跳躍和結(jié)構(gòu)不連貫問題。同時支持多種藝術(shù)媒介轉(zhuǎn)換，能真實模擬不同繪畫技法的特色流程。

Q3：普通人可以用Loomis Painter學畫畫嗎？

A：理論上是可以的，這正是該技術(shù)的主要應用前景。用戶只需輸入一張想要學習繪制的圖片，系統(tǒng)就能生成對應的逐步繪畫教程，展示從構(gòu)圖到細節(jié)的完整創(chuàng)作過程。不過目前這還是實驗室階段的研究成果，尚未開發(fā)成普通用戶可直接使用的產(chǎn)品。