這項(xiàng)由香港大學(xué)和LIGHTSPEED公司聯(lián)合開展的研究發(fā)表于2026年的ICLR會(huì)議（arXiv:2602.12100v1），有興趣深入了解的讀者可以通過這個(gè)編號(hào)查詢完整論文。這是一個(gè)關(guān)于如何讓人工智能像玩樂高積木一樣創(chuàng)造3D建筑的革命性突破。

你有沒有想過，為什么現(xiàn)在的游戲和虛擬世界里的建筑物要花那么長時(shí)間才能制作出來？一個(gè)游戲公司的美術(shù)師可能需要花費(fèi)數(shù)百小時(shí)才能精心設(shè)計(jì)和制作一個(gè)復(fù)雜的城堡或者現(xiàn)代建筑。而對(duì)于普通玩家來說，即使想要在游戲中自己建造一些簡單的房子，也經(jīng)常會(huì)因?yàn)椴僮鲝?fù)雜而感到困難。

現(xiàn)在，研究團(tuán)隊(duì)帶來了一個(gè)全新的解決方案。他們開發(fā)了一個(gè)名為AssetFormer的系統(tǒng)，這個(gè)系統(tǒng)就像一個(gè)超級(jí)智能的建筑師助手。你只需要用普通話告訴它"我想要一個(gè)有很多窗戶的多層公寓"，或者"幫我建一個(gè)帶尖塔的古堡"，它就能自動(dòng)為你搭建出來。

這個(gè)系統(tǒng)的核心思想其實(shí)很簡單，就像我們小時(shí)候玩積木一樣。不同的是，這些"數(shù)字積木"包括各種屋頂片、墻壁塊、窗戶、門等25種不同的建筑構(gòu)件。每個(gè)構(gòu)件都有自己的位置、朝向等屬性，就像真正的積木有不同的顏色、大小和形狀一樣。

研究團(tuán)隊(duì)收集了大量真實(shí)玩家在游戲中創(chuàng)建的建筑數(shù)據(jù)，總共包含16000個(gè)真實(shí)樣本和4000個(gè)程序生成的樣本。這些數(shù)據(jù)就像是給AI系統(tǒng)看了成千上萬本建筑設(shè)計(jì)圖冊(cè)，讓它學(xué)會(huì)了各種建筑風(fēng)格和搭配方法。

一、模塊化建筑的魅力所在

傳統(tǒng)的3D建筑制作就像雕刻一樣，需要從一塊"數(shù)字石頭"開始，一點(diǎn)一點(diǎn)地雕琢出最終的形狀。這種方法制作出來的建筑文件往往非常龐大，就像一個(gè)裝滿了無數(shù)細(xì)節(jié)的巨大行李箱，傳輸和存儲(chǔ)都很困難。

而模塊化建筑則完全不同。想象一下宜家家具的制作方式，所有復(fù)雜的家具都可以分解成標(biāo)準(zhǔn)化的零件，用戶可以按照說明書輕松組裝。模塊化建筑采用的正是這種思路，將任何復(fù)雜的建筑都分解成標(biāo)準(zhǔn)的構(gòu)件組合。

這種方法有幾個(gè)顯著的優(yōu)勢(shì)。首先，文件大小變得非常小巧，就像用壓縮包裝行李一樣，原本需要幾十兆的建筑文件現(xiàn)在可能只需要幾KB。其次，這些建筑可以輕松地在不同的游戲引擎中使用，就像標(biāo)準(zhǔn)化的螺絲可以用在不同品牌的電器上一樣。

最重要的是，普通玩家也能輕松地修改和創(chuàng)建建筑。就像搭積木一樣，即使是沒有專業(yè)建筑知識(shí)的人也能通過簡單的拖拽和組合創(chuàng)造出令人驚嘆的建筑作品。這為用戶生成內(nèi)容（UGC）開辟了全新的可能性。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)，在數(shù)字游戲產(chǎn)業(yè)中，現(xiàn)有的3D生成方法雖然能創(chuàng)造出精美的幾何形狀和材質(zhì)，但卻面臨著實(shí)際應(yīng)用中的關(guān)鍵限制。專業(yè)游戲開發(fā)中，現(xiàn)有方法往往難以滿足現(xiàn)代游戲的高質(zhì)量標(biāo)準(zhǔn)，導(dǎo)致美術(shù)師需要花費(fèi)數(shù)百小時(shí)來精雕細(xì)琢每個(gè)資產(chǎn)。同時(shí)，在用戶生成內(nèi)容和在線游戲場景中，傳統(tǒng)表示方法產(chǎn)生的大文件大小給存儲(chǔ)和傳輸帶來了巨大挑戰(zhàn)，這可能會(huì)給服務(wù)器基礎(chǔ)設(shè)施帶來壓力，妨礙無縫共享和實(shí)時(shí)交互。

二、讓AI學(xué)會(huì)"搭積木"的秘密

讓人工智能學(xué)會(huì)像人一樣搭建筑，關(guān)鍵在于教會(huì)它理解積木之間的邏輯關(guān)系。研究團(tuán)隊(duì)采用了一種巧妙的方法，就像教孩子按照一定的順序來搭積木一樣。

首先，他們需要解決一個(gè)核心問題：積木的擺放順序。和寫字要從左到右、從上到下一樣，搭建筑也需要一個(gè)合理的順序。但是3D建筑比文字復(fù)雜得多，因?yàn)樗锌臻g結(jié)構(gòu)和連接關(guān)系。研究團(tuán)隊(duì)設(shè)計(jì)了兩種搜索方法，就像兩種不同的搭積木策略。

深度優(yōu)先搜索（DFS）就像是一個(gè)專注的建筑工人，他會(huì)專注于完成建筑的一個(gè)部分，比如先把一面墻完全搭好，再去搭另一面墻。廣度優(yōu)先搜索（BFS）則像是一個(gè)統(tǒng)籌全局的建筑師，他會(huì)先給整個(gè)建筑打好地基，然后同時(shí)推進(jìn)各個(gè)部分。

通過大量實(shí)驗(yàn)，研究團(tuán)隊(duì)發(fā)現(xiàn)深度優(yōu)先搜索的效果略好一些。這可能是因?yàn)榻ㄖ锏木植窟B接性更重要，就像搭積木時(shí)先把一個(gè)小單元搭穩(wěn)了，再去搭下一個(gè)單元會(huì)更容易成功。

在訓(xùn)練過程中，系統(tǒng)學(xué)習(xí)的是"下一個(gè)積木應(yīng)該放在哪里"的規(guī)律。就像學(xué)習(xí)語言時(shí)要理解"下一個(gè)詞是什么"一樣，這個(gè)AI系統(tǒng)要理解"下一個(gè)建筑構(gòu)件應(yīng)該是什么類型、放在什么位置、以什么角度"。

為了讓AI更好地理解文字描述，研究團(tuán)隊(duì)還加入了文本控制功能。他們使用GPT-4o來為每個(gè)建筑生成描述性的文字，比如"公寓、多層、平屋頂、很多窗戶"這樣的短語組合。這樣，AI就能理解人類的語言指令，并據(jù)此生成相應(yīng)的建筑。

三、詞匯表的巧妙設(shè)計(jì)

在這個(gè)系統(tǒng)中，每個(gè)建筑構(gòu)件都需要用數(shù)字語言來描述，就像給每個(gè)積木編號(hào)一樣。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)特殊的"詞匯表"，包含了所有可能的構(gòu)件類型、旋轉(zhuǎn)角度和位置信息。

這個(gè)詞匯表總共包含214個(gè)不同的"詞匯"。其中25個(gè)代表不同的構(gòu)件類型（比如各種屋頂、墻壁、門窗等），4個(gè)代表可能的旋轉(zhuǎn)角度，其余的代表三維空間中的位置坐標(biāo)。

最有趣的部分是如何處理這個(gè)混合詞匯表。在生成過程中，AI需要按照特定的順序來"說話"：先說構(gòu)件類型，再說旋轉(zhuǎn)角度，最后說三維位置。這就像我們描述一個(gè)物品的位置時(shí)，會(huì)說"桌子上的紅色杯子，杯柄朝向右邊"一樣，有著固定的描述順序。

為了保證AI不會(huì)"說錯(cuò)話"，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)智能過濾機(jī)制。當(dāng)AI應(yīng)該說構(gòu)件類型時(shí)，系統(tǒng)會(huì)自動(dòng)屏蔽所有位置和角度相關(guān)的詞匯，只讓它從構(gòu)件類型中選擇。這就像在玩詞語接龍游戲時(shí)，規(guī)定下一個(gè)詞必須是動(dòng)物名字一樣，避免了語法錯(cuò)誤。

這種設(shè)計(jì)讓整個(gè)生成過程既靈活又可控，確保生成的每個(gè)建筑都是結(jié)構(gòu)合理、邏輯清晰的。

四、加速生成的雙模型策略

為了讓建筑生成過程更快，研究團(tuán)隊(duì)開發(fā)了一種名為"SlowFast解碼"的技術(shù)。這個(gè)方法就像工廠的流水線作業(yè)，用兩個(gè)不同能力的AI模型來協(xié)作完成任務(wù)。

這種方法的核心思路是：簡單的積木組合可以用小而快的模型來處理，復(fù)雜的結(jié)構(gòu)設(shè)計(jì)則交給大而慢但更精確的模型。就像裝配手機(jī)時(shí)，普通的螺絲擰緊可以用自動(dòng)化設(shè)備快速完成，而精密芯片的安裝則需要有經(jīng)驗(yàn)的技師仔細(xì)操作。

在實(shí)際應(yīng)用中，小模型（87M參數(shù)的AssetFormer-S）會(huì)快速預(yù)測一系列積木的擺放方案，然后大模型（312M參數(shù)的AssetFormer-B）會(huì)檢查這些方案，保留合理的部分，修正有問題的地方。這種協(xié)作方式將生成速度從每秒80個(gè)構(gòu)件提升到119個(gè)構(gòu)件，同時(shí)保持了生成質(zhì)量。

這種加速策略特別適合模塊化3D資產(chǎn)生成，因?yàn)榻ㄖ胁煌糠值膹?fù)雜程度差別很大。標(biāo)準(zhǔn)的墻壁和窗戶組合是相對(duì)簡單的，可以用小模型快速處理；而復(fù)雜的轉(zhuǎn)角結(jié)構(gòu)或特殊的建筑連接則需要大模型的精確判斷。

五、數(shù)據(jù)來源的雙重保障

研究團(tuán)隊(duì)的數(shù)據(jù)來源采用了兩條腿走路的策略。一方面，他們從真實(shí)的在線游戲平臺(tái)收集了16000個(gè)由玩家手工創(chuàng)建的建筑作品。這些作品展現(xiàn)了真實(shí)玩家的創(chuàng)造力和審美偏好，包含了各種風(fēng)格迥異、結(jié)構(gòu)復(fù)雜的建筑設(shè)計(jì)。

另一方面，他們使用程序化生成技術(shù)創(chuàng)建了4000個(gè)標(biāo)準(zhǔn)建筑樣本。這些樣本雖然相對(duì)簡單，但結(jié)構(gòu)規(guī)整，為AI學(xué)習(xí)提供了良好的基礎(chǔ)架構(gòu)知識(shí)。

這種組合策略的效果出人意料地好。單獨(dú)使用真實(shí)數(shù)據(jù)時(shí)，AI生成的建筑質(zhì)量評(píng)分為63.381；單獨(dú)使用程序化數(shù)據(jù)時(shí)，評(píng)分只有113.560（分?jǐn)?shù)越低越好）；但當(dāng)兩種數(shù)據(jù)結(jié)合使用時(shí)，評(píng)分卻達(dá)到了55.186的最佳水平。

這種現(xiàn)象可以用"營養(yǎng)均衡"來理解。程序化數(shù)據(jù)就像標(biāo)準(zhǔn)化的營養(yǎng)品，提供了結(jié)構(gòu)化的基礎(chǔ)知識(shí)；真實(shí)數(shù)據(jù)則像豐富多彩的家常菜，帶來了創(chuàng)意和多樣性。兩者結(jié)合，AI既學(xué)會(huì)了基本的建筑規(guī)律，又掌握了創(chuàng)意設(shè)計(jì)的技巧。

每個(gè)建筑平均包含超過4000個(gè)構(gòu)件標(biāo)記，復(fù)雜樣本可包含多達(dá)1000個(gè)原始構(gòu)件。為了支持文本控制，研究團(tuán)隊(duì)使用FLAN-T5 XL作為編碼器，并通過多層感知器投影特征。他們還實(shí)施了10%的條件dropout比例來支持無分類器引導(dǎo)（CFG）。

六、性能表現(xiàn)與實(shí)際應(yīng)用

在實(shí)際測試中，AssetFormer展現(xiàn)出了令人印象深刻的性能。研究團(tuán)隊(duì)使用了多種評(píng)估指標(biāo)來檢驗(yàn)系統(tǒng)的效果，包括FID（Fréchet Inception Distance）和CLIP評(píng)分等。

與傳統(tǒng)的程序化生成方法相比，AssetFormer在生成質(zhì)量上有了顯著提升。程序化方法的FID評(píng)分為108.476，而AssetFormer達(dá)到了55.186的更好表現(xiàn)。更重要的是，AssetFormer能夠根據(jù)文本描述生成相應(yīng)的建筑，這是傳統(tǒng)方法無法實(shí)現(xiàn)的。

在與其他先進(jìn)3D生成方法的比較中，AssetFormer也展現(xiàn)出了獨(dú)特的優(yōu)勢(shì)。雖然SF3D、Tripo 2.0、Trellis、Hunyuan3D 2.0等方法能夠生成高質(zhì)量的幾何形狀，但它們通常產(chǎn)生密集的網(wǎng)格，難以準(zhǔn)確捕捉復(fù)雜的幾何結(jié)構(gòu)（特別是建筑內(nèi)部結(jié)構(gòu)），而且在紋理方面存在缺陷。

AssetFormer采用基于原語的表示方法，避免了生成低質(zhì)量密集網(wǎng)格的問題，這些網(wǎng)格很難集成到工業(yè)流水線中。通過遵循首選規(guī)則的設(shè)計(jì)理念（例如具有平面的標(biāo)準(zhǔn)原語），AssetFormer在真實(shí)世界的流水線中通過原語紋理映射提供了精確的紋理。

用戶研究結(jié)果進(jìn)一步驗(yàn)證了系統(tǒng)的有效性。6名年齡在22-28歲之間的參與者對(duì)生成建筑的緊湊性、多樣性、美觀性和復(fù)雜性進(jìn)行了評(píng)分。AssetFormer在多樣性（3.50分）、美觀性（3.50分）和復(fù)雜性（3.92分）方面都獲得了良好評(píng)價(jià)，顯示出了系統(tǒng)的實(shí)用價(jià)值。

七、技術(shù)創(chuàng)新的核心突破

AssetFormer的最大創(chuàng)新在于將自回歸Transformer模型成功應(yīng)用到了模塊化3D資產(chǎn)生成領(lǐng)域。這種方法的核心思想是將復(fù)雜的3D建筑生成任務(wù)轉(zhuǎn)化為序列預(yù)測問題，就像語言模型預(yù)測下一個(gè)詞一樣。

研究團(tuán)隊(duì)深入分析了模塊標(biāo)記化順序和解碼策略對(duì)生成質(zhì)量的影響。他們發(fā)現(xiàn)，與隨機(jī)順序或廣度優(yōu)先搜索相比，深度優(yōu)先搜索的標(biāo)記化順序能夠更好地捕獲建筑的層次結(jié)構(gòu)和空間關(guān)系。這種發(fā)現(xiàn)對(duì)其他3D序列生成任務(wù)也具有重要的指導(dǎo)意義。

系統(tǒng)還引入了無分類器引導(dǎo)（CFG）機(jī)制，這是從文本到圖像擴(kuò)散模型中借鑒的技術(shù)。在訓(xùn)練過程中，系統(tǒng)會(huì)隨機(jī)丟棄控制信號(hào)，并在推理過程中額外利用無條件邏輯。解碼過程基于邏輯計(jì)算，通過調(diào)節(jié)CFG尺度來平衡生成質(zhì)量和文本對(duì)齊度。

為了處理大詞匯表的挑戰(zhàn)，研究團(tuán)隊(duì)設(shè)計(jì)了token集合建模技術(shù)。每個(gè)原語由5個(gè)參數(shù)定義，需要維護(hù)不同屬性的獨(dú)立詞匯表。雖然這種聯(lián)合詞匯表方法不影響訓(xùn)練（可以將周期性token序列作為下一個(gè)token預(yù)測的常規(guī)處理），但在推理時(shí)需要特殊考慮。為了確保有效的token集合解碼，系統(tǒng)會(huì)過濾掉不需要的邏輯并重新歸一化剩余的非零分布。

八、與現(xiàn)有方法的深度對(duì)比

研究團(tuán)隊(duì)進(jìn)行了詳細(xì)的對(duì)比分析，特別是與MeshGPT等基于網(wǎng)格表示的方法的比較。MeshGPT雖然也使用Transformer作為解碼器，但它處理的是網(wǎng)格的頂點(diǎn)和面信息，隨著任務(wù)復(fù)雜度增加（如生成具有大量頂點(diǎn)和面的復(fù)雜建筑），訓(xùn)練變得困難，解碼經(jīng)常失敗。

相比之下，模塊化表示更加高效，需要的token數(shù)量比基于網(wǎng)格的生成方法少得多。即使是專注于網(wǎng)格緊湊標(biāo)記化的最新工作（如EdgeRunner），通常也只能處理少于4K面的網(wǎng)格，而AssetFormer的數(shù)據(jù)在轉(zhuǎn)換為三角網(wǎng)格時(shí)可以包含超過30K個(gè)面。

研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)對(duì)照實(shí)驗(yàn)，使用模塊化數(shù)據(jù)導(dǎo)出對(duì)象幾何（頂點(diǎn)和面），然后應(yīng)用水密預(yù)處理生成原生3D生成模型的訓(xùn)練數(shù)據(jù)。結(jié)果顯示，對(duì)象轉(zhuǎn)換和水密處理導(dǎo)致模塊化信息丟失，因?yàn)閱蝹€(gè)原語被合并成單一的非結(jié)構(gòu)化網(wǎng)格。此外，這個(gè)過程還改變了精細(xì)細(xì)節(jié)，扭曲了來自資產(chǎn)庫的原語幾何結(jié)構(gòu)。

即使在過擬合實(shí)驗(yàn)中（在10個(gè)模塊化樣本的小子集上微調(diào)Hunyuan3D 2.1），基礎(chǔ)模型也無法捕獲模塊化數(shù)據(jù)的復(fù)雜結(jié)構(gòu)，它會(huì)破壞單個(gè)原語，最終限制了原生3D生成在基于模塊化應(yīng)用中的實(shí)用性。

九、令人驚喜的編輯能力

值得注意的是，AssetFormer還展現(xiàn)出了意想不到的零樣本編輯能力。雖然系統(tǒng)并沒有專門為編輯任務(wù)進(jìn)行訓(xùn)練，但它能夠自然地完成建筑物的擴(kuò)建和修改任務(wù)。

這種編輯能力被設(shè)計(jì)為序列修復(fù)任務(wù)。給定一個(gè)模塊化建筑表示，系統(tǒng)首先執(zhí)行基于DFS的token重排序作為預(yù)處理，使用這些重排序的token作為初始序列。不需要的原語（如現(xiàn)有的屋頂結(jié)構(gòu)）可以被移除，剩余的token作為修復(fù)目標(biāo)。

研究團(tuán)隊(duì)展示了兩個(gè)典型的編輯案例：繼續(xù)建造和添加屋頂。在"繼續(xù)建造"案例中，系統(tǒng)能夠理解現(xiàn)有建筑的結(jié)構(gòu)，并自然地向上或向外擴(kuò)展。在"添加屋頂"案例中，系統(tǒng)能夠?yàn)楝F(xiàn)有的建筑結(jié)構(gòu)添加適當(dāng)?shù)奈蓓斀M件。

這種編輯能力的出現(xiàn)是系統(tǒng)深度理解建筑結(jié)構(gòu)規(guī)律的體現(xiàn)。通過在文本到模塊化建筑數(shù)據(jù)上的預(yù)訓(xùn)練，模型學(xué)習(xí)了模塊化架構(gòu)固有的結(jié)構(gòu)約束和語義關(guān)系。

十、實(shí)際部署與應(yīng)用前景

AssetFormer的設(shè)計(jì)充分考慮了實(shí)際應(yīng)用需求。生成的模塊化資產(chǎn)可以無縫集成到游戲引擎中，無需像MeshGPT那樣進(jìn)行頂點(diǎn)合并等后處理步驟。這種特性使得AssetFormer特別適合實(shí)時(shí)內(nèi)容生成和用戶生成內(nèi)容場景。

在紋理方面，雖然AssetFormer專注于學(xué)習(xí)模塊化資產(chǎn)的排列，紋理考慮通常留給生產(chǎn)中的后處理，但模塊化表示的性質(zhì)使得紋理映射變得更加簡單直接。研究團(tuán)隊(duì)展示了生成資產(chǎn)與不同紋理模塊映射的效果，證明了這種方法在實(shí)際生產(chǎn)流程中的靈活性。

模塊化表示還支持程序化和生成式紋理渲染技術(shù)，允許動(dòng)態(tài)和多樣化的視覺輸出。這種靈活性與行業(yè)實(shí)踐保持一致，能夠?qū)崿F(xiàn)與特定場景或游戲美學(xué)的無縫集成。

研究團(tuán)隊(duì)特別強(qiáng)調(diào)，他們的方法不僅是學(xué)術(shù)研究，更是面向?qū)嶋H應(yīng)用的解決方案。AssetFormer生成的建筑可以直接在Unreal Engine等主流游戲引擎中使用，支持簡單編輯、光照控制和幾何映射等功能。

這項(xiàng)研究為3D內(nèi)容生成領(lǐng)域開辟了新的方向。通過將復(fù)雜的3D資產(chǎn)生成問題轉(zhuǎn)化為序列建模問題，AssetFormer不僅提高了生成效率，還降低了使用門檻，為普通用戶創(chuàng)造3D內(nèi)容提供了強(qiáng)有力的工具。

研究團(tuán)隊(duì)認(rèn)為，AssetFormer將對(duì)不斷發(fā)展的3D內(nèi)容創(chuàng)作領(lǐng)域做出重大貢獻(xiàn)，并能夠?qū)崿F(xiàn)廣泛的現(xiàn)實(shí)世界應(yīng)用。這個(gè)靈活的框架可以擴(kuò)展到各種類型的模塊化3D資產(chǎn)，為3D內(nèi)容生成的更廣闊領(lǐng)域做出貢獻(xiàn)。

說到底，這項(xiàng)研究最重要的意義在于它讓3D建筑創(chuàng)作變得像寫文章一樣簡單直觀。普通人不再需要掌握復(fù)雜的3D建模軟件，只需要用自然語言描述想法，AI就能幫助實(shí)現(xiàn)創(chuàng)意。這不僅會(huì)revolutionize游戲開發(fā)流程，更可能催生全新的用戶生成內(nèi)容生態(tài)系統(tǒng)。當(dāng)每個(gè)人都能輕松創(chuàng)建專業(yè)水準(zhǔn)的3D建筑時(shí)，虛擬世界的多樣性和創(chuàng)造力將得到前所未有的釋放。

Q&A

Q1：AssetFormer是什么，它能做什么？

A：AssetFormer是香港大學(xué)開發(fā)的AI建筑生成系統(tǒng)，能根據(jù)文字描述自動(dòng)創(chuàng)建3D建筑。比如你說"我要一個(gè)多層公寓，有很多窗戶"，它就能像搭積木一樣自動(dòng)組裝出相應(yīng)的建筑模型，生成的建筑可以直接在游戲引擎中使用。

Q2：AssetFormer生成的建筑和其他3D生成方法有什么不同？

A：主要區(qū)別是AssetFormer使用模塊化積木方式而不是傳統(tǒng)的密集網(wǎng)格。這使得文件更小、傳輸更快、修改更容易，就像宜家家具可以打包運(yùn)輸、按需組裝一樣。而且生成的建筑紋理更精確，更適合游戲開發(fā)的實(shí)際需求。

Q3：普通人能使用AssetFormer創(chuàng)建建筑嗎？

A：能的，這正是研究的目標(biāo)之一。AssetFormer降低了3D建筑創(chuàng)作的門檻，用戶只需要用自然語言描述想要的建筑特征，無需掌握復(fù)雜的3D建模技術(shù)。這為游戲中的用戶生成內(nèi)容開辟了新可能，讓更多人能參與虛擬世界的建設(shè)。