隨著生成式 AI 的快速發(fā)展，從文本生成圖像、視頻，到構(gòu)建完整的三維世界，AI “創(chuàng)造空間” 的能力正以前所未有的速度突破邊界。然而，現(xiàn)有 3D 場景生成方法仍存在明顯局限：模型往往直接輸出每個物體的幾何參數(shù)（位置、大小、方向等），結(jié)果容易出現(xiàn)漂浮、重疊、穿模等問題；場景結(jié)構(gòu)缺乏邏輯一致性，難以編輯或復(fù)用，更無法像程序那樣精確控制空間關(guān)系與生成邏輯。

想象這樣一個畫面：你輸入一句話 ——

“在黃昏的碼頭上，一位漁夫坐在木椅上，旁邊是一盞搖曳的燈?！?br/>

AI 不再只是 “擺放” 這些元素，而是生成一段可執(zhí)行的三維構(gòu)建腳本：從燈光的照射角度到漁夫與木椅的相對位置，都由程序邏輯自動推導(dǎo)與控制。

這種 “從語言到程序再到場景” 的新范式，正是由布朗大學(xué)（Brown University）與加州大學(xué)圣地亞哥分校（UC San Diego）的研究團(tuán)隊提出的 Procedural Scene Programs（PSP） 框架。

與傳統(tǒng)的幾何直接生成方法不同，PSP 讓 AI 不再是 “畫” 出一個世界，而是像程序員一樣 “寫” 出世界的生成邏輯。模型輸出的不是靜態(tài)的三維網(wǎng)格，而是一段可運(yùn)行的場景腳本，具備高度的可編輯性、可復(fù)用性與結(jié)構(gòu)可控性—— 為 AI 世界構(gòu)建帶來了新的語言與思維方式。

該研究已被計算機(jī)圖形學(xué)頂會 SIGGRAPH Asia 2025 接收。

• 論文題目：Procedural Scene Programs for Open-Universe Scene Generation: LLM-Free Error Correction via Program Search
• 作者：Maxim Gumin, Do Heon Han, Seung Jean Yoo, Aditya Ganeshan, R. Kenny Jones, Kailiang Fu（傅楷量）, Rio Aguina-Kang, Stewart Morris, Daniel Ritchie
• 論文鏈接：https://arxiv.org/abs/2510.16147

方法

研究團(tuán)隊提出的 Procedural Scene Programs（PSP） 是一個兩階段的程序化場景生成系統(tǒng)。它的核心思想是：讓 AI 不再直接輸出三維幾何，而是先生成可執(zhí)行的構(gòu)建腳本，再通過程序執(zhí)行構(gòu)建出完整場景。

整個系統(tǒng)由兩大關(guān)鍵組件組成：

1.Procedural Scene Description Language（PSDL）—— 用來 “寫” 出生成世界的程序語言；

2.Program Search 糾錯模塊—— 在程序執(zhí)行后自動檢測并修復(fù)幾何錯誤。

PSDL 負(fù)責(zé) “生成邏輯”，Program Search 負(fù)責(zé) “結(jié)果修正”。這種 “先生成、再調(diào)試” 的機(jī)制，使得 AI 不僅能自動搭建三維場景，還能在程序?qū)用孀晕倚迯?fù)錯誤，從而生成結(jié)構(gòu)合理、物理一致的世界。

1. 程序化生成語言 PSDL：讓 AI 寫出世界的規(guī)則

傳統(tǒng)的三維場景生成模型通常直接預(yù)測每個物體的位置、大小和方向。然而，由于 AI 并不具備完善的空間想象與物理推理能力，這種方法往往會導(dǎo)致物體漂浮、重疊等問題。為此，PSP 引入了 Procedural Scene Description Language（PSDL），讓模型不再 “直接想象空間”，而是以程序邏輯來表達(dá)空間關(guān)系。PSDL 嵌入在 Python 中，支持函數(shù)、循環(huán)、條件與變量綁定，使模型能夠通過編寫規(guī)則的方式來定義場景的結(jié)構(gòu)與布局。

例如：

foriin range (3):

place ('chair', around='table', angle=i*120)

這樣的語句不僅表達(dá)了 “放三把椅子” 的結(jié)果，也清晰地定義了 “圍繞桌子等角放置” 的空間關(guān)系。這種形式讓生成過程具備了可編輯、可擴(kuò)展、可復(fù)用的特性，使模型真正具備了 “程序化建模” 的能力。

2. 糾錯模塊 Program Search：自動修復(fù)幾何錯誤

在生成完成后，PSP 會通過 Program Search 模塊對場景進(jìn)行結(jié)構(gòu)與幾何一致性檢測。與傳統(tǒng)需要反復(fù)調(diào)用大模型修正錯誤的方式不同，PSP 直接在程序空間中搜索修復(fù)方案，無需再次推理。

研究團(tuán)隊定義了多種幾何一致性指標(biāo)，如物體重疊率、支撐關(guān)系和遮擋情況。當(dāng)檢測到異常時，系統(tǒng)會自動替換變量或微調(diào)表達(dá)式，從程序?qū)有迯?fù)問題。

實(shí)驗結(jié)果顯示，PSP 平均只需 約 7 次程序修改 即可修復(fù)大多數(shù)錯誤，且完全無需重新調(diào)用 LLM。這種符號級修正機(jī)制讓生成過程更穩(wěn)定、更具可解釋性，并顯著提升了三維場景的物理合理性。

效果與對比

在 70 個開放世界場景提示（涵蓋自然、建筑、幻想等多樣主題）上，研究團(tuán)隊對比了三種代表性方法：聲明式布局系統(tǒng) DeclBase、約束驅(qū)動的 Holodeck，以及本文提出的 Procedural Scene Programs（PSP）。

結(jié)果顯示，PSP 在人類主觀評測中顯著領(lǐng)先 ——在與 DeclBase 的對比中獲得 82.9% 的偏好率，與 Holodeck 的對比中則達(dá)到 94.3%。同時，PSP 的生成速度也更快：從文本到完整場景平均僅需約 38 秒，而 DeclBase 與 Holodeck 分別需要 40.8 秒 與 約 42 秒。

除了人類主觀評測外，研究團(tuán)隊還提出了一種基于多模態(tài) LLM 的自動化評估方法，用于衡量生成場景在語義一致性與視覺合理性上的表現(xiàn)。在 PSP 與 DeclBase、Holodeck 的對比中，該自動評測方法分別給出 77.1% 與 90.0% 的 PSP 偏好選擇率，與人類主觀偏好（82.9% 與 94.3%）趨勢一致，證明了其在未來三維場景生成質(zhì)量評測中的可靠性與參考價值。

意義與展望

這項研究揭示了一個重要趨勢：未來的 3D 場景生成，可以不再只是從文本到幾何的單向映射，而是一個“程序?qū)懯澜纾≒rogram the World）”的過程。

通過 Procedural Scene Programs（PSP），AI 的 “想象力” 可以與 “編程邏輯” 深度融合：它既繼承了命令式生成的靈活性與層次表達(dá)能力，又以符號化修正機(jī)制彌補(bǔ)了大模型在空間推理與邏輯一致性上的脆弱。這一范式轉(zhuǎn)變，讓模型不只是理解世界的觀察者，而成為主動構(gòu)建世界的開發(fā)者。

正如論文作者所言：

“Our approach re-establishes the strengths of imperative scene layout programs while overcoming their fragility to LLM errors.”

PSP 通過程序語言與自動糾錯機(jī)制的結(jié)合，為 3D 內(nèi)容生成帶來了前所未有的可控性與自解釋性。無論是虛擬城市、游戲關(guān)卡，還是具身智能的視覺環(huán)境，這一框架都為 AI 世界的構(gòu)建提供了新的邏輯與基礎(chǔ)。