這項由香港大學(xué)、上?？萍即髮W(xué)、山東大學(xué)、德稿科技（Deemos Technology）等機構(gòu)聯(lián)合開展的研究，以預(yù)印本形式于2026年4月發(fā)布在arXiv平臺，論文編號為arXiv:2604.09132。研究提出了一個名為SATO（Strips as Tokens，即"條帶即令牌"）的全新框架，目標(biāo)是讓計算機自動生成真正達到專業(yè)藝術(shù)家水準(zhǔn)的三維網(wǎng)格模型，并同時完成貼圖區(qū)域劃分。

如果你曾經(jīng)玩過3D游戲或者看過3D動畫電影，你一定見過那些精心設(shè)計的角色和場景模型。這些模型在計算機里并不是一個光滑的實體，而是由成千上萬個小三角形或四邊形拼接而成的"網(wǎng)格"，就像一件精心剪裁的紙模玩具。游戲公司雇用的專業(yè)3D建模師，會手工排列這些多邊形，讓它們沿著角色肌肉的走向整齊排列，在高曲率的面部多鋪一些面片，在平坦的后背少用一些——這背后是大量人工和審美經(jīng)驗的積累?，F(xiàn)在，SATO要做的事情，就是讓計算機自動完成這件原本需要專業(yè)建模師完成的工作。

一、為什么"自動建模"這么難？

要理解SATO的價值，先得明白自動建模難在哪里。計算機當(dāng)然可以從一張照片或者一團點云數(shù)據(jù)（就像激光掃描儀掃出來的一堆空間坐標(biāo)點）中還原出一個大致的三維形狀——這類技術(shù)已經(jīng)相當(dāng)成熟。但還原出來的東西，往往是密密麻麻、雜亂無章的三角形湯，每個三角形的方向、大小都是隨機的，就像用砂礫堆出的城堡。這樣的模型雖然看起來形狀差不多，但完全不能用于正式的游戲開發(fā)或影視制作，因為它不利于后續(xù)的骨骼綁定、動畫制作和貼圖工作。

藝術(shù)家手工建的模型則完全不同。以人臉為例，建模師會讓面片沿著眼眶、嘴角、顴骨的走勢排列，形成一圈一圈的"邊流"，就像年輪一樣有規(guī)律。在下巴這樣曲率變化大的地方，面片會密一些；額頭這種相對平坦的區(qū)域，面片就稀一些。這種規(guī)律性不是審美癖好，而是功能需求：只有這樣的拓撲結(jié)構(gòu)，后續(xù)的動畫變形才會自然，綁骨骼才會方便，貼圖才會準(zhǔn)確。

過去幾年，研究者們嘗試用自回歸Transformer（一種序列預(yù)測模型，和ChatGPT用的技術(shù)同宗）來生成這類藝術(shù)家風(fēng)格的網(wǎng)格。思路是：把網(wǎng)格的頂點坐標(biāo)序列化成一串?dāng)?shù)字，然后讓語言模型一個一個地預(yù)測下一個坐標(biāo)，就像預(yù)測文章里的下一個詞一樣。這個路線是可行的，但前人的做法有兩個主要缺陷：一是直接按坐標(biāo)排序，序列太長，效率極低；二是用一種叫"Delaunay"的數(shù)學(xué)方法把網(wǎng)格切成小塊，這種方法追求數(shù)學(xué)上的"最優(yōu)三角剖分"（比如讓每個三角形盡量接近等邊），但這和藝術(shù)家建模的習(xí)慣背道而馳，切出來的小塊也會頻繁打斷面片的連續(xù)流動。

正是在這樣的背景下，SATO的研究團隊找到了一個新的靈感來源——計算機圖形學(xué)里一個古老的概念：三角條帶。

二、"條帶"：一個來自經(jīng)典圖形學(xué)的舊招式

三角條帶（Triangle Strip）是一個在計算機圖形學(xué)領(lǐng)域使用了幾十年的技巧，原本是為了在顯卡渲染時節(jié)省內(nèi)存而設(shè)計的。它的原理很簡單：普通存儲方式下，每個三角形需要記錄三個頂點，三個三角形就要存九個頂點數(shù)據(jù)；但如果這三個三角形是首尾相連的——也就是每兩個相鄰三角形共享一條邊——那就可以只存五個頂點，因為每多一個新三角形只需要新增一個頂點。

用一個更生活化的比喻來解釋：普通存儲三角形就像把每個餃子的材料單獨列出來，包括面粉、餡料各自的分量；三角條帶就像做折紙，每一步只需要把紙向一個方向折一下，前一步的結(jié)果直接延續(xù)到下一步，不用每次都重新開始。

SATO的核心洞察在于：藝術(shù)家建模時，手工排列面片的方式天然地形成了一條一條的"條帶"結(jié)構(gòu)。建模師往往從某個起點開始，沿著某個方向一個面片一個面片地延伸，就像鋪地磚一樣，鋪完一排再鋪下一排。這種"條帶"結(jié)構(gòu)既保留了面片的連續(xù)性，又自然地記錄了邊流方向。

于是研究團隊設(shè)計了一套"條帶提取"算法（在論文里是Algorithm 1）：首先建立面片與邊的鄰接關(guān)系，然后從坐標(biāo)最低的未訪問面片開始，沿著共享邊不斷延伸，把遇到的面片一個一個串成條帶，直到碰到邊界或者已經(jīng)訪問過的面片為止，再從下一個未訪問面片開始新的條帶。這個過程像拉鏈一樣，一條一條地把整個網(wǎng)格"拉"成若干條有序的帶狀序列。

這套算法有一個巧妙的設(shè)計：通過調(diào)整一個叫"步長"（stride）的參數(shù)，同一套邏輯既能處理三角形網(wǎng)格（每步新增一個頂點，步長為1），也能處理四邊形網(wǎng)格（每步新增兩個頂點，步長為2），而且產(chǎn)生的頂點序列是完全統(tǒng)一的格式。換句話說，一個四邊形面片可以理解為兩個相鄰的三角形——SATO利用這個幾何事實，讓同一串?dāng)?shù)字序列既可以被解碼成三角形網(wǎng)格，也可以被解碼成四邊形網(wǎng)格，只需要在解碼時切換一下步長參數(shù)即可。這個性質(zhì)后面還會發(fā)揮重要作用。

三、如何把三維模型"翻譯"成數(shù)字序列？

把網(wǎng)格轉(zhuǎn)換成序列，首先要把三維坐標(biāo)離散化。SATO采用了一種三層分級量化的方法，把連續(xù)的坐標(biāo)空間切成512×512×512個小格子（總共超過1億個格子），每個頂點被分配到一個格子里。但不是直接用格子編號，而是分三層編碼：第一層用一個粗粒度編號定位大致區(qū)域，第二層在第一層的基礎(chǔ)上進一步細化，第三層給出最終精確位置。這就像快遞地址：先寫省，再寫市，再寫具體街道，一層比一層詳細。

有了這個三層編碼，還能做一件進一步壓縮序列的事情：前綴共享。在一條條帶里，相鄰的兩個頂點往往離得很近，它們的第一層和第二層編碼可能完全相同，只有第三層不同。這時候就不用重復(fù)寫前兩層，只寫第三層的差異就夠了。論文中統(tǒng)計，在測試集上，約44.3%的頂點只需要一個第三層編碼就能表示，35%的頂點需要第二和第三層，只有約20.7%的頂點需要完整的三層編碼。這意味著平均每個頂點用不到兩個數(shù)字就能表示，極大地縮短了序列長度。

在條帶與條帶之間的切換怎么表示呢？研究團隊設(shè)計了一個擴展詞匯表：當(dāng)一個新條帶開始時，它的第一個頂點使用一種特殊的"條帶切換"編碼，這個編碼在數(shù)值上對應(yīng)相同的空間位置，但它出現(xiàn)時會同時告訴解碼器：重置前綴緩存，從這里開始一個新的條帶。這樣不需要額外插入分隔符，序列長度不會增加，但切換信息已經(jīng)自然地嵌入其中了。

與之前的同類方法（如BPT和DeepMesh）相比，SATO的條帶往往比它們的"小塊"長得多，因此切換次數(shù)更少，前綴共享能持續(xù)更長時間。論文中用100個隨機采樣的Objaverse數(shù)據(jù)集網(wǎng)格做了測試，SATO的壓縮率（序列長度除以面片數(shù)乘以9）為0.283，優(yōu)于DeepMesh的0.330，盡管SATO的詞匯表還額外為UV分區(qū)功能多加了一組特殊編碼。

四、"UV分區(qū)"是什么？為什么要在生成時就做？

給三維模型貼圖是游戲和影視制作中不可缺少的步驟。簡單來說，貼圖就是把一張二維圖片"包裹"到三維模型的表面，就像給禮品盒包裝紙一樣。要做到這一點，需要先把三維表面"展開"成一張二維地圖，這個過程叫UV展開（UV Unwrapping）。展開后的二維區(qū)域叫UV圖，每個連續(xù)的區(qū)域塊叫一個UV島（UV Island）。

展開時需要沿著某些邊"剪開"，就像剪開一個紙盒才能把它攤平。剪開的位置叫縫合邊（Seam）。專業(yè)建模師在放置縫合邊時有一套約定俗成的規(guī)則：縫合邊應(yīng)該放在視覺上不顯眼的地方，比如腋下、褲襠內(nèi)側(cè)；每個UV島應(yīng)該盡量完整、形狀規(guī)則，便于繪制紋理；左右對稱的部分最好共用同一個UV島，節(jié)省貼圖空間。

現(xiàn)有的大多數(shù)自動建模方法要么完全不管UV，要么在生成網(wǎng)格之后再單獨跑一個UV展開算法，這樣的結(jié)果往往不符合藝術(shù)家習(xí)慣，產(chǎn)生的UV島形狀不規(guī)則、縫合邊位置奇怪。

SATO的做法是把UV分區(qū)信息直接編碼進生成序列里。具體來說，在序列化網(wǎng)格時，先把所有面片按照它們所屬的UV島分組，然后在遍歷時確保同一個UV島內(nèi)的所有面片先處理完，再跳到下一個UV島?？鏤V島時，使用另一種特殊的"UV切換"編碼來標(biāo)記，這個編碼不僅表示一個新條帶的開始，還表示進入了一個新的UV島。

這樣，當(dāng)模型生成時，它不僅在預(yù)測頂點位置，還在預(yù)測哪些面片屬于同一個UV島、哪里是UV島的邊界。生成結(jié)束后，UV分區(qū)結(jié)構(gòu)已經(jīng)完全確定。研究團隊隨后用Blender（一個開源的3D軟件）的標(biāo)準(zhǔn)展開算法，根據(jù)這個分區(qū)結(jié)構(gòu)計算出實際的二維UV坐標(biāo)。也就是說，SATO學(xué)的是"如何分區(qū)"，而不是直接預(yù)測二維坐標(biāo)——這大大簡化了學(xué)習(xí)難度，同時產(chǎn)生的分區(qū)結(jié)構(gòu)因為遵循藝術(shù)家建模邏輯，展開后的UV質(zhì)量也很高。

五、模型是怎么訓(xùn)練的？

整個訓(xùn)練分三個階段，就像學(xué)開車先學(xué)理論、再練技能、最后考證一樣。

第一階段是在大規(guī)模三角形網(wǎng)格數(shù)據(jù)上預(yù)訓(xùn)練。訓(xùn)練數(shù)據(jù)來自O(shè)bjaverse、ShapeNet、Thingi10K等公開數(shù)據(jù)集，以及Shutterstock授權(quán)的商業(yè)數(shù)據(jù)集，經(jīng)過嚴格的質(zhì)量過濾（去除非流形、面數(shù)不在500到16000之間、頂點面比過高的模型等）后，約有147萬個三角形網(wǎng)格。這個階段讓模型學(xué)會如何從點云生成合理的網(wǎng)格結(jié)構(gòu)，建立起基本的幾何先驗知識。

第二階段是引入UV分區(qū)信息的后訓(xùn)練。研究團隊發(fā)現(xiàn)，如果一開始就同時學(xué)習(xí)網(wǎng)格幾何和UV分區(qū)，模型會顧此失彼：既學(xué)不好幾何形狀，也學(xué)不好UV分區(qū)邊界，訓(xùn)練容易崩潰或陷入隨機輸出的狀態(tài)。即使換用預(yù)訓(xùn)練好的點云編碼器也無濟于事。正確的做法是：先用第一階段的模型作為初始化，再引入UV分區(qū)序列繼續(xù)訓(xùn)練。這時模型已經(jīng)掌握了幾何生成的基本能力，只需要額外學(xué)會UV切換時的行為，收斂快得多。有UV分區(qū)標(biāo)注的數(shù)據(jù)約有111萬個。

第三階段是四邊形網(wǎng)格微調(diào)。高質(zhì)量的四邊形網(wǎng)格數(shù)據(jù)遠比三角形網(wǎng)格稀少，研究團隊收集了約12萬個有UV標(biāo)注的四邊形網(wǎng)格用于微調(diào)。由于條帶表示本身就統(tǒng)一了三角形和四邊形的格式，微調(diào)只需要讓模型適應(yīng)四邊形特有的步長解碼規(guī)則，不需要修改任何模型結(jié)構(gòu)，成本很低。而且這個微調(diào)還有個意外收獲：微調(diào)之后，模型生成的三角形網(wǎng)格質(zhì)量也有提升——因為四邊形訓(xùn)練數(shù)據(jù)讓模型學(xué)會了更整潔的邊流走向，減少了三角形條帶中出現(xiàn)"轉(zhuǎn)彎"的情況。

整個模型采用了5億參數(shù)的Hourglass Transformer架構(gòu)，點云編碼器約2.7億參數(shù)，在64到256塊英偉達A800 GPU上分階段訓(xùn)練，總計耗時約11天。推理時使用KV緩存加速解碼，采樣溫度設(shè)為0.5。

六、實驗結(jié)果：比較了多少方法，強了多少？

在三角形網(wǎng)格生成任務(wù)上，研究團隊與四個公開權(quán)重的競爭方法進行了比較，包括MeshAnythingV2、TreeMeshGPT、BPT和DeepMesh。測試集來自ShapeNet、Thingi10K和Objaverse三個數(shù)據(jù)集，各50到100個形狀，嚴格排除在訓(xùn)練數(shù)據(jù)之外。

評估使用四個幾何精度指標(biāo)：法向一致性（NC，衡量面片方向是否準(zhǔn)確，越接近1越好）、Chamfer距離（CD，衡量重建表面和參考表面之間的平均點對點距離，越低越好）、Hausdorff距離（HD，衡量最壞情況下的誤差，越低越好）、F1分數(shù)（衡量精度和召回率的綜合，越高越好）。

在所有三個數(shù)據(jù)集的所有指標(biāo)上，SATO幾乎全面領(lǐng)先。以O(shè)bjaverse數(shù)據(jù)集為例，SATO的NC達到0.909，CD為0.009，F(xiàn)1為0.503，而表現(xiàn)最接近的競爭方法BPT的相應(yīng)數(shù)值分別是0.841、0.030、0.265。F1分數(shù)的提升幅度尤其顯著，接近翻倍——這意味著SATO生成的網(wǎng)格不僅在平均情況下更準(zhǔn)確，在覆蓋細節(jié)方面也明顯更好。

除了自動指標(biāo)，研究團隊還招募了25位來自3D工業(yè)界的專業(yè)人士進行主觀評估，每人評估30組形狀（三角形、四邊形和UV分區(qū)各10組）。每組提供四個視角的渲染圖和參考形狀，讓評估者給五個方法排名（第一名得3分，第二名得2分，第三名得1分，其余得0分）。在三角形網(wǎng)格評估中，SATO平均得分2.61分，遠高于DeepMesh的1.17分和BPT的1.40分，方差也最?。?.49），說明評價最為一致穩(wěn)定。

在UV分區(qū)任務(wù)上，最接近的開源對比方法是PartUV，它先用一個叫PartField的分割模型對網(wǎng)格進行語義分割，再在此基礎(chǔ)上進行UV展開，但它本身不生成網(wǎng)格。從可視化結(jié)果來看，SATO生成的UV島更整潔、更規(guī)則；PartUV無論是用在SATO生成的三角形網(wǎng)格上，還是用在原始的高質(zhì)量真值網(wǎng)格上，產(chǎn)生的UV圖都明顯更雜亂。

研究團隊還計算了四個UV失真度指標(biāo)：L2拉伸、面積畸變、角度畸變和對稱Dirichlet能量，數(shù)值越接近理想值（1或4）越好。SATO在全部四個指標(biāo)上均優(yōu)于PartField+展開算法的方案，說明SATO預(yù)測的UV分區(qū)邊界更貼近幾何特征，展開后的UV島形狀更規(guī)則。

在四邊形網(wǎng)格生成上，由于QuadGPT（一個專門做四邊形生成的方法）沒有公開代碼和預(yù)訓(xùn)練權(quán)重，研究團隊轉(zhuǎn)而與經(jīng)典的參數(shù)化重網(wǎng)格化方法（IM、QuadriFlow、QuadWild）以及基于神經(jīng)網(wǎng)絡(luò)的方法（NeurCross、CrossGen）進行比較。這些方法的共同特點是在給定幾何體的基礎(chǔ)上進行重網(wǎng)格化，而SATO是從點云重新生成網(wǎng)格，任務(wù)難度更高。盡管如此，SATO在幾何精度上與這些方法相當(dāng)甚至略有優(yōu)勢，而在視覺質(zhì)量、面片規(guī)則性和藝術(shù)家風(fēng)格方面明顯更優(yōu)。用戶調(diào)研結(jié)果也支持這一判斷：SATO獲得1.8分，優(yōu)于NeurCross的1.48分、CrossGen的1.24分和QuadWild的1.08分。

七、消融實驗：每個設(shè)計有多重要？

為了驗證各個設(shè)計決策的實際效果，研究團隊進行了一系列對照實驗。

首先對比了SATO的條帶化分詞器和DeepMesh的塊狀分詞器，在同一個茶壺模型上做過擬合實驗（即讓模型反復(fù)學(xué)習(xí)同一個形狀，看誰學(xué)得更快更好）。結(jié)果顯示，SATO的分詞器在編碼同一個茶壺時產(chǎn)生的序列約為2萬個token，而DeepMesh產(chǎn)生約2.4萬個，序列更短；條帶切換次數(shù)也更少（約981次對比1654次），減少了上下文的干擾；最重要的是，編碼時間從DeepMesh的2.061秒降至SATO的0.319秒，訓(xùn)練吞吐量從0.442步/秒提升至0.488步/秒。在視覺上，SATO在訓(xùn)練1萬步時就已經(jīng)能生成相當(dāng)干凈的UV分區(qū)，而DeepMesh在同等步數(shù)下仍然較為混亂。

研究團隊還進行了大規(guī)模的分詞器對比實驗：用完全相同的模型架構(gòu)、訓(xùn)練數(shù)據(jù)、優(yōu)化器和超參數(shù)，只替換分詞器，在64塊A800 GPU上訓(xùn)練20萬步。結(jié)果在所有四個幾何指標(biāo)上，SATO的分詞器都明顯更優(yōu)（例如F1從0.455提升至0.560）。

在UV訓(xùn)練策略上，三種對比方案的實驗結(jié)果清晰地支持了兩階段訓(xùn)練的必要性：完全從零開始訓(xùn)練UV模型的方案，以及使用預(yù)訓(xùn)練好的點云編碼器但其余部分從零開始的方案，兩者都無法讓模型可靠地與輸入點云對齊，產(chǎn)生的結(jié)果基本上是隨機形狀。只有先預(yù)訓(xùn)練幾何生成、再引入UV分區(qū)的兩階段方案才能正常工作。

在四邊形微調(diào)的效果上，對比了微調(diào)前后的三角形網(wǎng)格質(zhì)量，發(fā)現(xiàn)微調(diào)后的模型產(chǎn)生的三角形網(wǎng)格更整潔，尤其是在原本容易出現(xiàn)細長尖三角形的區(qū)域，面片形狀更接近直角三角形或接近正方形的四邊形，更符合藝術(shù)家的建模習(xí)慣。

歸根結(jié)底，SATO做的事情，本質(zhì)上是把幾十年來專業(yè)3D建模師積累的隱性知識，通過一個精心設(shè)計的序列化格式，注入到自回歸生成模型里。條帶結(jié)構(gòu)不是一個噱頭，而是一個把"藝術(shù)家怎么思考網(wǎng)格"這件事翻譯成機器能學(xué)習(xí)的語言的關(guān)鍵媒介。當(dāng)模型學(xué)會沿著條帶延伸時，它其實是在學(xué)習(xí)"邊流應(yīng)該連續(xù)"；當(dāng)它學(xué)會UV切換編碼時，它學(xué)的是"這里是一塊獨立的UV島"。這種設(shè)計讓幾何學(xué)習(xí)和語義學(xué)習(xí)互不干擾，又在同一個框架下融為一體。

這項研究目前也有一些局限。四邊形輸出在少數(shù)情況下（如條帶長度為奇數(shù)時）會出現(xiàn)局部三角形，需要后處理來修復(fù)。近球形物體的邊流規(guī)則性仍然不夠理想，這與訓(xùn)練數(shù)據(jù)中規(guī)則球形四邊形網(wǎng)格樣本較少有關(guān)。論文在結(jié)論中坦承，隨著更豐富的四邊形數(shù)據(jù)集出現(xiàn)，這些問題有望進一步改善。

對于普通用戶而言，SATO意味著未來可能出現(xiàn)的工具：拍一張照片，或者用文字描述一個形狀，就能自動生成可以直接導(dǎo)入游戲引擎或動畫軟件使用的專業(yè)級三維模型，不需要建模師手工調(diào)整拓撲，也不需要額外跑UV展開工具。這條路還在開拓中，但SATO讓這個目標(biāo)又近了一步。想進一步了解技術(shù)細節(jié)的讀者，可以通過arXiv編號2604.09132查閱完整論文。

Q&A

Q1：SATO生成的三維網(wǎng)格和普通方法生成的有什么區(qū)別？

A：普通自動建模方法（比如Marching Cubes）生成的三維網(wǎng)格往往是密密麻麻、雜亂無章的三角形，面片方向隨機，不符合動畫綁骨和貼圖的需求。SATO生成的網(wǎng)格模仿專業(yè)建模師的建模習(xí)慣，面片沿著形體表面的曲率方向整齊排列，高曲率區(qū)域密集、平坦區(qū)域稀疏，同時還能自動劃分UV島，可以直接用于游戲和影視制作流程。

Q2：SATO如何同時支持三角形和四邊形兩種網(wǎng)格輸出？

A：SATO使用一種基于"條帶"的統(tǒng)一序列格式來表示網(wǎng)格，利用四邊形由兩個相鄰三角形組成的幾何事實，讓同一串?dāng)?shù)字序列可以用兩種方式解碼：解碼步長設(shè)為1時輸出三角形網(wǎng)格，步長設(shè)為2時輸出四邊形網(wǎng)格。切換輸出類型不需要改變模型結(jié)構(gòu)或重新訓(xùn)練，只需在推理時調(diào)整解碼參數(shù)即可。

Q3：UV分區(qū)和UV展開有什么區(qū)別，SATO做的是哪個？

A：UV展開是把三維表面"攤平"成二維圖的完整過程，包括決定在哪里"剪開"以及計算二維坐標(biāo)兩個步驟。UV分區(qū)（UV Segmentation）只是其中第一步——決定把三維表面分成哪幾塊獨立區(qū)域。SATO做的是UV分區(qū)，即預(yù)測哪些面片屬于同一個UV島，但不預(yù)測具體的二維坐標(biāo)。分區(qū)完成后，二維坐標(biāo)由Blender的標(biāo)準(zhǔn)展開算法根據(jù)分區(qū)結(jié)構(gòu)自動計算。