本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第1期

專(zhuān)家點(diǎn)評(píng)

近年來(lái)，虛擬攝制技術(shù)在電影工業(yè)化、現(xiàn)代化制作體系中的發(fā)展與應(yīng)用持續(xù)深化，其具有攝制工藝流程高度并行化、前期拍攝與后期制作深度融合化、視覺(jué)效果所見(jiàn)即所得等技術(shù)特點(diǎn)。數(shù)字資產(chǎn)的前期制作和現(xiàn)場(chǎng)重構(gòu)是虛擬攝制技術(shù)的核心關(guān)鍵環(huán)節(jié)，對(duì)于加快虛擬攝制技術(shù)在數(shù)字視聽(tīng)行業(yè)推廣應(yīng)用具有直接和重要影響，其不僅要求前期制作的數(shù)字資產(chǎn)技術(shù)品質(zhì)高，而且追求真實(shí)拍攝內(nèi)容與重構(gòu)數(shù)字資產(chǎn)的無(wú)縫虛實(shí)融合。當(dāng)前，我國(guó)電影行業(yè)正在積極推進(jìn)國(guó)家電影數(shù)字資產(chǎn)平臺(tái)建設(shè)和全產(chǎn)業(yè)鏈智能化升級(jí)，伴隨大語(yǔ)言模型和多模態(tài)模型的發(fā)展進(jìn)步，人工智能生成內(nèi)容（AIGC）技術(shù)愈加成熟，其具有高效優(yōu)質(zhì)、即時(shí)交互、發(fā)展迭代快等優(yōu)勢(shì)，可創(chuàng)新升級(jí)電影虛擬攝制技術(shù)流程，促進(jìn)提質(zhì)優(yōu)化和降本增效，并有效克服虛擬攝制中數(shù)字資產(chǎn)制作難度大、成本高、資產(chǎn)利用率低、技術(shù)團(tuán)隊(duì)專(zhuān)業(yè)性交互性要求高等困難，因而非常適合服務(wù)電影數(shù)字資產(chǎn)制作?！禔IGC在電影虛擬攝制中的應(yīng)用探索與實(shí)踐》一文以概念設(shè)計(jì)、場(chǎng)景生成、角色創(chuàng)建、動(dòng)畫(huà)生成、現(xiàn)場(chǎng)交互等為切入點(diǎn)，探索實(shí)踐AIGC在電影虛擬攝制中的應(yīng)用模式、技術(shù)適配與流程方案，對(duì)于推動(dòng)AIGC技術(shù)服務(wù)電影虛擬攝制以及二者實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)與融合并進(jìn)具有重要的指導(dǎo)意義和應(yīng)用價(jià)值。智能化是大勢(shì)所趨，伴隨算力、算法、模型、數(shù)據(jù)集、行業(yè)領(lǐng)域知識(shí)等不斷發(fā)展完善，AIGC技術(shù)將不斷逼近電影級(jí)技術(shù)品質(zhì)，其在電影數(shù)字資產(chǎn)制作生產(chǎn)和電影虛擬攝制中的應(yīng)用將日益成熟完善，進(jìn)而有力支撐和服務(wù)國(guó)家電影數(shù)字資產(chǎn)平臺(tái)建設(shè)與精品電影創(chuàng)作生產(chǎn)。

——?jiǎng)⑦_(dá)

正高級(jí)工程師

中國(guó)電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所）總工程師

《現(xiàn)代電影技術(shù)》主編

作 者 簡(jiǎn) 介

陳　軍

北京電影學(xué)院影視技術(shù)系研究員，主要研究方向：數(shù)字電影技術(shù)、電影虛擬攝制、電影智能制作。

北京電影學(xué)院影視技術(shù)系碩士研究生在讀，主要研究方向：電影虛擬攝制、人工智能技術(shù)應(yīng)用。

王徐爾

趙建軍

北京電影學(xué)院影視技術(shù)系副教授，主要研究方向：電影虛擬攝制、電影數(shù)字人、電影智能制作。

摘要

電影虛擬攝制憑借所見(jiàn)即所得的優(yōu)勢(shì)已在全球電影工業(yè)體系中得到廣泛應(yīng)用，但其后期前置的特點(diǎn)，導(dǎo)致前期高質(zhì)量資產(chǎn)制作成本投入高，資產(chǎn)有效利用率較低，現(xiàn)場(chǎng)即時(shí)調(diào)整專(zhuān)業(yè)性要求高。人工智能生成內(nèi)容（AIGC）技術(shù)以其高效生成和即時(shí)響應(yīng)的能力可以有效彌補(bǔ)虛擬攝制的上述應(yīng)用短板。本文通過(guò)AIGC技術(shù)在概念設(shè)計(jì)、場(chǎng)景生成、角色創(chuàng)建、動(dòng)畫(huà)生成、現(xiàn)場(chǎng)交互調(diào)整等各階段的具體應(yīng)用，探索人工智能（AI）如何在電影虛擬攝制各環(huán)節(jié)發(fā)揮效能，分析總結(jié)AI技術(shù)的優(yōu)勢(shì)、劣勢(shì)及其與電影虛擬攝制的適配性，形成一套電影虛擬攝制的智能制作流程和實(shí)踐方案。

關(guān)鍵詞

電影虛擬攝制；人工智能；生成式人工智能；電影智能制作

1 引言

電影虛擬攝制是電影行業(yè)最新的技術(shù)變革之一，其將前期拍攝與后期視效有機(jī)融合，降低了電影的制作成本，縮短了制作周期，豐富了創(chuàng)作手段，提升了畫(huà)面視覺(jué)效果[1]。盡管電影虛擬攝制具備諸多優(yōu)勢(shì)，但仍面臨技術(shù)復(fù)雜、對(duì)設(shè)備高度依賴(lài)以及高額成本投入等挑戰(zhàn)[2,3]。如何通過(guò)創(chuàng)新的技術(shù)優(yōu)化流程以降低成本成為當(dāng)前研究的關(guān)鍵問(wèn)題[4]。在此背景下，新興的AIGC技術(shù)成為解決問(wèn)題的首選。

當(dāng)前，AI技術(shù)發(fā)展迅速，尤其是以ChatGPT和Sora為代表的AIGC技術(shù)，對(duì)諸多行業(yè)產(chǎn)生了深遠(yuǎn)影響。憑借其強(qiáng)大的學(xué)習(xí)力、生成力和創(chuàng)造力，AIGC技術(shù)已成為促進(jìn)行業(yè)升級(jí)和迭代的關(guān)鍵驅(qū)動(dòng)力。在電影制作領(lǐng)域，尤其是電影虛擬攝制中，AIGC技術(shù)展現(xiàn)出巨大應(yīng)用潛力，幫助虛擬攝制快速創(chuàng)建數(shù)字資產(chǎn)、提升現(xiàn)場(chǎng)交互能力、降低操作復(fù)雜性，為解決虛擬攝制當(dāng)前面臨的挑戰(zhàn)提供了新技術(shù)方案。

2 電影虛擬攝制與AIGC技術(shù)的融合創(chuàng)新

近年來(lái)，電影LED虛擬攝制在全球市場(chǎng)大放異彩，在國(guó)外，該技術(shù)已陸續(xù)被應(yīng)用于《曼達(dá)洛人》第一至三季[5]、《黑客帝國(guó)：矩陣重啟》、《星球大戰(zhàn)：骨干小隊(duì)》、《西部世界》第四季、《毒液：最后一舞》等大型影視制作中。2023年榮獲多項(xiàng)國(guó)際獎(jiǎng)項(xiàng)的《瞬息全宇宙》以及2024年奧斯卡獲獎(jiǎng)作品《可憐的東西》也采用了這一技術(shù)[6]。在國(guó)內(nèi)，從熱播電視劇《繁花》《云之羽》《大夢(mèng)歸離》到短劇《柒兩人生》《太古至尊》，從京劇電影《安國(guó)夫人》、舞臺(tái)劇《麥克白》到即將上映的劇情長(zhǎng)片《流浪者號(hào)》，虛擬攝制技術(shù)也逐漸為行業(yè)所采用，成為影視制作的必要手段[7-9]。

然而，虛擬攝制技術(shù)推廣應(yīng)用的同時(shí)也暴露出一系列共性問(wèn)題：創(chuàng)作者在前期構(gòu)建數(shù)字資產(chǎn)，尤其是涉及高質(zhì)量三維建模以及復(fù)雜視覺(jué)效果的制作時(shí)，常面臨高昂的成本，前期投入壓力巨大；拍攝現(xiàn)場(chǎng)的即時(shí)變更調(diào)整需要專(zhuān)業(yè)的技術(shù)團(tuán)隊(duì)；生產(chǎn)出的高精度數(shù)字資產(chǎn)有部分未采用，導(dǎo)致資源浪費(fèi)[10,11]。這些問(wèn)題讓部分影視制作項(xiàng)目不得不重新權(quán)衡采用這一技術(shù)的利弊。顯而易見(jiàn)，電影虛擬攝制技術(shù)未來(lái)要走得長(zhǎng)遠(yuǎn)，必須要解決這些問(wèn)題。

2.1 AIGC與電影虛擬攝制的技術(shù)互補(bǔ)

當(dāng)前，AI在視聽(tīng)領(lǐng)域的應(yīng)用取得了突破性進(jìn)展，包括高清修復(fù)、無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉、數(shù)字虛擬角色構(gòu)建及智能建模和渲染等技術(shù)，均在推動(dòng)電影制作流程向智能化演進(jìn)升級(jí)。與此同時(shí)，各類(lèi)智能影像生成工具不斷涌現(xiàn)，尤其是Sora的出現(xiàn)，對(duì)影視行業(yè)產(chǎn)生了重大影響，諸多國(guó)內(nèi)外電影作品已開(kāi)始將AIGC技術(shù)應(yīng)用于數(shù)字特效制作。

盡管AIGC技術(shù)具備生成速度快，易于使用等優(yōu)勢(shì)，但現(xiàn)階段其生成的圖像質(zhì)量不高，無(wú)法直接用于電影畫(huà)面。但由AIGC形成數(shù)字資產(chǎn)，作為電影虛擬攝制環(huán)節(jié)中的主體畫(huà)面元素，仍具備廣闊的發(fā)展與應(yīng)用前景。

由于目前LED虛擬攝制現(xiàn)場(chǎng)的摩爾紋問(wèn)題，攝影機(jī)鏡頭不會(huì)聚焦于LED背景墻上，因此對(duì)于三維實(shí)時(shí)渲染引擎渲染的數(shù)字資產(chǎn)精度要求有限；LED顯示內(nèi)容多為距離較遠(yuǎn)的背景，很多可以用二維場(chǎng)景替代高質(zhì)量三維場(chǎng)景。此外，AIGC提供的自然語(yǔ)言等簡(jiǎn)易交互方式也解決了電影虛擬攝制現(xiàn)場(chǎng)交互技術(shù)專(zhuān)業(yè)性強(qiáng)的問(wèn)題。因此，AIGC技術(shù)的引入成為均衡制作速度和制作精度的最佳方案，雖然AI生成的視覺(jué)內(nèi)容在質(zhì)量和精度上尚不能完全滿(mǎn)足影視級(jí)畫(huà)面的嚴(yán)格標(biāo)準(zhǔn)，但已能夠在一定程度上滿(mǎn)足LED虛擬攝制的基本需求（圖1）。

圖1　LED虛擬攝制和AI技術(shù)的融合互補(bǔ)特性

因此，融合以快速生成和即時(shí)響應(yīng)為特征的AIGC技術(shù)[12,13]，降低對(duì)高成本投入和設(shè)備的依賴(lài)，拓展創(chuàng)作自由度，不僅契合了電影虛擬攝制目前面臨的技術(shù)局限，同時(shí)也完美彌補(bǔ)了后期前置導(dǎo)致的問(wèn)題。此外，AIGC技術(shù)的引入為創(chuàng)意表達(dá)注入了新的可能性，賦予創(chuàng)作更大的想象空間和更小的執(zhí)行成本。

2.2 AIGC在電影虛擬攝制中的應(yīng)用可能與解決方案

針對(duì)LED電影虛擬攝制的相關(guān)難點(diǎn)，AIGC技術(shù)可以進(jìn)行對(duì)應(yīng)的多方位應(yīng)用（圖2），不僅提升了制作技術(shù)的前沿性，也在生產(chǎn)效能、內(nèi)容創(chuàng)作、交互優(yōu)化等關(guān)鍵維度彌補(bǔ)虛擬攝制現(xiàn)有的問(wèn)題，為創(chuàng)意表現(xiàn)方式提供了更為廣闊的空間。

圖2　電影虛擬攝制短板與AI應(yīng)用解決方案

在前期內(nèi)容生產(chǎn)環(huán)節(jié)，AI主要通過(guò)高效生成與即時(shí)預(yù)覽的整合，實(shí)現(xiàn)生產(chǎn)流程的智能化升級(jí)?；谖纳鷪D技術(shù)，AI讓2D景觀被實(shí)時(shí)構(gòu)建，并通過(guò)計(jì)算深度信息模擬3D動(dòng)態(tài)視差，這對(duì)勞動(dòng)密集型3D環(huán)境搭建團(tuán)隊(duì)而言，是一種快速且經(jīng)濟(jì)高效的替代方案。2023年上映的《雷霆沙贊！眾神之怒》以及電視劇《海盜旗升起》等通過(guò)由AIGC生成的圖像作為數(shù)字資產(chǎn)，通過(guò)2.5D方法，將AI生成的圖像進(jìn)行分層，為每張分層后的圖像賦予深度信息，以便在攝影機(jī)追蹤時(shí)為背景提供運(yùn)動(dòng)感。AI技術(shù)的引入，使這部電影的虛擬攝制流程得以實(shí)現(xiàn)更快的原型設(shè)計(jì)和迭代，制作團(tuán)隊(duì)能夠更快速地試驗(yàn)和修改創(chuàng)意。此外，隨著3D高斯濺射（3D Gaussian Splatting, 3DGS）、神經(jīng)輻射場(chǎng)（Neural Radiance Fields, NeRF）等技術(shù)的出現(xiàn)，三維場(chǎng)景的重建和渲染只需使用一個(gè)視頻或一組多視角照片。如梵蒂岡、微軟和Iconem合作通過(guò)3DGS技術(shù)創(chuàng)建了圣彼得大教堂的數(shù)字孿生體，供觀眾以沉浸式的方式參觀，基于多視角的高分辨率圖像結(jié)合AI技術(shù)，3D版的圣彼得大教堂能夠達(dá)到毫米級(jí)精度。AI技術(shù)的應(yīng)用，在前期制作虛擬資產(chǎn)階段顯著降低了對(duì)計(jì)算機(jī)生成圖像（CGI）團(tuán)隊(duì)的依賴(lài)。通過(guò)處理文本提示詞、圖像或視頻，AI能快速生成數(shù)字環(huán)境內(nèi)容，實(shí)現(xiàn)即時(shí)生成、即時(shí)使用的3D效果，消除了創(chuàng)造高質(zhì)量三維資產(chǎn)的成本障礙。

在現(xiàn)場(chǎng)拍攝環(huán)節(jié)，結(jié)合圖像編輯AIGC工具，如邊緣摳像、智能填充、蒙版、筆刷等工具配合文本提示詞，使AI能夠在學(xué)習(xí)和理解場(chǎng)景的基礎(chǔ)上，根據(jù)創(chuàng)作者的需求進(jìn)行快速反應(yīng)與調(diào)整，同時(shí)確保視覺(jué)內(nèi)容的連貫性與質(zhì)量的一致性，實(shí)現(xiàn)對(duì)資產(chǎn)內(nèi)容的智能調(diào)整，增加了現(xiàn)場(chǎng)修改、場(chǎng)景交互的可行性。如Quantus開(kāi)發(fā)的AI場(chǎng)景擴(kuò)展流程通過(guò)智能拓展拍攝畫(huà)面中的全景部分，顯著降低拍攝對(duì)LED背景墻面積的需求和前景置景的成本。此外，隨著當(dāng)前多模態(tài)AI的爆發(fā)式增長(zhǎng)，可使用語(yǔ)音指令、聲音提示、手勢(shì)動(dòng)作、實(shí)時(shí)視頻流等多種交互方式，使創(chuàng)作者可在不依賴(lài)硬件設(shè)備的情況下專(zhuān)注于拍攝細(xì)節(jié)。Verizon創(chuàng)新實(shí)驗(yàn)室結(jié)合AIGC和擴(kuò)展現(xiàn)實(shí)（XR）技術(shù)，通過(guò)語(yǔ)音指令控制虛擬背景的生成和切換；CoPilot團(tuán)隊(duì)結(jié)合ChatGPT，通過(guò)對(duì)接Cesium開(kāi)源地理空間平臺(tái)和谷歌地圖API，使用一句提示詞即可在虛幻引擎（UE）內(nèi)跳轉(zhuǎn)至任何地理位置的三維地圖場(chǎng)景。這種多模態(tài)人機(jī)交互方式將視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)結(jié)合，顯著降低了技術(shù)要求，提升了操作效率，使創(chuàng)作者能更加流暢地完成復(fù)雜任務(wù)。

因此，充分利用AI減少工作量，同時(shí)最大化創(chuàng)意空間，能有效降低虛擬攝制的前期執(zhí)行壓力，擴(kuò)大拍攝現(xiàn)場(chǎng)的實(shí)時(shí)修改空間，提升人機(jī)交互效果。

3 融合AIGC的電影虛擬攝制流程探索

3.1 融合AIGC的電影虛擬攝制流程設(shè)計(jì)

當(dāng)前的LED虛擬攝制流程分為幾個(gè)階段。在前期籌備階段，需完成劇本分鏡創(chuàng)作、美術(shù)概念設(shè)計(jì)、制片計(jì)劃制定等工作；在前期制作階段，需完成虛擬預(yù)演工作，包括創(chuàng)建數(shù)字資產(chǎn)、搭建虛擬場(chǎng)景等工作；在現(xiàn)場(chǎng)制作階段，主要完成制作環(huán)境配置和攝影機(jī)內(nèi)視效拍攝任務(wù)，這一流程極大地減少了后期制作階段中視效制作的工作量[14,15]。

由于LED虛擬攝制的技術(shù)復(fù)雜度高，制作過(guò)程需要一支專(zhuān)業(yè)技術(shù)團(tuán)隊(duì)提供服務(wù)[16]。技術(shù)團(tuán)隊(duì)需與創(chuàng)作團(tuán)隊(duì)保持密切溝通，在前期制作階段，制作數(shù)字資產(chǎn)和完成數(shù)字場(chǎng)景工程等；在現(xiàn)場(chǎng)制作階段，進(jìn)行場(chǎng)景調(diào)整和環(huán)境匹配，隨時(shí)解決突發(fā)技術(shù)問(wèn)題。該過(guò)程的高耦合性和間接創(chuàng)作方式制約了LED虛擬攝制的應(yīng)用推廣。

AI技術(shù)的引入為復(fù)雜的虛擬攝制工作流程提供了一個(gè)嶄新的維度，使創(chuàng)制流程得以重塑。在這一體系中，資源配置、AIGC以及實(shí)時(shí)交互作為核心組成部分（圖3），相互間的協(xié)同作業(yè)順暢、高效、便捷。主創(chuàng)人員可借助基于AIGC的全流程虛擬攝制平臺(tái)，快速實(shí)現(xiàn)劇本分鏡和概念設(shè)計(jì)，便捷調(diào)用和調(diào)整數(shù)字資產(chǎn)，實(shí)時(shí)與虛擬內(nèi)容交互，這為電影創(chuàng)作提供了更為廣闊的創(chuàng)意空間。

圖3　 融合AIGC的電影虛擬攝制流程

3.2 前期籌備與前期制作階段：加快概念設(shè)計(jì)速度，提供廣闊創(chuàng)意空間

傳統(tǒng)的電影虛擬攝制流程中，創(chuàng)意的產(chǎn)生與實(shí)現(xiàn)常常涉及多步操作，需要跨平臺(tái)、跨設(shè)備地進(jìn)行切換[17]。而AI技術(shù)為虛擬攝制提供了統(tǒng)一簡(jiǎn)易的操作平臺(tái)，使所有創(chuàng)作工具和資源都能在同一環(huán)境中被調(diào)用，同時(shí)減少了虛擬攝制對(duì)實(shí)體硬件的依賴(lài)，降低了制作成本。

如Vū One將多樣化的虛擬攝制套件整合為一體化的工具平臺(tái)，包含了生成式AI、2D與3D資產(chǎn)庫(kù)、SceneForge預(yù)演可視化工具、Remote VP遠(yuǎn)程控制等內(nèi)置工具，以及與UE、Volinga、Frame.io、Shutterstock、Unsplash等平臺(tái)的內(nèi)部集成，構(gòu)建了一個(gè)高度融合AIGC的簡(jiǎn)易高效虛擬攝制工作流程。通過(guò)接入外部自然語(yǔ)言大模型，Vū One將多模態(tài)AI大模型無(wú)縫融合至虛擬攝制的各個(gè)階段，如生成平面圖像發(fā)送至LED背景墻并立即顯示；即時(shí)調(diào)用AI生成的豐富的數(shù)字環(huán)境資產(chǎn)庫(kù)；通過(guò)深度信息計(jì)算，將2D平面圖像轉(zhuǎn)化為具有透視視差的3D模型，以匹配攝影機(jī)運(yùn)動(dòng)變化等。

此外，結(jié)合三維實(shí)時(shí)引擎的燈光照明、地形編輯、時(shí)間軸動(dòng)畫(huà)、攝影機(jī)追蹤等功能[18,19]，配合接入AIGC生成的數(shù)字背景，可顯示在虛擬LED背景墻上進(jìn)行視覺(jué)預(yù)演（PreViz），以生成故事板和鏡頭列表（圖4）。與生成式AI合作的工作流程將允許創(chuàng)作者在拍攝前大量試驗(yàn)視覺(jué)效果和拍攝手法，通過(guò)可視化的場(chǎng)景預(yù)覽，創(chuàng)作團(tuán)隊(duì)可更直觀地交流和討論創(chuàng)作意圖，順利銜接到正式的拍攝中。

圖4　實(shí)時(shí)接入AI生成的虛擬資產(chǎn)進(jìn)行可視化預(yù)演并構(gòu)建故事板

3.3 現(xiàn)場(chǎng)制作階段：實(shí)時(shí)交互創(chuàng)作，動(dòng)態(tài)調(diào)整虛擬資產(chǎn)

將多模態(tài)人機(jī)交互方式與AI、AIGC以及圖像算法進(jìn)行結(jié)合，能夠大大降低LED虛擬攝制中交互控制的專(zhuān)業(yè)要求，虛擬資產(chǎn)可依據(jù)創(chuàng)作者的實(shí)時(shí)指令進(jìn)行動(dòng)態(tài)調(diào)整，確保創(chuàng)作者即時(shí)掌控視覺(jué)效果。如Cuebric將傳統(tǒng)的圖像編輯工具與AI生成功能結(jié)合，如畫(huà)筆、橡皮擦、選區(qū)、蒙版、顏色編輯等，允許用戶(hù)在虛擬畫(huà)布上自由創(chuàng)作和修改細(xì)節(jié)，同時(shí)精準(zhǔn)地選擇特定區(qū)域進(jìn)行編輯（如圖5中通過(guò)筆刷繪制選定區(qū)域，結(jié)合新的文本提示詞修改畫(huà)面主體元素）。AI的引入極大增強(qiáng)了這些傳統(tǒng)工具的功能，如通過(guò)深度學(xué)習(xí)算法智能識(shí)別選區(qū)，精準(zhǔn)捕捉復(fù)雜的對(duì)象邊緣，結(jié)合文本提示詞同步生成內(nèi)容等。此外，通過(guò)實(shí)時(shí)通信協(xié)議結(jié)合圖像控制接口，能實(shí)現(xiàn)移動(dòng)設(shè)備與控制系統(tǒng)間的低延遲通信。創(chuàng)作者能在移動(dòng)設(shè)備上實(shí)時(shí)調(diào)整虛擬資產(chǎn)的顯示比例、光照、顏色、視差深度等，無(wú)需復(fù)雜的硬件連接和專(zhuān)業(yè)的技術(shù)能力。

圖5　AIGC結(jié)合筆刷工具局部調(diào)整場(chǎng)景元素

修改提示詞（中）：Cozy hunter's cabin with rustic wooden structure and a stone chimney；（右）：Luxurious villa: A modern, glass?fronted structure with expensive views of mountains

生成式AI模型與各類(lèi)虛擬攝制套件結(jié)合，使復(fù)雜的虛擬攝制流程得以在精簡(jiǎn)的技術(shù)堆棧上運(yùn)行，創(chuàng)作者無(wú)需大量的預(yù)算和技術(shù)經(jīng)驗(yàn)也能具備實(shí)現(xiàn)創(chuàng)意和講述故事的可能性。其高效的實(shí)時(shí)調(diào)整能力使拍攝過(guò)程中的即時(shí)修改和交互都較為靈活和流暢，極大提高了現(xiàn)場(chǎng)的人機(jī)協(xié)同效率。

雖然現(xiàn)階段AIGC生成的內(nèi)容存在質(zhì)量不穩(wěn)定，需要額外的人工干預(yù)和調(diào)整，生成的虛擬資產(chǎn)可容納的攝影機(jī)運(yùn)動(dòng)范圍也極為有限，與三維實(shí)時(shí)引擎的集成度較低，難以做到無(wú)縫實(shí)時(shí)交互的體驗(yàn)等問(wèn)題，但已有的AI大模型能夠結(jié)合虛擬攝制的場(chǎng)景流程得出不同的應(yīng)用方案，通過(guò)開(kāi)放式的人機(jī)協(xié)作流程，組合出合適的場(chǎng)景預(yù)設(shè)，將復(fù)雜且成本極高的虛擬攝制流程簡(jiǎn)化并嵌入易操作的系統(tǒng)中，讓創(chuàng)作人員有更加友好的應(yīng)用體驗(yàn)。這不失為虛擬攝制升級(jí)迭代的有效方法。

4 基于AIGC技術(shù)的數(shù)字資產(chǎn)制作研究與實(shí)踐

如今，電影虛擬攝制技術(shù)正不斷完善，許多技術(shù)問(wèn)題得以克服[20-22]，但缺乏豐富且適用的數(shù)字資產(chǎn)問(wèn)題始終未得到有效解決。高成本的傳統(tǒng)三維資產(chǎn)制作方式極大提高了虛擬攝制成本，且存在部分完成的三維資產(chǎn)不被采用的浪費(fèi)情況。AIGC技術(shù)的發(fā)展為數(shù)字資產(chǎn)的生成和使用提供了全新的方式。

4.1 AI生成2.5D/2.75D深度圖像

2.5D圖像通常由一系列帶有透明背景的分層平面圖像組成，2.75D圖像則由具有多邊形網(wǎng)格的分層深度圖像組成（圖6）。2.5D/2.75D圖像能提供比2D圖像更豐富的深度信息，但相較3D模型可大幅減少計(jì)算機(jī)的處理和計(jì)算。其核心在于獲得相對(duì)目標(biāo)場(chǎng)景或物體的深度信息，這通常通過(guò)深度傳感器（如激光雷達(dá)或結(jié)構(gòu)光相機(jī)）、立體視覺(jué)（通過(guò)兩個(gè)攝像頭模擬人眼視差）或單目深度估計(jì)算法（通過(guò)卷積神經(jīng)網(wǎng)絡(luò)從單一圖像中推斷深度）來(lái)實(shí)現(xiàn)。深度信息用深度圖表示，提供每個(gè)像素到攝影機(jī)的距離數(shù)據(jù)，一旦獲取深度信息，該信息可與傳統(tǒng)的2D圖像相結(jié)合，以生成2.5D或2.75D效果。相較于2.5D圖像，2.75D圖像能提供更多的深度信息，可容納更大的視角變化，提供更真實(shí)的三維效果。

圖6　2D圖像（左）、2.5D圖像（中）與2.75D圖像（右）

利用AI生成平面圖像并將其轉(zhuǎn)化為2.5D/2.75D深度圖像（圖7），可應(yīng)用于電影虛擬攝制中。在2.5D/2.75D圖像視差中，不同的圖層會(huì)以不同的速度移動(dòng)。通常距離攝影機(jī)更遠(yuǎn)的圖層和物體移動(dòng)得更慢，而近處的物體移動(dòng)得更快，以此在攝影機(jī)移動(dòng)時(shí)產(chǎn)生場(chǎng)景的深度感。AIGC可通過(guò)文本提示詞快速生成圖像內(nèi)容并即時(shí)修改，并基于圖像智能識(shí)別完成場(chǎng)景分層并賦予各圖層深度信息，最終完成2.5D/2.75D場(chǎng)景的搭建。將深度圖與平面圖像結(jié)合，生成多視角可調(diào)整2.5D/2.75D圖像。

圖7　AI生成2.5D/2.75D虛擬場(chǎng)景流程圖

使用AI模型生成2.5D/2.75D圖像可分為以下步驟：

（1）生成圖像：使用生成式AI從文本描述生成高分辨率的場(chǎng)景平面圖像。通過(guò)正向提示詞、負(fù)面提示詞、生成模型、生成風(fēng)格等對(duì)生成內(nèi)容進(jìn)行控制。使用局部蒙版結(jié)合文本提示詞，進(jìn)一步移除或修改圖像中的局部區(qū)域或物體。

（2）圖像分割：將生成的2D圖像分解為多個(gè)圖層，包括背景、中景、前景等。通過(guò)AI圖像識(shí)別和深度估計(jì)算法，可實(shí)現(xiàn)以物體邊界分割或通過(guò)計(jì)算深度值進(jìn)行分割。

（3）分層輸出：分層的圖像為原始圖片中割裂獨(dú)立的各個(gè)部分，由 AI擴(kuò)展分層圖像的缺失部分，使每一層圖像的內(nèi)容都完整成立，以免在攝影機(jī)運(yùn)動(dòng)中產(chǎn)生撕裂（圖8）。

圖8　圖層疊加

（4）深度信息整合：對(duì)生成的平面圖像進(jìn)行深度信息計(jì)算，或手動(dòng)設(shè)置各圖層的Z深度值。將深度圖與平面圖像結(jié)合，轉(zhuǎn)化為多視角可調(diào)整的2.5D/2.75D圖像，同步攝影機(jī)追蹤數(shù)據(jù)后，即可作為虛擬場(chǎng)景應(yīng)用于虛擬攝制。

AIGC生成2.5D/2.75D圖像的虛擬場(chǎng)景搭建流程，以當(dāng)前較為成熟且高效的文生圖技術(shù)為核心，極大地降低了虛擬攝制中創(chuàng)建復(fù)雜場(chǎng)景等數(shù)字資產(chǎn)的工作量，使短期和中小型成本的虛擬攝制流程提速降本。

然而，2.5D/2.75D圖像生成的主要挑戰(zhàn)涉及深度數(shù)據(jù)的準(zhǔn)確性和完整性，噪聲、遮擋物處理和分辨率限制都需要優(yōu)化。這套流程在實(shí)際創(chuàng)制過(guò)程中，最大的使用障礙在于圖片生成的不可控性，在對(duì)分層的圖片進(jìn)行填充時(shí)，由于AI對(duì)物體邊界理解的不準(zhǔn)確，填充生成的畫(huà)面容易出現(xiàn)偽影、模糊區(qū)域或不自然細(xì)節(jié)。當(dāng)圖像處理、蒙版情況變得復(fù)雜，以及在處理高分辨率和大規(guī)模數(shù)據(jù)時(shí)則會(huì)遇到性能瓶頸，使場(chǎng)景創(chuàng)建的過(guò)程卡頓和不流暢。此外，由2.5D/2.75D圖像構(gòu)成的數(shù)字環(huán)境，能支撐和滿(mǎn)足的虛擬攝制應(yīng)用場(chǎng)景較為有限，但其能快速執(zhí)行微調(diào)、修復(fù)和深度分割，并將這些功能無(wú)縫集成到實(shí)時(shí)工作流程中，仍是極大降低LED背景環(huán)境創(chuàng)建成本、減輕創(chuàng)意執(zhí)行壓力的有效方案。

4.2 AI生成全景圖

得益于大型預(yù)訓(xùn)練的文本到圖像（Text?to?Image）模型在多視角圖像生成中的應(yīng)用，AI可基于擴(kuò)散模型生成沉浸式場(chǎng)景，特別是全景圖像，作為HDRI貼圖應(yīng)用于虛擬攝制中。傳統(tǒng)全景圖像的獲取成本較高，而AIGC可通過(guò)文本或圖像生成全景圖（圖9）。

圖9　AI生成全景圖作為虛擬場(chǎng)景流程圖

如SD?T2I?360PanoImage、PanoDiffusion等開(kāi)源模型通過(guò)圖像外擴(kuò)（Outpainting）技術(shù)提供了一種將單視角圖片擴(kuò)展為全景圖像的方法。ZeroNVS模型結(jié)合3D感知編碼器和NeRF技術(shù)，能夠從單張真實(shí)圖片中生成360度全景模型，Skybox AI推出了Sketch?a?Skybox功能，支持直接在球體、立方體等不同輔助網(wǎng)格下繪制立體空間草圖，并結(jié)合文本提示詞生成或進(jìn)一步修改全景畫(huà)面內(nèi)容。

AI生成全景圖像作為虛擬場(chǎng)景，相較于2.5D/2.75D方法，無(wú)需專(zhuān)業(yè)的圖像編輯技能和軟件后處理流程，即使是沒(méi)有任何圖像編輯經(jīng)驗(yàn)的創(chuàng)作者也可輕松上手。此外，全景圖的可擴(kuò)展性較高，可導(dǎo)出應(yīng)對(duì)多種需求的文件格式供后端工作流繼續(xù)使用，與主流3D開(kāi)發(fā)平臺(tái)無(wú)縫集成。

全景圖具備真實(shí)環(huán)境的光照和色彩信息，可容納更大范圍的攝影機(jī)移動(dòng)，且在AIGC技術(shù)輔助下，圖像的生成和處理都非常方便快捷。但相應(yīng)地，要對(duì)其中的光照條件和物體位置、大小等具體細(xì)節(jié)進(jìn)行修改和控制則相對(duì)困難。此外，全景圖本質(zhì)上仍是二維的平面圖像，缺乏場(chǎng)景內(nèi)的動(dòng)態(tài)深度信息，而在攝影機(jī)運(yùn)動(dòng)過(guò)程中，觀眾對(duì)于空間深度的感受主要來(lái)自前景、中景和背景之間的視差變化，全景圖無(wú)法提供這種動(dòng)態(tài)的深度體驗(yàn)，仍需要結(jié)合具體需求和場(chǎng)景特點(diǎn)考慮是否使用全景圖作為虛擬場(chǎng)景進(jìn)行拍攝。

4.3 AI三維實(shí)景重建技術(shù)

使用攝影測(cè)量法進(jìn)行三維重建的場(chǎng)景可支持在虛擬環(huán)境中自由移動(dòng)，但需前期大量的數(shù)據(jù)采集及專(zhuān)業(yè)技術(shù)人員的手動(dòng)調(diào)整。NeRF提供了一種用于合成新視角圖像的深度學(xué)習(xí)方法，可從多個(gè)已知視角的2D圖像中學(xué)習(xí)并預(yù)測(cè)，以從任意視點(diǎn)渲染場(chǎng)景，生成具有高度細(xì)節(jié)的三維表示，呈現(xiàn)出具有準(zhǔn)確透視和真實(shí)反射的3D場(chǎng)景（圖10）。與傳統(tǒng)的攝影測(cè)量法相比，NeRF根據(jù)少量的 2D 圖像即可對(duì) 3D 場(chǎng)景的幾何形狀和外觀進(jìn)行建模。

圖10　基于NeRF的三維實(shí)景重建流程圖

如Volinga Exporter組件克服了無(wú)法實(shí)時(shí)渲染NeRF和缺乏與實(shí)時(shí)渲染引擎的集成所帶來(lái)的障礙，為虛擬攝制中的環(huán)境拍攝(使用Volinga Creator)和渲染(使用Volinga Renderer)提供了一個(gè)快速流程。此外，Volinga的工作流也與當(dāng)前廣泛使用的虛擬攝制解決方案兼容，如Disguise RenderStream和Pixotope。Luma AI支持僅使用具有深度攝像頭的iPhone手機(jī)實(shí)時(shí)創(chuàng)建全體積格式Luma AI NeRF（.luma）和基于高斯濺射的交互式場(chǎng)景（.ply）。使用手機(jī)緩慢圍繞物體或場(chǎng)景進(jìn)行拍攝，以自動(dòng)生成用于構(gòu)建三維場(chǎng)景的一系列連續(xù)圖片，發(fā)送至Luma AI 在本地進(jìn)行渲染，無(wú)需對(duì)網(wǎng)格格式、幾何、材質(zhì)進(jìn)行任何調(diào)整，即可嵌入到虛擬攝制、VR制作等后續(xù)工作流中。

基于NeRF的三維重建技術(shù)能夠極大減少數(shù)字資產(chǎn)制作過(guò)程中所需的勞動(dòng)成本，建模、紋理、優(yōu)化、照明等瑣碎的工作環(huán)節(jié)都將變得智能且高效。NeRF模型基于機(jī)器學(xué)習(xí)的體渲染技術(shù)，通過(guò)使用大量圖像數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，能夠從任意視角重建出高度真實(shí)的3D場(chǎng)景，不需要預(yù)先定義的視圖或攝影機(jī)設(shè)置，視角依賴(lài)性小。然而，體渲染技術(shù)目前缺乏成熟的建模、渲染、優(yōu)化工具等生態(tài)系統(tǒng)，阻礙其在下游任務(wù)中的應(yīng)用。此外，由于NeRF是在神經(jīng)網(wǎng)絡(luò)中進(jìn)行隱式重建，在涉及到表面、紋理等顯式結(jié)構(gòu)時(shí)難以實(shí)現(xiàn)物理仿真，其計(jì)算量巨大的渲染過(guò)程也限制了其在對(duì)動(dòng)態(tài)環(huán)境和實(shí)時(shí)渲染有較高要求的虛擬攝制中的應(yīng)用。同時(shí)，NeRF在真實(shí)度還原上能多大程度滿(mǎn)足電影制作需求，仍需在實(shí)踐中檢驗(yàn)。

4.4 AI直接生成3D模型與材質(zhì)紋理

AI直接生成3D模型技術(shù)正逐漸成熟，可從二維圖像、視頻或文本描述中直接生成三維模型。如DALL·E 3D基于擴(kuò)展的神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以接受復(fù)雜的文本輸入，輸出相應(yīng)的3D模型；NVIDIA Omniverse支持從圖像到3D模型的智能生成和調(diào)整；Luma Labs推出的Genie 1.0提供對(duì)生成的模型更改材質(zhì)，包括金屬、反射、粗糙度等選項(xiàng)，或重新拓?fù)?，也可根?jù)需要導(dǎo)出更高分辨率的模型。

AI能大幅加快3D模型生成過(guò)程，減少了傳統(tǒng)建模手動(dòng)操作所需時(shí)間。然而，創(chuàng)作者對(duì)生成過(guò)程的控制相較圖片生成更為有限，特定細(xì)節(jié)的手動(dòng)調(diào)整比較困難。目前，AI生成的3D模型普遍難以達(dá)到可直接使用的質(zhì)量，其主要原因之一是生成的模型貼圖往往自帶明暗信息，無(wú)法生成真實(shí)的漫反射貼圖和成套的物理基礎(chǔ)渲染（PBR）貼圖，限制了其在場(chǎng)景中的光照，未來(lái)結(jié)合AI重定向光照技術(shù)，除了輔助AI生成三維模型的真實(shí)性效果外，在虛擬攝制的畫(huà)面后期調(diào)整操作性上也存在更多可能性。

此外，結(jié)合特定數(shù)據(jù)集的訓(xùn)練，AI可基于簡(jiǎn)單的文本或圖像提示生成三維紋理和材質(zhì)貼圖，并附帶法線、置換、模糊反射、環(huán)境光遮蔽等通道貼圖，大大提高其在三維制作流程中的可用性。如Adobe Substance Alchemist可從單個(gè)圖片生成復(fù)雜材質(zhì)，或進(jìn)行素材混合和風(fēng)格轉(zhuǎn)換。Poly提供了不同的渲染選項(xiàng)和照明選項(xiàng)，能夠在生成時(shí)調(diào)整紋理屬性、地圖可見(jiàn)性、光照效果。AI基于文生圖技術(shù)，結(jié)合三維材質(zhì)圖像的需求和特點(diǎn)進(jìn)行特定的功能整合，為數(shù)字藝術(shù)創(chuàng)作提供了實(shí)用的生產(chǎn)工具。

在電影虛擬攝制中，AI生成的3D紋理與材質(zhì)已得到多樣化應(yīng)用。如創(chuàng)建虛擬場(chǎng)景時(shí)，AI可根據(jù)輸入的圖像或視頻信息，自動(dòng)生成與真實(shí)環(huán)境模型高度匹配的紋理和材質(zhì)，并針對(duì)同一環(huán)境快速輸出大量背景材質(zhì)、地板材質(zhì)、主體材質(zhì)的不同搭配，為虛擬環(huán)境設(shè)計(jì)方案提供多樣化選擇。雖然目前由AI創(chuàng)建的材質(zhì)質(zhì)量效果和Substance Designer這類(lèi)程序化貼圖制作軟件相比仍有一段距離，但其為快速構(gòu)建真實(shí)可信、自定義性高的虛擬環(huán)境提供了一種輔助創(chuàng)意高效執(zhí)行的解決方案。

4.5 AI無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉與動(dòng)畫(huà)生成

無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉（Markerless Motion Capture, MMC）是一種不依賴(lài)傳統(tǒng)動(dòng)作捕捉系統(tǒng)中的物理標(biāo)記點(diǎn)、服裝或設(shè)備的技術(shù)?；趫D像識(shí)別，AI能實(shí)時(shí)進(jìn)行無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉和離線視頻向三維動(dòng)畫(huà)的轉(zhuǎn)換，分析人體運(yùn)動(dòng)并創(chuàng)建逼真的3D模型和三維動(dòng)作數(shù)據(jù)（圖11）。Rokoko Studio、DeepMotion、Move AI等工具提供了一種極其自然和直觀的方式來(lái)開(kāi)發(fā)、訓(xùn)練、建模和制作3D 角色動(dòng)畫(huà)，無(wú)需特殊硬件、記錄設(shè)備或大型軟件應(yīng)用程序，能夠?qū)崿F(xiàn)物理過(guò)濾、運(yùn)動(dòng)平滑、腳部鎖定、面部捕捉、手部捕捉、多人捕捉等功能。其基于圖像的動(dòng)作識(shí)別技術(shù)，也為控制虛擬元素提供了手勢(shì)、動(dòng)作等新的交互方式。

圖11　AI無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉并生成角色動(dòng)畫(huà)流程圖

無(wú)需穿戴任何傳感器或設(shè)備，通過(guò)圖像分析實(shí)現(xiàn)對(duì)人體姿態(tài)和運(yùn)動(dòng)的精確捕捉，如捕捉舞者或演員的表演。針對(duì)不同角色模型進(jìn)行骨骼重定向后，可實(shí)時(shí)映射到如MetaHuman等其他綁定骨骼結(jié)構(gòu)的虛擬角色和數(shù)字人中，驅(qū)動(dòng)角色運(yùn)動(dòng)（圖12）。通過(guò)組合多個(gè)攝像頭，能夠很容易地搭建實(shí)現(xiàn)多人虛擬互動(dòng)、虛實(shí)互動(dòng)等以往難以實(shí)現(xiàn)的互動(dòng)效果。

圖12　DeepMotion根據(jù)二維視頻獲取三維動(dòng)作數(shù)據(jù)

AI無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉允許創(chuàng)作者通過(guò)消費(fèi)級(jí)攝像頭捕捉高質(zhì)量的動(dòng)作數(shù)據(jù)，不受特定場(chǎng)地或設(shè)備限制，無(wú)需特殊的紅外反光點(diǎn)或傳感器，僅依靠在線錄制或離線視頻畫(huà)面，大大降低了傳統(tǒng)虛擬攝制流程中由動(dòng)作捕捉生成角色動(dòng)畫(huà)的成本和技術(shù)門(mén)檻，但其基于AI算法的純視覺(jué)無(wú)標(biāo)記點(diǎn)動(dòng)作捕捉系統(tǒng)，在動(dòng)作細(xì)節(jié)上仍然具有精細(xì)度不足的問(wèn)題，腳部和地面的關(guān)系處理、演員站立不動(dòng)時(shí)的數(shù)據(jù)穩(wěn)定程度仍然無(wú)法媲美專(zhuān)業(yè)穿戴式設(shè)備。光照條件、拍攝角度和背景復(fù)雜度等因素都可能影響視頻分析的準(zhǔn)確性，從而限制其使用環(huán)境的靈活性。在電影制作項(xiàng)目中，往往需要處理時(shí)間較長(zhǎng)、人數(shù)較多、與場(chǎng)景物體交互復(fù)雜的任務(wù)動(dòng)作，AI的處理能力和處理質(zhì)量仍是需要考量的因素。

5 總結(jié)和展望

AIGC在虛擬攝制中可快速生成3D模型、紋理、動(dòng)畫(huà)等，并且高效生成三維虛擬場(chǎng)景，深刻地影響了電影虛擬攝制各階段的工作內(nèi)容。 智能化的內(nèi)容生成和交互避免了創(chuàng)作者重復(fù)勞動(dòng)，而且顯著降低了制作成本，減輕了電影虛擬攝制中后期前置的工作量。

同時(shí)，盡管AI技術(shù)在生成模型、紋理和場(chǎng)景等方面存在一定的質(zhì)量局限性，但這些限制在虛擬攝制和現(xiàn)場(chǎng)拍攝中通常是可接受的。這種互補(bǔ)匹配的科技融合創(chuàng)新模式，能夠有效地將AIGC技術(shù)與電影虛擬攝制深度融合起來(lái)，為該技術(shù)的進(jìn)一步推廣提供有力支撐。

展望未來(lái)，隨著AI技術(shù)和虛擬攝制的不斷發(fā)展進(jìn)步，AIGC在電影虛擬攝制中的應(yīng)用將更加廣泛和深入，AI將為整個(gè)電影制作行業(yè)帶來(lái)更多的可能，促進(jìn)電影產(chǎn)業(yè)的穩(wěn)步發(fā)展與優(yōu)化升級(jí)。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] Chanpum P. Virtual production: Interactive and real?time technology for filmmakers[J]. Humanities, Arts and Social Sciences Studies, 2023: 9?17.

[2] 趙建軍,陳軍,肖翱.基于LED背景墻的電影虛擬化制作實(shí)踐探索與未來(lái)展望[J].現(xiàn)代電影技術(shù),2021(12):6?12.

[3] 馬金秀. 基于藍(lán)圖控制技術(shù)的LED虛擬攝制虛實(shí)交互研究[J]. 現(xiàn)代電影技術(shù),2024(7):34?39. DOI:10.3969/j.issn.1673-3215.2024.07.005.

[4] Brillhart K. Camille—Virtual Production Case Studies Considerations for Working With LED Walls for Independent Filmmakers[J]. SMPTE Motion Imaging Journal, 2023, 132(4): 33?49.

[5] 羅夢(mèng)舟,曾志剛. LED數(shù)字背景拍攝技術(shù)及其視覺(jué)效果解析——以《曼達(dá)洛人》StageCraft系統(tǒng)為例[J]. 北京電影學(xué)院學(xué)報(bào),2020(11):121?128.

[6] 中國(guó)電影科學(xué)技術(shù)研究所等.中國(guó)電影數(shù)字制作規(guī)范[M].中國(guó)電影出版社，2023.

[7] Bodini A, Manohar A, Colecchia F, et al. Envisioning the future of virtual production in filmmaking: A remote co?design study[J]. Multimedia Tools and Applications, 2024, 83(7): 19015?19039.

[8] Cremona C, Kavakli M. The Evolution of the Virtual Production Studio as a Game Changer in Filmmaking[M]//Creating Digitally: Shifting Boundaries: Arts and Technologies—Contemporary Applications and Concepts. Cham: Springer International Publishing, 2023: 403?429.

[9] Huang Y F, Lv S J, Tseng K K, et al. Recent advances in artificial intelligence for video production system[J]. Enterprise Information Systems, 2023, 17(11): 2246188.

[10] Medellin N M. Reinventing the Silver Screen... Again: The Copyright Licensing Implications of Using Video Game Technology for Virtual Production on Film and TV Sets[J]. UC L. SF Commc'n and Ent. J., 2023, 46: 153.

[11] Clark C, Goi M, Holben J, et al. American Society of Cinematographers Motion Imaging Technology Council Progress Report 2023[J]. SMPTE Motion Imaging Journal, 2023, 132(8): 40?52

[12] Goswami S. Chapter?5 From Script to Screen: AI is Shaping the Future of Film Making[J]. Virtual Reality and Artificial Intelligence Technologies, 2024: 55.

[13] Hitchen G, Ekmekcioglu E, Ozcinar C. Mapping the virtual production eco?system[J]. 2022.

[14] Swords J, Willment N. The emergence of virtual production–a research agenda[R]. Convergence, 2024, 30（5）: 1557?1574.

[15] Ewis K A, Rashad M A A M. The Evolution of One?Shot Films in the Era of Virtual Production[J]. International Design Journal, 2024, 14(4): 409?419.

[16] Silva Jasaui D, Martí-Testón A, Mu?oz A, et al. Virtual Production: Real?Time Rendering Pipelines for Indie Studios and the Potential in Different Scenarios[J]. Applied Sciences, 2024, 14(6): 2530.

[17] Rigney E. Improvements to On?Set Virtual Production Acoustics for Production Dialog[J]. SMPTE Motion Imaging Journal, 2024, 133(1): 78?88.

[18] Penghui L, Gaohe Z. Development of Virtual Production Camera Control System based on Arduino[J]. ???????????????, 2023, 9(2): 457?466.

[19] 米春林,王梓鋒.基于LED背景墻虛擬拍攝中的光線匹配技術(shù)研究[J].現(xiàn)代電影技術(shù),2022(09):26?32.

[20] 解沛,周令非,劉知一,et al. LED虛擬攝制中基于激光雷達(dá)的攝影機(jī)實(shí)時(shí)追蹤技術(shù)研究[J].現(xiàn)代電影技術(shù),2023(08):4?11.

[21] 盧柏宏,陳軍,趙建軍.基于LED背景墻的電影虛擬化制作中的照明技術(shù)研究[J].現(xiàn)代電影技術(shù),2022(07):10?19.

[22] 陳奕.《長(zhǎng)空之王》虛擬攝制中光影運(yùn)動(dòng)的創(chuàng)作探索[J].電影藝術(shù),2023(03):142?146.

【項(xiàng)目信息】北京電影學(xué)院人才隊(duì)伍建設(shè)資助計(jì)劃——領(lǐng)軍人才項(xiàng)目“基于LED背景墻的電影虛擬化制作”（3040025002）；2023年度國(guó)家社會(huì)科學(xué)基金藝術(shù)學(xué)重大項(xiàng)目“創(chuàng)建人類(lèi)文明新形態(tài)視野下的國(guó)家戰(zhàn)略性影像創(chuàng)作與傳播研究”（23ZD06）。