国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

《現(xiàn)代電影技術(shù)》|董強(qiáng)國(guó)等:數(shù)字電影LED高新技術(shù)格式內(nèi)容制作和還原技術(shù)解析與實(shí)現(xiàn)方法探討

0
分享至

本文刊發(fā)于《現(xiàn)代電影技術(shù)》2025年第7期

專家點(diǎn)評(píng)

數(shù)字電影投影式放映機(jī)自2010年開(kāi)始在全球影院大規(guī)模部署后,因其15年使用壽命限制即將迎來(lái)替換潮。同時(shí),觀眾對(duì)觀影體驗(yàn)的需求已從“看得到”升級(jí)為“看得好”,圖像高分辨率(HR)、高動(dòng)態(tài)范圍(HDR)、高幀率(HFR)、廣色域(WCG)、沉浸式音頻(IA)等成為核心需求。LED電影放映系統(tǒng)憑借自發(fā)光特性,在色彩、對(duì)比度、畫(huà)面層次的表現(xiàn)均顯著優(yōu)于傳統(tǒng)投影式放映機(jī),同時(shí)具有節(jié)能環(huán)保、壽命長(zhǎng)等優(yōu)勢(shì),這些優(yōu)勢(shì)推動(dòng)LED 技術(shù)在電影領(lǐng)域加速滲透發(fā)展,成為支撐產(chǎn)業(yè)向高新技術(shù)格式、高質(zhì)量升級(jí)的關(guān)鍵力量。論文《數(shù)字電影LED高新技術(shù)格式內(nèi)容制作和還原技術(shù)解析與實(shí)現(xiàn)方法探討》系統(tǒng)分析了HDR、高幀率、高分辨率、沉浸聲等技術(shù)的底層邏輯,對(duì)比了不同HDR標(biāo)準(zhǔn)及放映系統(tǒng)特點(diǎn),為行業(yè)提供了技術(shù)框架和落地案例,并形成“技術(shù)—研發(fā)—應(yīng)用”閉環(huán),為數(shù)字電影從常規(guī)技術(shù)格式向高新技術(shù)格式轉(zhuǎn)型升級(jí)提供范本,對(duì)推動(dòng)我國(guó)電影技術(shù)自主創(chuàng)新意義重大。世界超高清視頻產(chǎn)業(yè)聯(lián)盟(UWA)主導(dǎo)的HDR Vivid和Audio Vivid標(biāo)準(zhǔn)已在多個(gè)領(lǐng)域得到廣泛應(yīng)用,現(xiàn)正向電影領(lǐng)域拓展延伸。中國(guó)電影科學(xué)技術(shù)研究所牽頭組建UWA電影工作組,聚焦LED影院技術(shù)標(biāo)準(zhǔn)及生態(tài)建設(shè)。該論文與聯(lián)盟方向高度契合,為L(zhǎng)ED電影放映技術(shù)的規(guī)范化發(fā)展與應(yīng)用提供有力支撐,將積極助力我國(guó)電影技術(shù)自主創(chuàng)新和全球超高清產(chǎn)業(yè)生態(tài)構(gòu)建。

—— 張文剛

世界超高清視頻產(chǎn)業(yè)聯(lián)盟(UWA)秘書(shū)長(zhǎng)

作 者 簡(jiǎn) 介

董強(qiáng)國(guó)

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)檢測(cè)認(rèn)證北方中心副主任,主要研究方向:電影技術(shù)。

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)黨委書(shū)記、所長(zhǎng),主要研究方向:電影技術(shù)。

龔 波

李虹珊

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)檢測(cè)認(rèn)證南方中心高級(jí)工程師,主要研究方向:電影技術(shù)。

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)檢測(cè)認(rèn)證北方中心工程師,主要研究方向:電影技術(shù)。

王薇娜

常婉晴

中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)檢測(cè)認(rèn)證南方中心干部,主要研究方向:電影技術(shù)。

本文首先對(duì)數(shù)字電影放映技術(shù)發(fā)展趨勢(shì)進(jìn)行分析,結(jié)合LED電影放映系統(tǒng)的特點(diǎn),對(duì)相關(guān)技術(shù)規(guī)范進(jìn)行解讀,探討針對(duì)LED的高新技術(shù)格式內(nèi)容制作和還原技術(shù)難點(diǎn),提出一種專供LED電影放映系統(tǒng)的高新技術(shù)格式內(nèi)容制作和還原技術(shù),并研發(fā)出一套專供LED高新技術(shù)格式內(nèi)容制作和還原的系統(tǒng),該技術(shù)旨在提高LED電影放映系統(tǒng)的音視頻質(zhì)量和觀影體驗(yàn),為國(guó)產(chǎn)LED電影放映技術(shù)的發(fā)展提供有力支撐。

關(guān)鍵詞

高動(dòng)態(tài)范圍;高幀率;智能升幀;高碼率;沉浸式音頻

1引言

近幾年我國(guó)電影放映技術(shù)發(fā)展迅速,正經(jīng)歷光源從氙燈到激光、分辨率從2K到4K、聲音制式從基于通道到基于對(duì)象、動(dòng)態(tài)范圍從標(biāo)準(zhǔn)動(dòng)態(tài)范圍(SDR)到高動(dòng)態(tài)范圍(HDR)、放映機(jī)類型[1]從投影顯示到LED直顯的變革,數(shù)字電影放映技術(shù)正逐步邁向高新技術(shù)格式的發(fā)展階段。LED具有高亮度、高對(duì)比度、亮度色度均勻性好、抗光干擾性強(qiáng)、適用場(chǎng)景更廣泛等技術(shù)優(yōu)勢(shì),一經(jīng)推出便得到市場(chǎng)廣泛關(guān)注和認(rèn)可,隨著LED技術(shù)發(fā)展和成本降低,其將成為下一代以HDR、高幀率(HFR)、高分辨率(HR)、沉浸式音頻(IA)、高碼率(HBR)等為核心特征的高新放映技術(shù)格式的最佳載體。

我國(guó)在LED電影放映領(lǐng)域已實(shí)現(xiàn)重大突破。繼2021年中國(guó)電影科學(xué)技術(shù)研究所(中央宣傳部電影技術(shù)質(zhì)量檢測(cè)所)(以下簡(jiǎn)稱“中國(guó)電影科研所”)與深圳市洲明科技股份有限公司(以下簡(jiǎn)稱“洲明科技”)聯(lián)合研發(fā)的首個(gè)國(guó)產(chǎn)LED電影放映系統(tǒng)通過(guò)數(shù)字電影倡導(dǎo)組織(DCI[2])認(rèn)證后,深圳市時(shí)代華影科技股份有限公司、中影光峰激光影院技術(shù)(北京)有限公司、利亞德光電股份有限公司等廠家相繼推出了自研的國(guó)產(chǎn)LED電影放映系統(tǒng)。同時(shí)為徹底解決LED影廳主聲道聲像不一致的問(wèn)題,2024年中國(guó)電影科研所聯(lián)合洲明科技實(shí)現(xiàn)全球首塊國(guó)產(chǎn)LED透聲屏電影放映系統(tǒng)通過(guò)DCI認(rèn)證。迄今我國(guó)已有18家制造商生產(chǎn)的45個(gè)型號(hào)產(chǎn)品通過(guò)DCI認(rèn)證,國(guó)內(nèi)LED影廳安裝數(shù)量超過(guò)150個(gè),已成為擁有LED電影放映系統(tǒng)制造廠家和放映影廳數(shù)量最多的國(guó)家。

近日,國(guó)家電影局發(fā)布《關(guān)于發(fā)展和規(guī)范數(shù)字電影LED(發(fā)光二極管)影廳的通知》,明確指出LED電影放映系統(tǒng)是電影放映技術(shù)的重大變革,是中國(guó)電影工業(yè)提質(zhì)升級(jí)、實(shí)現(xiàn)高質(zhì)量發(fā)展、推動(dòng)實(shí)現(xiàn)電影強(qiáng)國(guó)目標(biāo)的重要科技創(chuàng)新,同時(shí)對(duì)LED影廳的建設(shè)、運(yùn)營(yíng)和管理、產(chǎn)業(yè)扶持、保障放映質(zhì)量[3]等方面提出了具體的要求和指導(dǎo)建議。隨著LED電影放映技術(shù)的不斷進(jìn)步和市場(chǎng)的規(guī)?;l(fā)展,LED電影放映系統(tǒng)正逐漸成為行業(yè)的主流趨勢(shì)。

LED電影放映系統(tǒng)在高新技術(shù)格式放映領(lǐng)域的技術(shù)優(yōu)勢(shì),可為觀眾帶來(lái)更加逼真、震撼、多樣的沉浸式觀影體驗(yàn)。隨著LED影廳數(shù)量的增多,當(dāng)前傳統(tǒng)的SDR制作方式已經(jīng)難以滿足觀眾對(duì)高新技術(shù)格式內(nèi)容制作和還原技術(shù)的需求。因此,如何基于LED的放映技術(shù)優(yōu)勢(shì),研發(fā)出一套能夠滿足高質(zhì)量制作和放映需求的高新技術(shù)格式內(nèi)容制作和還原的技術(shù)方案,已成為當(dāng)前數(shù)字電影技術(shù)研究的重要課題。本文基于這一背景,對(duì)數(shù)字電影LED高新技術(shù)格式內(nèi)容制作和還原技術(shù)進(jìn)行了深入分析和研究,旨在為國(guó)產(chǎn)LED電影放映技術(shù)的發(fā)展提供有力支撐。

2數(shù)字電影高新技術(shù)格式技術(shù)解析

數(shù)字電影高新技術(shù)格式是指HDR、HFR、HR、高碼率、沉浸式音頻等技術(shù)。本章節(jié)重點(diǎn)對(duì)高新技術(shù)格式技術(shù)的特點(diǎn)進(jìn)行分析,為下一步實(shí)現(xiàn)高新技術(shù)格式內(nèi)容制作與還原提供理論基礎(chǔ)。

2.1 高動(dòng)態(tài)范圍(HDR)技術(shù)提高了影像寬容度分辨率,提升視覺(jué)質(zhì)感和深度

HDR既涉及成像,也涉及顯示,在成像端使用光電轉(zhuǎn)換(OETF)曲線實(shí)現(xiàn)圖像的攝制,在顯示端使用電光轉(zhuǎn)換(EOTF)曲線實(shí)現(xiàn)從極暗到極亮的視覺(jué)效果,以更真實(shí)地還原人眼所見(jiàn)的亮度層次和色彩范圍。HDR技術(shù)的核心在于追求更廣的亮度范圍、更高的對(duì)比度、更豐富的色彩層次、更高的色深。當(dāng)前常見(jiàn)的HDR格式有HDR10、Dolby Vision、HDR10+、HLG、HDR Vivid、DCI HDR。

(1)HDR10是一種開(kāi)放格式,其基于感知量化器 (Perceptual Quantizer, PQ)的電光轉(zhuǎn)換函數(shù)(EOTF),使用靜態(tài)元數(shù)據(jù),是應(yīng)用最廣泛的HDR基礎(chǔ)格式,多數(shù)HDR顯示設(shè)備均兼容HDR10。

(2)Dolby Vision是杜比實(shí)驗(yàn)室開(kāi)發(fā)的HDR格式,同樣基于PQ電光轉(zhuǎn)換函數(shù),使用動(dòng)態(tài)元數(shù)據(jù)逐幀優(yōu)化技術(shù),可實(shí)時(shí)動(dòng)態(tài)色調(diào)映射,多應(yīng)用在使用杜比技術(shù)制作的電影、電視端顯示系統(tǒng)中。

(3)HDR10+由三星、松下、20世紀(jì)福克斯(現(xiàn)屬迪士尼)等公司推動(dòng),基于PQ電光轉(zhuǎn)換函數(shù)和動(dòng)態(tài)元數(shù)據(jù)逐場(chǎng)景優(yōu)化技術(shù),目前免版稅,多用于網(wǎng)絡(luò)流媒體。

(4)HLG由英國(guó)廣播公司(BBC)和日本廣播協(xié)會(huì)(NHK)聯(lián)合開(kāi)發(fā),使用HLG電光轉(zhuǎn)換函數(shù),兼容性強(qiáng),無(wú)元數(shù)據(jù),可在SDR顯示設(shè)備上播放,且可呈現(xiàn)出類似HDR效果。

(5)HDR Vivid是世界超高清視頻產(chǎn)業(yè)聯(lián)盟(UWA)主導(dǎo)制定的HDR國(guó)產(chǎn)標(biāo)準(zhǔn),其基于PQ電光轉(zhuǎn)換函數(shù)和動(dòng)態(tài)元數(shù)據(jù)逐幀優(yōu)化技術(shù)。

(6)DCI HDR是根據(jù)現(xiàn)有數(shù)字電影高亮度和高對(duì)比度放映設(shè)備的技術(shù)特點(diǎn),基于PQ 電光轉(zhuǎn)換函數(shù),針對(duì)高端數(shù)字電影放映系統(tǒng)制定的技術(shù)規(guī)范。

上述格式在光電轉(zhuǎn)換/電光轉(zhuǎn)換特性、色深、色彩空間、元數(shù)據(jù)類型等方面的主要技術(shù)特點(diǎn)如表1所示。在數(shù)字電影LED高新技術(shù)格式內(nèi)容制作中,HDR技術(shù)的實(shí)現(xiàn)依賴于前期拍攝或后期制作技術(shù),在放映過(guò)程中需LED電影放映系統(tǒng)支持HDR內(nèi)容的還原。

表1 HDR格式技術(shù)特點(diǎn)對(duì)比

2.2 高幀率(HFR)技術(shù)提高了影像的時(shí)間分辨率,為觀眾提供更為真實(shí)和連貫的觀影體驗(yàn)

HFR技術(shù)是指數(shù)字電影制作和放映過(guò)程中,每秒播放畫(huà)面的幀數(shù)高于傳統(tǒng)24幀的播放速率。該技術(shù)主要用于解決影片播放過(guò)程中產(chǎn)生的運(yùn)動(dòng)模糊、3D閃爍、LED刷新頻閃等問(wèn)題。HFR可顯著提升畫(huà)面的流暢度、減少動(dòng)態(tài)模糊,為觀眾提供更為真實(shí)和連貫的觀影體驗(yàn)。當(dāng)前我國(guó)數(shù)字電影放映系統(tǒng)主要包括傳統(tǒng)投影式放映系統(tǒng)、Dolby Cinema電影放映系統(tǒng)、中影CINITY電影放映系統(tǒng)、IMAX電影放映系統(tǒng)、LED電影放映系統(tǒng)。傳統(tǒng)投影式放映系統(tǒng)以24 FPS的幀速率為主;Dolby Cinema和中影CINITY電影放映系統(tǒng)最高可支持120 FPS;IMAX電影放映系統(tǒng)最高可支持48 FPS;LED電影放映系統(tǒng)多數(shù)能夠支持48 FPS,少數(shù)可支持96 FPS和120 FPS,具體技術(shù)規(guī)格見(jiàn)表2。在數(shù)字電影LED高新技術(shù)格式內(nèi)容制作中,HFR技術(shù)的實(shí)現(xiàn)依賴于前期拍攝或后期采用人工智能(AI)升幀制作技術(shù),放映過(guò)程則需LED電影放映系統(tǒng)支持HFR內(nèi)容的還原。

表2 各系統(tǒng)幀速率技術(shù)特點(diǎn)對(duì)比

2.3 高分辨率(HR)技術(shù)提升畫(huà)面細(xì)節(jié)和銳度

HR是指數(shù)字電影制作和放映過(guò)程中,影片畫(huà)面空間分辨率大于2048×1080的顯示技術(shù)。數(shù)字電影HR主要有兩種規(guī)格,一種為4096×2160(4K)像素,另一種為8192×4320(8K)像素。HR技術(shù)可顯著提升畫(huà)面的清晰度和細(xì)節(jié)表現(xiàn)力,使觀眾在觀影過(guò)程中能更清晰地看到影片中的每一個(gè)細(xì)節(jié),增強(qiáng)觀影沉浸感和真實(shí)感。在數(shù)字電影LED高新技術(shù)格式內(nèi)容制作中,HR技術(shù)的實(shí)現(xiàn)需要依賴于先進(jìn)的拍攝設(shè)備或后期AI超分辨率制作技術(shù);在放映過(guò)程中,LED電影放映系統(tǒng)應(yīng)支持HR放映,以呈現(xiàn)出HR影片的最佳效果。

2.4 高碼率技術(shù)提升影像畫(huà)質(zhì)

高碼率技術(shù)是指數(shù)字電影在制作和傳輸過(guò)程中采用較高的數(shù)據(jù)速率,從而保證影片聲畫(huà)質(zhì)量。高碼率是確保HR、HDR、HFR呈現(xiàn)的基礎(chǔ),分辨率越高,像素信息則越多,相應(yīng)需要更高的碼率來(lái)有效承載這些信息,避免壓縮偽影的產(chǎn)生。HDR擴(kuò)展了數(shù)字電影圖像的亮度和色彩空間,記錄更多的明暗和色彩細(xì)節(jié)需要遠(yuǎn)超SDR的數(shù)據(jù)量。HFR為觀眾帶來(lái)更為逼真流暢的畫(huà)面,特別是在運(yùn)動(dòng)場(chǎng)景或快速搖臂鏡頭時(shí),而幀率的提升需要高碼率為其提供必要的數(shù)據(jù)帶寬。在數(shù)字電影LED高新技術(shù)格式內(nèi)容制作中,高碼率技術(shù)的實(shí)現(xiàn)依賴于高效的編碼技術(shù)和傳輸協(xié)議,以確保影片在制作、傳輸和放映過(guò)程中能夠保持高質(zhì)量的聲畫(huà)效果。LED電影放映系統(tǒng)需具備足夠的解碼能力和數(shù)據(jù)處理能力,以支持高碼率影片的放映。

2.5 沉浸式音頻技術(shù)實(shí)現(xiàn)影廳環(huán)境下的沉浸聲還原

沉浸式音頻技術(shù)是一種基于聲床(Bed)+音頻對(duì)象+元數(shù)據(jù)的音頻處理技術(shù)。一部完整的沉浸聲影片呈現(xiàn)在觀眾面前,至少經(jīng)歷制作、發(fā)行和放映三個(gè)環(huán)節(jié)。首先,需要通過(guò)沉浸式音頻制作工具對(duì)提供的聲音素材進(jìn)行混錄制作。然后,將沉浸式音頻混錄內(nèi)容編碼成符合美國(guó)電影電視工程師協(xié)會(huì)(Society of Motion Picture and Television Engineers, SMPTE) ST 2098-2碼流規(guī)范的沉浸式音頻碼流(IAB),并依據(jù)SMPTE規(guī)定的打包規(guī)范進(jìn)行封裝[4,5],形成沉浸式音頻發(fā)行數(shù)字電影數(shù)據(jù)包(DCP)。最后,使用支持IAB播放的集成媒體模塊(IMB)進(jìn)行播放,通過(guò)沉浸式音頻處理器對(duì)IAB碼流進(jìn)行解封裝、解碼,并最終渲染到相應(yīng)的揚(yáng)聲器系統(tǒng)中,實(shí)現(xiàn)影廳環(huán)境下的沉浸聲還原[6]。

3數(shù)字電影高新技術(shù)格式內(nèi)容制作與還原實(shí)現(xiàn)技術(shù)要求和難點(diǎn)分析

為確保數(shù)字電影高新技術(shù)格式內(nèi)容制作和還原技術(shù)[7]的全球通用性和技術(shù)合理性,需遵循全球統(tǒng)一的技術(shù)規(guī)范體系[8,9]。通過(guò)對(duì)高新技術(shù)格式技術(shù)、打包和LED電影放映技術(shù)的廣泛調(diào)研,我們對(duì)數(shù)字電影高新技術(shù)格式內(nèi)容制作和還原的亮度、色度、分辨率、光電轉(zhuǎn)換/電光轉(zhuǎn)換特性、碼率、沉浸式音頻[10]等技術(shù)指標(biāo)進(jìn)行了規(guī)定,為下一步的系統(tǒng)研發(fā)實(shí)現(xiàn)提供技術(shù)參考,具體技術(shù)要求見(jiàn)表3。

表3 數(shù)字電影高新技術(shù)格式制作和還原主要指標(biāo)技術(shù)要求

當(dāng)前數(shù)字電影影片拍攝環(huán)節(jié)多數(shù)采用的傳統(tǒng)的技術(shù)格式(相關(guān)技術(shù)特點(diǎn)見(jiàn)表4),原生高新技術(shù)格式內(nèi)容匱乏,給數(shù)字電影LED高新技術(shù)格式內(nèi)容的供給帶來(lái)諸多挑戰(zhàn)。在影片內(nèi)容暫未按照高新技術(shù)格式技術(shù)要求拍攝的情況下,如何實(shí)現(xiàn)高格內(nèi)容的制作已成為亟待解決的問(wèn)題。具體而言:(1)如何將圖像分辨率從2048×1080提升到4096×2160;(2)如何將幀速率從24 FPS提升到48 FPS;(3)如何將SDR(亮度、光電轉(zhuǎn)換/電光轉(zhuǎn)換特性、色彩還原等)映射到HDR;(4)如何制作、發(fā)行和還原國(guó)產(chǎn)沉浸式音頻內(nèi)容;(5)在放映過(guò)程中,如何確保LED電影放映系統(tǒng)能夠準(zhǔn)確還原高新技術(shù)格式內(nèi)容的各項(xiàng)技術(shù)指標(biāo),包括亮度、色彩還原、明暗對(duì)比度、幀速率、沉浸式音頻等。

表4 傳統(tǒng)數(shù)字電影制作和還原主要指標(biāo)技術(shù)要求

數(shù)字電影LED高新技術(shù)格式內(nèi)容制作和還原技術(shù)存在多個(gè)急需解決的技術(shù)難點(diǎn)。因此,滿足高新技術(shù)格式內(nèi)容制作與還原的技術(shù)要求,并有效攻克上述難點(diǎn),是推動(dòng)LED電影放映技術(shù)在高新技術(shù)格式領(lǐng)域深化應(yīng)用、提升觀眾體驗(yàn)的核心任務(wù)。

4數(shù)字電影高新技術(shù)格式內(nèi)容制作和還原核心技術(shù)實(shí)現(xiàn)

隨著深度學(xué)習(xí)(DL)和人工智能技術(shù)的飛速發(fā)展,為高新技術(shù)格式內(nèi)容的制作提供了有效的技術(shù)手段。中國(guó)電影科研所聚焦深度學(xué)習(xí)在超分辨率領(lǐng)域、人工智能在升幀領(lǐng)域的垂直應(yīng)用,聯(lián)合深圳市瑞云科技股份有限公司研發(fā)了一套電影級(jí)超分辨率工具,可實(shí)現(xiàn)圖像分辨率從2048×1080(2K)轉(zhuǎn)換為4096×2160(4K);研發(fā)出一套電影級(jí)AI升幀工具,能實(shí)現(xiàn)圖像幀速率從24 FPS提升至48 FPS。此外,中國(guó)電影科研所還聯(lián)合華夏電影發(fā)行有限責(zé)任公司(以下簡(jiǎn)稱“華夏發(fā)行”)共同搭建了一套LED內(nèi)容制作和監(jiān)看系統(tǒng),一套國(guó)產(chǎn)沉浸式音頻制作、編碼和還原系統(tǒng),實(shí)現(xiàn)了數(shù)字電影LED高新技術(shù)格式內(nèi)容的制作與還原。

4.1 數(shù)字電影圖像超分辨率工具的技術(shù)實(shí)現(xiàn)

數(shù)字電影圖像超分辨率算法是一種利用低分辨率圖像中的信息,預(yù)估和推測(cè)原有圖像丟失細(xì)節(jié),重構(gòu)出高分辨率圖像的技術(shù)。常見(jiàn)的圖像超分辨率算法包括插值算法、基于邊緣的算法、基于統(tǒng)計(jì)的算法、基于深度學(xué)習(xí)的算法等四類。

中國(guó)電影科研所主導(dǎo)研發(fā)的數(shù)字電影圖像超分辨率工具應(yīng)用了基于Transformer架構(gòu)的圖像生成網(wǎng)絡(luò),融合內(nèi)容感知增強(qiáng)模塊與殘差反饋機(jī)制,提取圖像特征、預(yù)估圖像運(yùn)動(dòng)狀態(tài),并對(duì)細(xì)節(jié)紋理進(jìn)行增強(qiáng)重建。通過(guò)輸入大量數(shù)字電影圖像進(jìn)行訓(xùn)練,學(xué)習(xí)低分辨率圖像到高分辨率圖像的復(fù)雜映射關(guān)系,從而實(shí)現(xiàn)高質(zhì)量的超分辨率重構(gòu),成功將低分辨率圖像提升為高分辨率圖像。該技術(shù)支持輸入2048×1080分辨率的TIFF格式電影級(jí)圖像,通過(guò)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行推理計(jì)算,輸出4096×2160的高分辨率圖像,該工具的技術(shù)路線如圖1所示,通過(guò)該工具超分辨率前后的效果對(duì)比如圖2所示。通過(guò)深度學(xué)習(xí)優(yōu)化,該超分辨率工具在細(xì)節(jié)還原和色彩保真方面具有較好表現(xiàn),顯著提升了圖像細(xì)節(jié)和清晰度,為觀眾帶來(lái)更為細(xì)膩、逼真的視覺(jué)體驗(yàn)。

圖1 數(shù)字電影超分辨率工具技術(shù)路線

圖2 數(shù)字電影AI超分辨率效果對(duì)比

4.2 數(shù)字電影AI升幀工具的技術(shù)實(shí)現(xiàn)

數(shù)字電影AI升幀技術(shù)是利用人工智能算法,通過(guò)深度神經(jīng)網(wǎng)絡(luò)(DNN)從大量視頻中學(xué)習(xí)復(fù)雜運(yùn)動(dòng)模式,捕捉非線性運(yùn)動(dòng),識(shí)別遮擋與低紋理區(qū)域,保留圖像細(xì)節(jié),從而生成中間幀的技術(shù)。常見(jiàn)的升幀算法包括光流算法、深度感知視頻幀插值(Depth?Aware Video Frame Interpolation, DAIN)算法、實(shí)時(shí)中間流估計(jì)(Real?Time Intermediate Flow Estimation, RIFE)算法、MedioIIO等,各AI升幀算法應(yīng)用于快速運(yùn)動(dòng)視頻的效果如圖3所示。

圖3 AI插幀算法效果對(duì)比

中國(guó)電影科研所主導(dǎo)研制的數(shù)字電影AI升幀工具基于RIFE算法核心框架,結(jié)合雙向光流估計(jì)和幀間注意力機(jī)制,進(jìn)一步增強(qiáng)運(yùn)動(dòng)理解與區(qū)域顯著性建模能力,通過(guò)對(duì)涵蓋多種場(chǎng)景和主題類型的大量電影幀序列進(jìn)行海量訓(xùn)練,智能分析圖像幀序列,在原始幀之間創(chuàng)造出視覺(jué)上連貫的高質(zhì)量中間幀,實(shí)現(xiàn)24 FPS電影素材生成48 FPS的HFR電影內(nèi)容,該工具技術(shù)路線如圖4所示。通過(guò)該技術(shù),電影畫(huà)面流暢度大幅提升,動(dòng)態(tài)場(chǎng)景更為平滑,有效減少了動(dòng)態(tài)模糊與撕裂現(xiàn)象,為觀眾帶來(lái)更極致的觀影體驗(yàn)。

圖4 數(shù)字電影AI升幀工具技術(shù)路線

4.3 數(shù)字電影高動(dòng)態(tài)范圍(HDR)轉(zhuǎn)化工具的技術(shù)實(shí)現(xiàn)

數(shù)字電影HDR轉(zhuǎn)化技術(shù)是指將SDR電影內(nèi)容,通過(guò)亮度、色度映射和細(xì)節(jié)增強(qiáng)技術(shù),轉(zhuǎn)化為HDR電影內(nèi)容,以整體提升電影內(nèi)容的亮度、明暗對(duì)比度和色彩飽和度。

中國(guó)電影科研所聚焦SDR與HDR之間的亮度和色彩映射關(guān)系,通過(guò)色調(diào)映射和細(xì)節(jié)增強(qiáng)算法,轉(zhuǎn)化過(guò)程中保留更多明暗細(xì)節(jié),從而增強(qiáng)圖像層次感和對(duì)比度。在動(dòng)態(tài)范圍的映射方面,涉及亮度、光電轉(zhuǎn)換/電光轉(zhuǎn)換特性和色彩還原等多方面的調(diào)整和優(yōu)化,在專業(yè)調(diào)色軟件中嵌入用于編碼轉(zhuǎn)換的顏色查找表(LUT)和細(xì)節(jié)增強(qiáng)算法,以確保SDR內(nèi)容能夠映射為色彩更加豐富、畫(huà)面更加逼真的HDR內(nèi)容,并能在LED電影放映系統(tǒng)上準(zhǔn)確還原。針對(duì)映射效果不理想的畫(huà)面可使用專業(yè)調(diào)色系統(tǒng)進(jìn)行精細(xì)化調(diào)整,力圖為觀眾呈現(xiàn)出更加細(xì)膩真實(shí)的畫(huà)面效果。HDR轉(zhuǎn)化實(shí)現(xiàn)技術(shù)路線如圖5所示,HDR轉(zhuǎn)化效果如圖6所示。

圖5 HDR轉(zhuǎn)化技術(shù)路線

圖6 HDR轉(zhuǎn)化效果對(duì)比

4.4 數(shù)字電影LED高新技術(shù)格式圖像制作和還原系統(tǒng)的技術(shù)實(shí)現(xiàn)

數(shù)字電影LED高新技術(shù)格式圖像制作和還原技術(shù)涉及傳統(tǒng)影片內(nèi)容向HFR、HR和HDR的轉(zhuǎn)換技術(shù),以及LED電影放映系統(tǒng)涉及的高新技術(shù)格式影片還原技術(shù)。

在制作端,利用圖像超分辨率、升幀和HDR轉(zhuǎn)化技術(shù),中國(guó)電影科研所聯(lián)合華夏發(fā)行搭建了數(shù)字電影LED高新技術(shù)格式圖像制作系統(tǒng),能夠?qū)崿F(xiàn)2048×1080(2K)分辨率向4096×2160 (4K)高分辨率轉(zhuǎn)換、24 FPS內(nèi)容向48 FPS HFR內(nèi)容轉(zhuǎn)換、SDR格式向HDR格式轉(zhuǎn)換;在LED電影放映系統(tǒng)的視頻處理器(IB)中嵌入兼容DCI HDR規(guī)范的電光轉(zhuǎn)換函數(shù)曲線和高新技術(shù)格式影片播放技術(shù),實(shí)現(xiàn)數(shù)字電影高新技術(shù)格式影片內(nèi)容的監(jiān)看和還原。在DCI HDR模式下實(shí)現(xiàn)了XYZ編碼、12 bit色彩深度、48 FPS、500 Mbps的HDR影片內(nèi)容的播放和還原,數(shù)字電影LED高新技術(shù)格式圖像制作和還原系統(tǒng)架構(gòu)如圖7所示,技術(shù)實(shí)現(xiàn)路線如圖8所示。

圖7 數(shù)字電影LED高新技術(shù)格式圖像制作和還原系統(tǒng)架構(gòu)

圖8 數(shù)字電影LED高新技術(shù)格式圖像制作和還原技術(shù)實(shí)現(xiàn)路線

4.5 數(shù)字電影沉浸式音頻制作、編碼和還原技術(shù)實(shí)現(xiàn)

數(shù)字電影沉浸式音頻技術(shù)包含沉浸式音頻制作、編碼和封裝、沉浸式音頻還原技術(shù)。沉浸式音頻制作技術(shù)主要用于基于聲床+對(duì)象[13]+元數(shù)據(jù)的沉浸式音頻內(nèi)容的制作和監(jiān)聽(tīng);沉浸式音頻編碼和封裝技術(shù)主要用于對(duì)沉浸式音頻文件的編碼和素材交換格式(MXF)封裝[14];沉浸式音頻還原技術(shù)主要用于沉浸式音頻文件的播放、傳輸、解碼和渲染。

自2018年起,中國(guó)電影科研所便開(kāi)始相關(guān)技術(shù)的研究工作,在遵循SMPTE有關(guān)沉浸式音頻規(guī)則的基礎(chǔ)上[15—17],基于主流Protools音頻制作平臺(tái),完成沉浸式音頻元數(shù)據(jù)制作插件和渲染工具的研發(fā)[18];基于ST 2098-2沉浸式音頻碼流相關(guān)規(guī)范,完成沉浸式音頻文件的編碼和MXF封裝,數(shù)字電影沉浸式音頻制作、編碼和DCP封裝工具技術(shù)實(shí)現(xiàn)路線如圖9所示;基于SMPTE ST 429-14[19]數(shù)字同步信號(hào)和輔助數(shù)據(jù)傳輸協(xié)議,完成沉浸式音頻處理系統(tǒng)的研發(fā)工作,技術(shù)實(shí)現(xiàn)路線如圖10所示。

圖9 數(shù)字電影沉浸式音頻制作、編碼和DCP封裝工具研發(fā)技術(shù)實(shí)現(xiàn)路線

圖10 數(shù)字電影沉浸式音頻還原技術(shù)路線

5結(jié)語(yǔ)

隨著數(shù)字電影LED放映技術(shù)的快速發(fā)展,其高分辨、高亮度、高對(duì)比度、亮度色度均勻性好等技術(shù)優(yōu)勢(shì),為高新技術(shù)格式影片進(jìn)入影院提供了最佳的技術(shù)載體[20]。當(dāng)前絕大多數(shù)影片的拍攝、制作和放映手段均以傳統(tǒng)常規(guī)技術(shù)格式為主,在遵循全球統(tǒng)一數(shù)字電影技術(shù)規(guī)范的基礎(chǔ)上,如何實(shí)現(xiàn)高新技術(shù)格式內(nèi)容的制作和還原是電影行業(yè)面臨的關(guān)鍵技術(shù)挑戰(zhàn)。

通過(guò)持續(xù)的技術(shù)創(chuàng)新和標(biāo)準(zhǔn)化流程優(yōu)化,中國(guó)電影科研所已成功突破多項(xiàng)技術(shù)瓶頸,利用先進(jìn)的深度學(xué)習(xí)和人工智能技術(shù),完成電影級(jí)圖像超分辨率工具、AI升幀工具、HDR轉(zhuǎn)化工具、沉浸式音頻制作工具的研發(fā),可用于傳統(tǒng)影片向高新技術(shù)格式影片的轉(zhuǎn)換。聯(lián)合華夏發(fā)行搭建的數(shù)字電影LED高新技術(shù)格式內(nèi)容制版實(shí)驗(yàn)室,已制作《封神2》《蛟龍行動(dòng)》等多部院線影片的LED高新技術(shù)格式行業(yè)版本,為30多個(gè)LED影廳提供了上百次LED高新技術(shù)格式內(nèi)容服務(wù),成功實(shí)現(xiàn)了LED高新技術(shù)格式影片從制作到放映的全流程技術(shù)貫通,為電影行業(yè)的技術(shù)革新奠定了堅(jiān)實(shí)基礎(chǔ)。未來(lái),中國(guó)電影科研所將繼續(xù)深化相關(guān)研究,推動(dòng)高新技術(shù)格式電影技術(shù)的普及與應(yīng)用。

參考文獻(xiàn)

(向下滑動(dòng)閱讀)

[1] 國(guó)家電影局. 數(shù)字電影放映機(jī)技術(shù)規(guī)范:DY/T 5—2022 [S]. 北京:中國(guó)電影科學(xué)技術(shù)研究所,2022.

[2] Digital Cinema System Specification:V1.4.5[S],2024.

[3] 國(guó)家電影局. 數(shù)字電影LED影廳技術(shù)要求和測(cè)量方法: DY/T 8—2023 [S]. 北京:中國(guó)電影科學(xué)技術(shù)研究所,2023.

[4] D?Cinema OperationsAuxiliary ? Content Synchronization Protocol: SMPTE ST 430?10:2010 [S], 2010.

[5] D?Cinema Operations ? Digital Sync Signal and Aux Data Transfer Protocol : SMPTE ST 430?14:2015 [S], 2015.

[6] 國(guó)家新聞出版廣電總局. 電影錄音控制室、室內(nèi)影廳B環(huán)電聲響應(yīng)規(guī)范和測(cè)量: GY/T 312—2017 [S]. 北京:中國(guó)電影科學(xué)技術(shù)研究所,2017.

[7] 國(guó)家電影局. 數(shù)字電影放映用還音設(shè)備技術(shù)要求和測(cè)量方法:DY/T 6—2021 [S]. 北京:中國(guó)電影科學(xué)技術(shù)研究所,2017.

[8] Digital Cinema Initiatives, LLC (DCI).Digital Cinema System Specification (V1.4.3)[Z],2023.

[9] D?Cinema Operations ? Auxiliary Resource Presentation List:SMPTE ST 430-11:2010 [S], 2010.

[10] 董強(qiáng)國(guó).專業(yè)影院用沉浸式音頻技術(shù)分析和實(shí)現(xiàn)方案探索[J].現(xiàn)代電影技術(shù),2020(1)10?14.

[11] Immersive Audio Metadata:SMPTE ST 2098-1:2018 [S],2018.

[12] Immersive Audio Bitstream Specification:SMPTE ST 2098-2:2018 [S], 2018.

[13] Digital Cinema Initiatives, LLC (DCI).Digital Cinema Object?Based Audio Addendum [Z], 2018.

[14] Immersive Audio Bitstream and PackagingConstraints: IAB Application Profile 1:SMPTE RDD 57[S], 2021.

[15] D?Cinema Immersive Audio Channels and Soundfield Groups:SMPTE ST 2098-5:2018 [S], 2018.

[16] D?Cinema Packaging ? Immersive Audio Track File:SMPTE ST 429-18:2019 [S], 2019.

[17] Immersive Audio Bitstream Level 0 Plug?in: SMPTE ST 2067-201:2019 [S], 2019.

[18] 董強(qiáng)國(guó).數(shù)字電影沉浸式音頻渲染技術(shù)和評(píng)價(jià)方法研究[J].現(xiàn)代電影技術(shù),2024(10):37?43.

[19] D?Cinema Packaging?Aux Data Track File:SMPTE ST 429?14:2019 [S] ,2019.

[20] ?;矍?李娜,董強(qiáng)國(guó),等.數(shù)字電影LED放映系統(tǒng)國(guó)產(chǎn)化研制及發(fā)展建議[J].現(xiàn)代電影技術(shù),2024(07):4?11.

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

電影技術(shù)微刊 incentive-icons
電影技術(shù)微刊
電影技術(shù)微刊
647文章數(shù) 209關(guān)注度
往期回顧 全部

專題推薦

洞天福地 花海畢節(jié) 山水饋贈(zèng)里的“詩(shī)與遠(yuǎn)方

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版