新腕兒漫劇大會(huì)報(bào)道

新腕兒漫劇大會(huì)結(jié)束后，近期將陸續(xù)發(fā)布嘉賓們的演講內(nèi)容。

3月20日，在新腕兒漫劇大會(huì)上，騰訊云音視頻產(chǎn)品架構(gòu)師朱紫星上臺(tái)分享關(guān)于《智能媒體新引擎：騰訊云音視頻助力漫劇生產(chǎn)與提效》的主題演講。

以下為演講全文：

大家好，我是騰訊云音視頻產(chǎn)品架構(gòu)師朱紫星，很高興來(lái)跟大家分享，我今天的演講主題是《騰訊云音視頻助力漫劇生產(chǎn)跟提效》。

我們正站在內(nèi)容生產(chǎn)變革的十字路口，漫劇行業(yè)向穩(wěn)定、工程化方向在發(fā)展因此，我主要是想探討如何利用騰訊云沉淀多年的音視頻技術(shù)，結(jié)合最新的AIGC模型，重構(gòu)漫劇生產(chǎn)力。

主要從漫劇的生產(chǎn)端、運(yùn)營(yíng)宣發(fā)端的兩個(gè)環(huán)節(jié)，結(jié)合媒體處理和云點(diǎn)播能力，助力漫劇生產(chǎn)提效，賦能漫劇的宣發(fā)創(chuàng)新。

首先從市場(chǎng)數(shù)據(jù)看到，目前全球多模態(tài)AIGC正在進(jìn)行爆發(fā)，AIGC產(chǎn)出的視頻、圖文素材增速驚人，對(duì)漫劇行業(yè)來(lái)講，為漫劇資產(chǎn)生成、運(yùn)營(yíng)帶來(lái)顯著增益和提效。面臨各類內(nèi)容需求的高頻化，對(duì)漫劇行業(yè)來(lái)說(shuō)也是在制作和生產(chǎn)運(yùn)營(yíng)環(huán)節(jié)面臨效率和成本的瓶頸問(wèn)題。

比如說(shuō)在生產(chǎn)時(shí)間限制下需要平衡質(zhì)量跟成本。在運(yùn)營(yíng)成本限制下，運(yùn)營(yíng)環(huán)節(jié)面臨著海量劇集高效宣發(fā)的需求，體驗(yàn)、效率和規(guī)模存在矛盾。

結(jié)合AIGC資產(chǎn)生成模型，我們媒體處理超分降本、音視頻全流程質(zhì)檢精準(zhǔn)切入，助力解決一些生產(chǎn)、運(yùn)營(yíng)環(huán)節(jié)的核心矛盾、難題，助力漫劇行業(yè)向更加穩(wěn)定和流程化的方向發(fā)展。

第一塊是助力生產(chǎn)提效。從整個(gè)漫劇制作鏈路來(lái)看，我們將騰訊云音視頻的原子能力深度嵌入到工作流環(huán)節(jié)中。比如從劇本生成、角色庫(kù)搭建、分鏡生成，到分鏡轉(zhuǎn)動(dòng)畫，我們提供AI配音、智能字幕、視頻后處理的轉(zhuǎn)碼和增強(qiáng)能力，相當(dāng)于是每個(gè)環(huán)節(jié)都會(huì)有相應(yīng)的AI技術(shù)支撐。

在AIGC生成環(huán)節(jié)，行業(yè)頭部AI模型統(tǒng)一接入。以混元大模型為基礎(chǔ)，同時(shí)兼容多家頭部AIGC模型能力，提供多樣化模型服務(wù)不同畫風(fēng)、業(yè)務(wù)、場(chǎng)景的需求。包括文生圖、圖生圖、文生視頻、圖生視頻生成式AI的能力，滿足角色圖、分鏡圖以及后續(xù)的視頻生成。

通過(guò)騰訊云的能力，可以實(shí)現(xiàn)底層能力的平滑遷移以及動(dòng)態(tài)升級(jí)。

漫劇垂直場(chǎng)景下，我們可以做一些場(chǎng)景化的調(diào)優(yōu)，比如場(chǎng)景化的模板，幫助創(chuàng)作者快速生產(chǎn)及漫劇轉(zhuǎn)繪。

這里有一些簡(jiǎn)單的示例，這里我們也是把很多AI技術(shù)能力做整合，包括智能場(chǎng)景分鏡識(shí)別、切分，角色識(shí)別、風(fēng)格遷移等等能力，快速產(chǎn)出和原始視頻音畫同步的動(dòng)畫視頻。從風(fēng)格來(lái)說(shuō)，如果已經(jīng)有一些成熟的真人短劇素材，可以快速產(chǎn)出一個(gè)高質(zhì)量的動(dòng)漫版本的視頻。

在一站式調(diào)用AIGC模型生成出大量素材之后，結(jié)合媒體處理能力來(lái)覆蓋整個(gè)內(nèi)容制作全流程，比如說(shuō)音視頻增強(qiáng)能力結(jié)合細(xì)節(jié)增強(qiáng)、超分、視頻插幀，還有一些大模型增強(qiáng)的能力，當(dāng)然，我們直出4K、60幀的視頻，讓AI生成的內(nèi)容可以滿足一些頂級(jí)素材的要求。再結(jié)合媒體智能里的AI配音、智能字幕生成，以及水印去除等能力實(shí)現(xiàn)全鏈路AI處理。

我接下來(lái)重點(diǎn)介紹媒體處理漫劇生產(chǎn)的三個(gè)降本增效方案：

第一，在處理漫劇前期素材時(shí)，無(wú)論是宮格分鏡圖還是傳統(tǒng)分鏡圖，或者人工拆圖的方式都比較耗時(shí)，成本比較高。我們結(jié)合拆圖能力，可以一鍵拆成想要的任意單圖，同時(shí)疊加質(zhì)量修圖能力，對(duì)于分鏡圖中模糊場(chǎng)景自動(dòng)增強(qiáng)，人臉細(xì)節(jié)會(huì)更加清晰，對(duì)于分鏡中的水印和純色邊界都可以處理。相對(duì)于傳統(tǒng)方式，可以降本增效。

第二個(gè)方案是AIGC結(jié)合超分技術(shù)做的生產(chǎn)降本。如果想要生成更高的分辨率，算力成本會(huì)對(duì)應(yīng)增加，推理時(shí)間增長(zhǎng)。如果結(jié)合媒體處理的分辨率技術(shù)實(shí)現(xiàn)降本增效，可以先生成一個(gè)低分辨率，結(jié)合綜合增強(qiáng)降噪能力轉(zhuǎn)碼為高品質(zhì)視頻，比直接生成一個(gè)720P或者1080P視頻的降本增效更加明顯。

第三個(gè)方案是騰訊云自研的大模型修復(fù)，在一些復(fù)雜場(chǎng)景、精細(xì)元素構(gòu)建中出現(xiàn)崩壞、抖動(dòng)，或者光影色彩異常等問(wèn)題，結(jié)合AIGC修復(fù)大模型，通過(guò)自研的多幀DIT大模型訓(xùn)練，優(yōu)化細(xì)節(jié)抖動(dòng)、崩壞的區(qū)域修復(fù)。

通過(guò)多模態(tài)語(yǔ)義和像素級(jí)智能重建技術(shù)，生成過(guò)程中幀的過(guò)渡會(huì)更加自然，修復(fù)后的畫面整體連貫性明顯提升，這樣可以適用于一些影視劇、短劇、漫劇等高價(jià)值場(chǎng)景。

音頻字幕方面，我們支持豐富的人物音色、語(yǔ)調(diào)、情感和多語(yǔ)言輸出，同時(shí)附有字幕擦除、提取和翻譯功能。

為了方便開(kāi)發(fā)者，我們也跟閱文的漫劇助手聯(lián)動(dòng)，提供專業(yè)的漫劇SaaS平臺(tái)，開(kāi)箱即用。

這里也簡(jiǎn)單介紹一下閱文的漫劇助手，不僅提供海量正版閱文IP授權(quán)，還結(jié)合一站式漫劇工作流，還有自定義內(nèi)容資產(chǎn)庫(kù)，輔助IP從劇本到分鏡頭、整體視頻的全流程創(chuàng)作。

第二板塊，聚焦宣發(fā)運(yùn)營(yíng)時(shí)，多模態(tài)營(yíng)銷素材的生和海量劇集高效宣發(fā)的需求。

我們?cè)诋a(chǎn)出大量?jī)?nèi)容素材后，需要進(jìn)行高效分發(fā)。在分發(fā)環(huán)節(jié)時(shí)，需要極速高清轉(zhuǎn)碼的能力，結(jié)合像智能場(chǎng)景的識(shí)別，動(dòng)態(tài)編碼匹配，還有像畫質(zhì)增強(qiáng)等處理能力和視頻編碼內(nèi)核能力，使得視頻在保持畫質(zhì)更優(yōu)的情況下，大幅降低視頻碼率，從而降低媒資、存儲(chǔ)分發(fā)的成本。

這是我們比較領(lǐng)先的內(nèi)核能力，支持所有主流視頻編解碼標(biāo)準(zhǔn)，在近幾年的MSU視頻編解碼大賽都是屬于全球領(lǐng)先的第一梯隊(duì)位置。

第二點(diǎn)是漫劇生產(chǎn)過(guò)程中，想要工業(yè)化發(fā)展時(shí)，質(zhì)量監(jiān)控也是個(gè)重要環(huán)節(jié)。我們提供音視頻全流程質(zhì)檢能力，從格式檢測(cè)到內(nèi)容畫面檢測(cè)，比如你的畫面中是否有模糊、低光照，或者花屏等問(wèn)題，以綜合性的主觀畫質(zhì)評(píng)分，通過(guò)這種全流程質(zhì)量監(jiān)控體系可以保證從海量素材中找出高質(zhì)素材，保證輸出的每一集劇集都是高質(zhì)量作品。

接下來(lái)就是我們有一些媒體AI的工具來(lái)助力我們做一些營(yíng)銷素材的加工，包括像一些智能的擦除，然后視頻的拆條，精彩集錦等這些媒體AI處理的一些能力，它主要是依托一些多模態(tài)的大模型來(lái)實(shí)現(xiàn)多場(chǎng)景視頻智能處理，從而提升我們內(nèi)容生產(chǎn)的效率和質(zhì)量。

比如擦除功能，是我們目前比較領(lǐng)先的能力。基于自研的一些多模態(tài)視覺(jué)大模型，實(shí)現(xiàn)字幕、水印自動(dòng)的無(wú)痕擦除。

對(duì)于一些比較復(fù)雜的場(chǎng)景，像半透明文字、花字、復(fù)雜視頻，即便背景紋理比較復(fù)雜，也可以做相應(yīng)的處理。

還有高光集錦生成，都可以幫助大家快速制作宣發(fā)物料。比如高光集錦，通過(guò)大模型對(duì)整個(gè)視頻理解定義一些提示詞，提取出主角出場(chǎng)時(shí)刻你想要的精彩片段。AI解說(shuō)劇也可以通過(guò)你輸入一個(gè)原始視頻，不需要再做其他處理，就能自動(dòng)生成一個(gè)全新的解說(shuō)版本視頻。

還有像橫轉(zhuǎn)豎、豎轉(zhuǎn)橫的能力，是為了靈活復(fù)用一些已有的素材，比如已有的橫屏視頻，想要在移動(dòng)互聯(lián)網(wǎng)端再分發(fā)一次，我們也支持AIGC生成式的橫轉(zhuǎn)豎，或者豎轉(zhuǎn)橫。它可以自動(dòng)地識(shí)別畫面布局和人物構(gòu)圖等，增加整體劇情連貫性和視覺(jué)畫面完整性。

通過(guò)這種方式也是能夠靈活的復(fù)用已有的內(nèi)容，降低一些重新制作的成本。

第三部分主要是簡(jiǎn)單介紹下我們音視頻PaaS矩陣。

我們音視頻能力具備大規(guī)模分發(fā)網(wǎng)絡(luò)，領(lǐng)先視頻編解碼內(nèi)核的能力，以及一些深厚AI算法儲(chǔ)備，提供低延時(shí)超高清的一站式音視頻解決方案，滿足不同企業(yè)在不同場(chǎng)景下的音視頻需求。

像目前我們大部分頭部客戶已經(jīng)通過(guò)騰訊云的音頻方案制作內(nèi)容，我們也期待音頻技術(shù)的驅(qū)動(dòng)實(shí)現(xiàn)效率的革新。

時(shí)間有限，我講得可能稍微有些倉(cāng)促，如果大家對(duì)我們產(chǎn)品或技術(shù)有興趣，歡迎線下交流！

了解短劇，請(qǐng)關(guān)注新腕兒。

加入新腕兒社群請(qǐng)掃碼。