本期為TechBeat人工智能社區(qū)第728期線(xiàn)上Talk。

北京時(shí)間11月20日(周四) 20:00，新加坡國(guó)立大學(xué)博士生祝澤宇的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開(kāi)播！

他與大家分享的主題是:攻克長(zhǎng)文檔與多模態(tài)挑戰(zhàn)，Paper2Video實(shí)現(xiàn)學(xué)術(shù)視頻的自動(dòng)化生產(chǎn)。屆時(shí)他將介紹Paper2Video基準(zhǔn)對(duì)學(xué)術(shù)展示視頻進(jìn)行評(píng)價(jià)，并提出一個(gè)多智能圖框架 PaperTalker，為實(shí)現(xiàn)自動(dòng)化和可用的學(xué)術(shù)視頻生成邁出切實(shí)可行的一步。

Talk·信息

主題：攻克長(zhǎng)文檔與多模態(tài)挑戰(zhàn)，Paper2Video實(shí)現(xiàn)學(xué)術(shù)視頻的自動(dòng)化生產(chǎn)

嘉賓：新加坡國(guó)立大學(xué) · 博士生 - 祝澤宇

時(shí)間：北京時(shí)間11月20日(周四) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

學(xué)術(shù)展示視頻作為科研交流的重要媒介，制作過(guò)程仍高度依賴(lài)人工，需要反復(fù)進(jìn)行幻燈片設(shè)計(jì)、逐頁(yè)錄制和后期剪輯，往往需要數(shù)小時(shí)才能產(chǎn)出幾分鐘的視頻，效率低下且成本高昂，這凸顯了推動(dòng)學(xué)術(shù)展示視頻自動(dòng)化生成的必要性。

然而，與自然視頻生成不同（如 Sora2、Veo3 等擴(kuò)散模型），學(xué)術(shù)展示視頻面臨以下獨(dú)特挑戰(zhàn)：

1. 長(zhǎng)文檔與高密度輸入 (Multi-modal Long-context Input): 來(lái)源于完整學(xué)術(shù)論文，包含大段專(zhuān)業(yè)文本、復(fù)雜公式、多幅圖表，遠(yuǎn)超自然視頻的輸入復(fù)雜度。

2. 多模態(tài)通道的協(xié)同生成 (Coordination of Multiple Aligned Channels): 需要同時(shí)生成并對(duì)齊幻燈片、字幕、語(yǔ)音、光標(biāo)軌跡與講者視頻，保證多模態(tài)之間的語(yǔ)義一致性與時(shí)序同步。

3. 缺乏專(zhuān)門(mén)的評(píng)價(jià)標(biāo)準(zhǔn) (Lacks Well-defined Evaluation Metrics): 現(xiàn)有視頻生成指標(biāo)主要關(guān)注畫(huà)面質(zhì)量或風(fēng)格一致性，難以衡量學(xué)術(shù)展示視頻在知識(shí)傳遞、受眾理解與學(xué)術(shù)可用性上的效果。

因此，現(xiàn)有自然視頻生成模型和簡(jiǎn)單的幻燈片 + 語(yǔ)音拼接方法難以勝任，亟需一個(gè)系統(tǒng)化的基準(zhǔn)和方法來(lái)推動(dòng)自動(dòng)化、可用的學(xué)術(shù)視頻生成。

為了解決以上挑戰(zhàn)，本次工作提出了 Paper2Video 基準(zhǔn)對(duì)學(xué)術(shù)展示視頻進(jìn)行評(píng)價(jià)，并提出一個(gè)多智能圖框架 PaperTalker，為實(shí)現(xiàn)自動(dòng)化和可用的學(xué)術(shù)視頻生成邁出切實(shí)可行的一步。

Talk大綱

1. 研究動(dòng)機(jī) - 自動(dòng)化和可用的學(xué)術(shù)視頻生成

2. 相關(guān)工作 - AI for Science

3. Paper2Video - Benchmark

4. PaperTalker - Method

5. 實(shí)驗(yàn)

6. 結(jié)論

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/abs/2510.05096 代碼鏈接： https://github.com/showlab/Paper2Video 項(xiàng)目主頁(yè)： https://showlab.github.io/Paper2Video/

Talk·提問(wèn)交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問(wèn)題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

祝澤宇???????????

新加坡國(guó)立大學(xué) · 博士生
???

祝澤宇是新加坡國(guó)立大學(xué)Show Lab的二年級(jí)博士研究生，本科畢業(yè)于西安交通大學(xué)錢(qián)學(xué)森班。研究方向是視頻生成與基于代理的人工智能系統(tǒng)的交叉領(lǐng)域。

他致力于開(kāi)發(fā)能夠自主創(chuàng)作視頻的智能系統(tǒng)，將人類(lèi)從繁瑣的工作中解放出來(lái)，并賦予他們可視化創(chuàng)意的能力。

研究方向以及代表工作:

? 視頻生成代理：Paper2Video、MovieAgent

? 以人為中心的視頻生成：Multi-human Interactive Talking Dataset

個(gè)人主頁(yè): https://www.techbeat.net/grzytrkj?id=45894 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專(zhuān)場(chǎng) | 錄播or直播 | 閉門(mén)交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門(mén)創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專(zhuān)業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在A(yíng)I進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk