本期為TechBeat人工智能社區(qū)第727期線上Talk。

北京時(shí)間11月19日(周三) 20:00，香港科技大學(xué)（廣州）博士生盧云帆的Talk將準(zhǔn)時(shí)在TechBeat人工智能社區(qū)開播！

他與大家分享的主題是:基于事件相機(jī)的成像 - 重塑視覺的時(shí)空、動(dòng)態(tài)與色彩，屆時(shí)他將介紹基于事件成像的最新研究，展示如何在空間、時(shí)間、動(dòng)態(tài)范圍與色彩維度重建視覺。

Talk·信息

主題：基于事件相機(jī)的成像 - 重塑視覺的時(shí)空、動(dòng)態(tài)與色彩

嘉賓：香港科技大學(xué)（廣州） · 博士生 - 盧云帆

時(shí)間：北京時(shí)間11月19日(周三) 20:00

地點(diǎn)：TechBeat人工智能社區(qū)

http://www.techbeat.net/

Talk·介紹

傳統(tǒng)相機(jī)受限于帶寬、延時(shí)和動(dòng)態(tài)范圍，難以同時(shí)捕獲高速與高動(dòng)態(tài)范圍的視覺信息。事件相機(jī)以微秒級(jí)響應(yīng)突破這些限制，使視覺系統(tǒng)具備類生物感知能力。本報(bào)告將介紹基于事件成像的最新研究，展示如何在空間、時(shí)間、動(dòng)態(tài)范圍與色彩維度重建視覺。

Talk大綱

1. 背景與動(dòng)機(jī)

- 回顧傳統(tǒng)相機(jī)的發(fā)展歷程，從化學(xué)攝影、數(shù)碼相機(jī)到智能成像。

- 分析傳統(tǒng)成像的三大瓶頸：帶寬-延遲權(quán)衡、有限動(dòng)態(tài)范圍與時(shí)空分辨率不足。

- 介紹事件相機(jī)的核心優(yōu)勢(shì)：高動(dòng)態(tài)范圍（>120 dB）、微秒級(jí)時(shí)間分辨率、低功耗。

- 引出研究問題：在人工智能時(shí)代，成像系統(tǒng)的下一步是什么？

2. 動(dòng)態(tài)范圍相關(guān)研究（SEE-600K Dataset & SEE-Net）

- 介紹極端光照條件下傳統(tǒng)相機(jī)自動(dòng)曝光（AE）失敗的問題。

- 提出事件驅(qū)動(dòng)的自適應(yīng)亮度調(diào)節(jié)模型 SEE-Net，實(shí)現(xiàn)“亮度可控”的重建。

- 介紹基于機(jī)械臂與ND濾光片的多亮度同步采集系統(tǒng)，以及 SEE-600K 數(shù)據(jù)集的構(gòu)建。

- 展示 SEE-Net 在寬光照范圍下的圖像重建結(jié)果及連續(xù)亮度控制實(shí)驗(yàn)。

3. 時(shí)間與空間相關(guān)研究（HR-INR Framework）

- 探討事件流在時(shí)空連續(xù)建模中的優(yōu)勢(shì)：可同時(shí)捕獲短時(shí)瞬態(tài)與長(zhǎng)時(shí)動(dòng)態(tài)。

- 提出基于時(shí)序金字塔表示（TPR）與隱式神經(jīng)表示（INR）的 HR-INR 框架。

- 詳細(xì)介紹模型的三大模塊：時(shí)序金字塔編碼、事件-多幀特征融合、連續(xù)時(shí)空解碼。

- 展示模型在視頻超分辨、插幀、去模糊及滾動(dòng)快門校正中的實(shí)驗(yàn)成果。

4. 顏色相關(guān)研究（RGB-Event ISP Dataset & Event-guided ISP）

- 分析事件與幀信號(hào)在時(shí)空與色彩上的互補(bǔ)性，以及混合傳感器的興起趨勢(shì)。

- 提出首個(gè)真實(shí) RGB-Event ISP 數(shù)據(jù)集，基于 HVS-Eiger 混合傳感器采集。

- 構(gòu)建可控的 ISP 處理流程（去噪、白平衡、去馬賽克、色彩校正與伽馬編碼）。

- 研究事件引導(dǎo)的 ISP 重建模型，實(shí)現(xiàn)更高的色彩還原度與時(shí)間一致性。

5. 總結(jié)與展望

- 概括事件成像在空間、時(shí)間、動(dòng)態(tài)范圍與色彩四個(gè)維度的重建能力。

- 展望未來：面向低功耗、全時(shí)域、高動(dòng)態(tài)、高保真的視覺系統(tǒng)。

Talk·預(yù)習(xí)資料

論文鏈接： https://arxiv.org/pdf/ 2502.21120

論文鏈接： https://arxiv.org/abs/ 2405.13389

論文鏈接： https://arxiv.org/abs/2501.19129

Talk·提問交流

在Talk界面下的【交流區(qū)】參與互動(dòng)！留下你的打call和問題，和更多小伙伴們共同討論，被講者直接翻牌解答！

你的每一次貢獻(xiàn)，我們都會(huì)給予你相應(yīng)的i豆積分，還會(huì)有驚喜獎(jiǎng)勵(lì)哦！

Talk·嘉賓介紹

盧云帆???????????

香港科技大學(xué)（廣州） · 博士生
???

盧云帆，現(xiàn)為香港科技大學(xué)（廣州）博士研究生，師從熊輝教授 (Fellow of AAAS, AAAI and IEEE)；也是蘇黎世大學(xué)機(jī)器人與感知組（Robotics and Perception Group）的訪問學(xué)者，由 Davide Scaramuzza 教授指導(dǎo)。其主要研究方向?yàn)槭录鄼C(jī)視覺、計(jì)算成像以及混合傳感器圖像信號(hào)處理。

盧云帆的研究聚焦于高動(dòng)態(tài)范圍、低照度增強(qiáng)、去模糊、幀插值、滾動(dòng)快門校正與超分辨率等關(guān)鍵問題，旨在構(gòu)建兼具生物視覺感知能力與高效計(jì)算性能的下一代智能成像系統(tǒng)。他主導(dǎo)構(gòu)建并公開了多個(gè)大規(guī)模事件視覺數(shù)據(jù)集，包括 SEE-600K 數(shù)據(jù)集、SDE 數(shù)據(jù)集與 RGB-Event ISP 數(shù)據(jù)集，為事件相機(jī)與混合傳感器成像研究提供了重要的數(shù)據(jù)基礎(chǔ)。其長(zhǎng)期目標(biāo)是通過融合光學(xué)結(jié)構(gòu)設(shè)計(jì)、傳感器建模與智能成像算法，推動(dòng)事件視覺技術(shù)在機(jī)器人視覺、移動(dòng)終端及自主系統(tǒng)中的應(yīng)用與發(fā)展。 其研究成果已發(fā)表于國(guó)際頂級(jí)學(xué)術(shù)期刊和會(huì)議，包括 IEEE TPAMI、IJCV、IEEE TVCG、ICLR、CVPR、ECCV 等。

盧云帆還擔(dān)任多項(xiàng)國(guó)際權(quán)威期刊與會(huì)議的審稿人，包括 TPAMI、TOG、IJCV、 ICLR、CVPR、ECCV 等。2024 年，因其在期刊審稿中的出色表現(xiàn)，獲 IEEE TPAMI 編輯部特別致謝。

個(gè)人主頁(yè): https://www.techbeat.net/grzytrkj?id=920 ????

-The End-

如果你也想成為講者

自薦 / 推薦

單人Talk | 團(tuán)隊(duì)專場(chǎng) | 錄播or直播 | 閉門交流

多種方式任你選擇！

推薦講者成功也有獎(jiǎng)勵(lì)哦~

關(guān)于TechBeat人工智能社區(qū)

TechBeat(www.techbeat.net)隸屬于將門創(chuàng)投，是一個(gè)薈聚全球華人AI精英的成長(zhǎng)社區(qū)。

我們希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其學(xué)習(xí)成長(zhǎng)。

期待這里可以成為你學(xué)習(xí)AI前沿知識(shí)的高地，分享自己最新工作的沃土，在AI進(jìn)階之路上的升級(jí)打怪的根據(jù)地！

更多詳細(xì)介紹>>

預(yù)約本期Talk