北京時間11月27日，上海人工智能實驗室/香港中文大學(xué)歐陽萬里、上海人工智能實驗室鐘翰森為共同通訊作者在全球頂級期刊《Nature》上發(fā)表題為“Glasses-free 3D display with ultrawide viewing range using deep learning”的研究論文。復(fù)旦大學(xué)/上海人工智能實驗室二年級博士研究生馬煒杰為本文第一作者。

上海人工智能實驗室鐘翰森研究員與歐陽萬里教授提出了一種名為EyeReal的新型無需眼鏡3D顯示系統(tǒng)，通過深度學(xué)習(xí)實時優(yōu)化有限的SBP，首次實現(xiàn)了桌面顯示器尺度下的全視差3D顯示，并具備無縫的超寬視角范圍。該系統(tǒng)結(jié)合了精確的雙目視覺建模與深度學(xué)習(xí)實時優(yōu)化算法，能夠為每只眼睛生成最優(yōu)的光場輸出。EyeReal在低成本光場傳輸裝置上實現(xiàn)了超過100°的視角、1920 × 1080的空間分辨率以及50 Hz的刷新率。實驗表明，該系統(tǒng)不僅支持立體視差、運動視差和焦距視差，還能在任意雙目觀看位置下實時合成高質(zhì)量光場，為教育工具、3D設(shè)計和虛擬現(xiàn)實等應(yīng)用提供了潛在可能。

動態(tài)SBP利用：從靜態(tài)妥協(xié)到實時優(yōu)化

傳統(tǒng)3D顯示系統(tǒng)對SBP的利用是被動和靜態(tài)的，導(dǎo)致在顯示尺寸、視角和視差完整性之間必須做出妥協(xié)。EyeReal通過實時優(yōu)化SBP的使用，將有限的光學(xué)信息集中在眼睛及其周圍區(qū)域，從而實現(xiàn)了在廣泛視角范圍內(nèi)的高質(zhì)量3D成像。根據(jù)傅里葉光學(xué)，SBP定義為系統(tǒng)信息容量，其數(shù)學(xué)表達式為 S= A δ x δ y =4A( t x, max , t y, max ) 。例如，一臺24英寸、1920 × 1080分辨率的顯示器在532 nm綠光波長下的視野角僅為約 0.1 ° × 0.1 ° ，而完整光場所需SBP高達565G，遠超當(dāng)前顯示技術(shù)極限。EyeReal通過模擬人腦對視角切換的響應(yīng)間隔，實時優(yōu)化雙目周圍的光信息流，從而在有限SBP下實現(xiàn)最優(yōu)顯示效果。

圖 1. 在有限 SBP 使用下，不同自立體模型與 EyeReal 顯示結(jié)果的示意比較

光場生成：物理建模與神經(jīng)網(wǎng)絡(luò)結(jié)合

EyeReal采用多層液晶面板堆疊作為光場傳輸裝置，無需復(fù)雜定制光學(xué)元件。其光強輸出遵循馬呂斯定律，表示為 I= ? i∈[ F i ] ( I 0 (i) sin ? 2 ( ∑ d∈D ? d )) 。系統(tǒng)通過建立雙目相機模型，將光場與雙目成像平面對應(yīng)，利用6D位姿矩陣實現(xiàn)幾何編碼（圖2a、d）。隨后，通過輕量級全卷積網(wǎng)絡(luò)將視網(wǎng)膜圖像分解為分層相位圖（圖2e），并結(jié)合結(jié)構(gòu)化損失函數(shù)進行優(yōu)化，實現(xiàn)實時、高質(zhì)量的光場合成。

圖 2. EyeReal 光場生成方法

實驗結(jié)果：全視差3D顯示的有效性驗證

EyeReal在多種場景下進行了全面評估。在計算機生成內(nèi)容中，無論是物體級（擴展數(shù)據(jù)圖4a、b）還是場景級（圖3a）重建，均表現(xiàn)出高質(zhì)量的立體輸出。真實場景捕捉結(jié)果（圖3b、擴展數(shù)據(jù)圖5a–d、6a–b）也驗證了其在不同尺度和光照條件下的魯棒性。系統(tǒng)在水平、垂直和徑向運動范圍內(nèi)均能保持視圖一致性（圖3c），并支持焦距視差，在不同焦平面下呈現(xiàn)清晰的深度選擇性（圖3d）。物理設(shè)備測試中，左右眼視圖具有明顯視覺分離（圖3e），且在多維空間運動中保持穩(wěn)定性（圖3e右）。焦距評估顯示前景與背景可根據(jù)焦點位置清晰或模糊（圖3f），有效緩解了輻輳-調(diào)節(jié)沖突（VAC）。此外，動態(tài)內(nèi)容實時渲染（補充視頻4）進一步展示了其在實際應(yīng)用中的潛力。

圖 3. EyeReal 的全視差自動立體演示

性能基準(zhǔn)測試：局部與全局一致性優(yōu)勢

與現(xiàn)代視圖分段自動立體顯示相比，EyeReal在雙目周圍區(qū)域提供了更廣的高質(zhì)量視野（圖4a左）。視圖分段模型的有效視點范圍（<20 mm）甚至小于人眼直徑（約25 mm），且易因預(yù)設(shè)眼位與實際瞳距不匹配導(dǎo)致視覺失真。而EyeReal通過優(yōu)化眼睛周圍的光場生成，確保了廣域內(nèi)的高質(zhì)量一致性和運動容錯（圖4a右）。在視圖密集模型中，現(xiàn)有方法如基于非負張量分解的迭代視圖密集方法和神經(jīng)視圖密集方法在近距離或斜向視角下泛化能力差（圖4c、d），而EyeReal憑借精確的物理建模在所有視野范圍內(nèi)均表現(xiàn)優(yōu)異。此外，EyeReal的實時運行速度達50.2幀/秒，比現(xiàn)有方法快1–2個數(shù)量級（圖4e）。景深連續(xù)性評估顯示其在不同焦深下均具有平滑過渡和清晰峰值（圖4f）。任意視點性能的熱圖（圖4g）進一步證實了其在超100°視角和無縫運動范圍內(nèi)的優(yōu)異表現(xiàn)。

圖 4. 對大型顯示中 EyeReal 和被動 SBP 利用模型的多層次一致性能評估

總結(jié)與展望：動態(tài)SBP利用開啟自然3D顯示新途徑

EyeReal通過將物理原理與AI驅(qū)動的數(shù)學(xué)模型相結(jié)合，實現(xiàn)了對有限SBP的動態(tài)優(yōu)化利用，首次在大尺度、實時、超寬視角的無需眼鏡3D顯示方面取得了突破。該系統(tǒng)不僅解決了傳統(tǒng)顯示中圖像尺度與視角之間的根本矛盾，還通過低成本硬件和消費級組件展示了實際應(yīng)用的可行性。未來，通過集成時間復(fù)用、定向背光等技術(shù)，EyeReal有望擴展至多用戶場景。此外，其動態(tài)SBP利用策略也有潛力應(yīng)用于其他光場顯示技術(shù)，如大規(guī)?？筛氯@示，為實現(xiàn)真正自然的無需眼鏡3D顯示開辟了新的技術(shù)路徑。

馬煒杰簡介

馬煒杰，現(xiàn)為復(fù)旦大學(xué)計算與智能創(chuàng)新學(xué)院二年級博士。本科就讀于鄭州大學(xué)電子信息類中的通信工程專業(yè)，碩士就讀于香港中文大學(xué)（深圳）計算機與信息工程專業(yè)。

編輯、審核：吳佳陽

版權(quán)聲明：本文由“TOP大學(xué)來了”綜合自“復(fù)旦大學(xué)、Nature、高分子科學(xué)前沿”，文章轉(zhuǎn)摘只為學(xué)術(shù)傳播，如涉及侵權(quán)問題，請聯(lián)系我們，我們將及時修改或刪除。