近日，上海人工智能實驗室與復旦大學聯(lián)合培養(yǎng)博士生馬煒杰，在《Nature》（《自然》）雜志發(fā)表其歷時兩年打磨的裸眼3D技術(shù)研究成果——新一代裸眼3D顯示系統(tǒng)書生·瞳真EyeReal。該成果利用AI技術(shù)首次實現(xiàn)桌面級顯示尺寸下超寬范圍的全視差裸眼3D顯示。

26歲的馬煒杰日前在接受澎湃科技專訪時形容自己是反常規(guī)的“掉隊”學生，但正是這樣的經(jīng)歷給了他審視自我、辨識方向的契機，能夠沉下心來純粹做事。當肯下“笨功夫”的年輕人，扎根于鼓勵創(chuàng)新的科研“沃土”，一顆看似微小的科研種子，便有了生根發(fā)芽的底氣，最終結(jié)出《Nature》期刊上令人矚目的科研果實。

裸眼3D顯示。AI驅(qū)動實現(xiàn)眼睛到哪里，信息就跟到哪里。

AI助力“魚和熊掌”兼得

和VR/AR設備相比，裸眼3D技術(shù)徹底“去設備化”，更適合長時間舒適自然地觀看與交互。數(shù)字全息顯示可提供極高的視角和畫質(zhì)，但不得不壓縮顯示尺寸至指甲蓋大小，而裸眼3D顯示則可以更大尺寸提供3D觀感。

但受限于物理光學中“空間帶寬積”這一極其有限的“光學信息預算”，馬煒杰介紹，傳統(tǒng)裸眼3D顯示技術(shù)只能以靜態(tài)方式將有限信息量均勻分配至所有可視角度，難以兼顧大尺寸、寬角度和視覺連續(xù)性這個“不可能三角”，導致要么犧牲尺寸，要么犧牲視角，要么犧牲連續(xù)性，三種方案都無法獲得舒適的3D觀感。

“在現(xiàn)有物理約束下，要實現(xiàn)大尺寸、寬角度和視覺連續(xù)性，就得利用AI實時優(yōu)化?！睘榇耍岢鲆环N動態(tài)最優(yōu)利用有限信息預算的主動式解決方案，在不增加硬件成本的情況下，通過AI驅(qū)動引擎，將全部信息量實時聚焦于觀看者視線落點。深度學習算法在毫秒級時間內(nèi)實時計算出人眼在每一個觀察方向的最佳顯示方案，實現(xiàn)眼睛到哪里，信息就跟到哪里。

該成果因此突破了既往技術(shù)中的權(quán)衡關(guān)系，讓大尺寸畫面和超寬的自由連續(xù)觀看范圍可以共存。在完全兼容消費級液晶面板、無需復雜光學元件或特制硬件情況下，實現(xiàn)了桌面級顯示尺寸內(nèi)超100度超寬視場角，包含水平、垂直等全部視差類型的實時三維顯示，也從根本上避免了傳統(tǒng)3D顯示常見的因瞳距失配而產(chǎn)生的眩暈不適感，做到“魚和熊掌”兼得。

EyeReal提供了一種更高效、自然的人機協(xié)同模式，有望加速科學發(fā)現(xiàn)進程。上海人工智能實驗室青年科學家白磊介紹，“EyeReal是一種光學信息運用全新范式，它不僅為全新的探索工具提供技術(shù)基礎(chǔ)，使科學研究者得以用更直觀、沉浸式的方式進行數(shù)據(jù)交互，從而實現(xiàn)更高效、更自然的人機協(xié)同；同時，通過探索提升光場信息利用效率的新路徑，可幫助大模型更精準地捕捉、理解和模擬現(xiàn)實世界中復雜的物理現(xiàn)象，從而推動AI4S大模型向真實物理世界的全面融合邁進。”

此外，《Nature》稱，該技術(shù)亦有望在教育工具、虛擬現(xiàn)實等領(lǐng)域開拓創(chuàng)新應用。

“掉隊”學生的逆襲

“做這個課題是純粹的興趣驅(qū)動，換句話說，如果沒有這樣的出發(fā)點，我是堅持不下來的，因為這非常難?！睆奶远制骷?、擰每一顆螺絲，搭建出實驗原型，到打磨出最終的論文，馬煒杰心無旁騖地一頭扎進研究，一做就是兩年。

他形容自己是一個“反常規(guī)”的學生，喜歡嘗試新領(lǐng)域，不追求論文高產(chǎn)，始終關(guān)注探索人工智能賦能多元領(lǐng)域的應用可能。從早期在機器人領(lǐng)域奪得世界冠軍，到隨后將探索觸角延伸至智慧醫(yī)療與交通等多個應用場景，在加入上海人工智能實驗室聯(lián)培博士專項后，他開始主攻交叉綜合的裸眼3D顯示技術(shù)領(lǐng)域，有志挑戰(zhàn)傳統(tǒng)難題。

有時候，一個領(lǐng)域的“不可能”是另一個領(lǐng)域的“常識”。正是這些多樣化的跨領(lǐng)域?qū)嵺`，讓他構(gòu)建了扎實的能力基礎(chǔ)、培養(yǎng)了他的“交叉思維”，進而想到了用AI計算主動管理信息預算的思路解決傳統(tǒng)裸眼3D顯示技術(shù)“不可能三角”這一難題。從0到1的研究意味著沒有現(xiàn)成路徑可循，研究者只能硬著頭皮從頭探索?！爱敃r實驗室的導師鼓勵我不要以論文為導向，專心做科研更有意義。導師還告訴我，在這條技術(shù)路線上，我就是一個先行者，沒有先例可以參考，實驗室可以為我提供支持，但落地必須靠自己?！?/p>

“許多優(yōu)秀的同學在讀博之前就已經(jīng)有很多論文加身了，而我走的路比較反常規(guī)，一直在探尋自己想要挑戰(zhàn)的方向，這一點上來看可以說已經(jīng) ‘掉隊’了。但也正因如此，我反而更能沉下心來，純粹地把事情做好。”兩年“真空期”里，他只做兩件事：革新技術(shù)、打磨結(jié)果。

“在AI圈子里，一般有主結(jié)果出來一兩個月內(nèi)就會形成一篇會議投稿文章，相比之下用一兩年時間去打磨一篇論文顯得天方夜譚?！北M管已經(jīng)得出了定性結(jié)果，但若要將文章真正做扎實、做透徹，仍需持續(xù)投入時間深入打磨。AI領(lǐng)域熱點迭代頻繁，在追求“短平快”的學術(shù)氛圍中，盡快發(fā)表初步成果是多數(shù)人的選擇，但在他看來，扎實推敲的工作從不會缺價值認可的機會。

上海人工智能實驗室與復旦大學聯(lián)合培養(yǎng)博士生馬煒杰。

創(chuàng)新的土壤

馬煒杰于2024年加入上海人工智能實驗室聯(lián)培博士專項。據(jù)悉，上海人工智能實驗室于2022年正式啟動這一專項，依托高校培養(yǎng)優(yōu)勢和實驗室世界級科研平臺，讓優(yōu)秀青年在頂尖科學家的指導下挑戰(zhàn)前沿難題、參與重大科研項目，目前已吸引近800名來自全國頂尖學府的優(yōu)秀學子加入。

除了聯(lián)培博士專項，上海人工智能實驗室還創(chuàng)新性地提出“三梯合一”發(fā)展通道、“奧斯卡”式激勵等人才機制，鼓勵青年人才挑大梁、助力青年人才實現(xiàn)多維價值。這些不到30歲的青年科研人員已經(jīng)是實驗室的中流砥柱，正以年輕人的活力和智慧成就人工智能年輕的事業(yè)。

同時，上海人工智能實驗室通過構(gòu)建浦江科學社區(qū)，廣泛鏈接國內(nèi)外優(yōu)秀科研團隊和人才，鼓勵有志于挑戰(zhàn)科學邊界的科學家發(fā)現(xiàn)問題、提出問題，并結(jié)合“AGI4S攀登者行動計劃”等扶持機制，讓突破性技術(shù)從實驗室走向更廣闊的世界舞臺。

正是在這樣的環(huán)境下，“天才”的想法有了生根發(fā)芽、開花結(jié)果的機會。

談及未來，馬煒杰表示，“畢業(yè)后將繼續(xù)打磨裸眼3D顯示技術(shù)，進一步優(yōu)化算法、提高顯示質(zhì)量，并嘗試將其投入實際應用?！彼谕磥淼穆阊?D顯示能成為一扇“數(shù)字任意門”——關(guān)機時便是一塊普通的透明玻璃，一旦開啟就變成一個通往數(shù)字世界的深邃窗口，變革人機交互方式?！霸谶@個窗口里，無論是人還是物，都具備真實的體積感和光影，交互自然流暢，徹底模糊虛擬與現(xiàn)實的邊界?！?/p>