無需眼鏡的三維(3D)顯示技術,也稱為自動立體顯示,能夠為用戶提供沉浸式視覺體驗而無需佩戴任何設備,被視為實現“終極顯示”愿景的關鍵路徑。然而,實現高質量3D成像一直受限于光學系統(tǒng)的空間帶寬積(SBP),該物理量描述了空間分辨率與角多樣性之間的固有耦合關系,并受拉格朗日不變量的約束。傳統(tǒng)的3D顯示方法主要分為全息顯示和自動多視點顯示兩大類:前者能在厘米級尺度上實現精確光場控制,但顯示尺寸過小,不適用于自然觀看;后者可擴展至桌面級尺寸,但視角有限或只能提供預設視點,犧牲了視角的連續(xù)性和適應性。盡管近年來人工智能技術的引入在一定程度上緩解了這些限制,但它們仍受限于固定的SBP,無法同時實現大尺寸顯示和寬視角。因此,如何在有限的SBP下實現大尺度、寬視角、全視差的3D顯示,仍是當前領域面臨的核心挑戰(zhàn)。
![]()
鐘翰森(1995年-),中國科技大學博士,潘建偉院士團隊核心成員,主要從事光量子計算研究。上海奇算光啟信息技術有限公司的創(chuàng)始人,上海量子科學研究中心/上海人工智能實驗室研究員,上海創(chuàng)智學院的全時導師 。作為“九章”系列量子計算原型機論文的第一作者,他主導了光量子計算原型機的研發(fā)工作,實現了12光子糾纏等多項世界級科研成果。其參與的“九章二號”原型機在2021年以113個光子創(chuàng)下量子計算優(yōu)越性新紀錄。2024年,他因在量子計算領域的突出貢獻獲得青橙獎“最具潛力獎”。2025年5月23日,入選2024年度《麻省理工科技評論》“35歲以下科技創(chuàng)新35人”中國區(qū)名單。
鑒于此,上海人工智能實驗室鐘翰森研究員與歐陽萬里教授提出了一種名為EyeReal的新型無需眼鏡3D顯示系統(tǒng),通過深度學習實時優(yōu)化有限的SBP,首次實現了桌面顯示器尺度下的全視差3D顯示,并具備無縫的超寬視角范圍。該系統(tǒng)結合了精確的雙目視覺建模與深度學習實時優(yōu)化算法,能夠為每只眼睛生成最優(yōu)的光場輸出。EyeReal在低成本光場傳輸裝置上實現了超過100°的視角、1920 × 1080的空間分辨率以及50 Hz的刷新率。實驗表明,該系統(tǒng)不僅支持立體視差、運動視差和焦距視差,還能在任意雙目觀看位置下實時合成高質量光場,為教育工具、3D設計和虛擬現實等應用提供了潛在可能。相關研究成果以題為“Glasses-free 3D display with ultrawide viewing range using deep learning”發(fā)表在最新一期《nature》上,第一作者為復旦大學Weijie Ma。
![]()
【動態(tài)SBP利用:從靜態(tài)妥協(xié)到實時優(yōu)化】
傳統(tǒng)3D顯示系統(tǒng)對SBP的利用是被動和靜態(tài)的,導致在顯示尺寸、視角和視差完整性之間必須做出妥協(xié)。EyeReal通過實時優(yōu)化SBP的使用,將有限的光學信息集中在眼睛及其周圍區(qū)域,從而實現了在廣泛視角范圍內的高質量3D成像。根據傅里葉光學,SBP定義為系統(tǒng)信息容量,其數學表達式為 S= A δ x δ y =4A( t x, max , t y, max ) 。例如,一臺24英寸、1920 × 1080分辨率的顯示器在532 nm綠光波長下的視野角僅為約 0.1 ° × 0.1 ° ,而完整光場所需SBP高達565G,遠超當前顯示技術極限。EyeReal通過模擬人腦對視角切換的響應間隔,實時優(yōu)化雙目周圍的光信息流,從而在有限SBP下實現最優(yōu)顯示效果。
![]()
圖 1. 在有限 SBP 使用下,不同自立體模型與 EyeReal 顯示結果的示意比較
【光場生成:物理建模與神經網絡結合】
EyeReal采用多層液晶面板堆疊作為光場傳輸裝置,無需復雜定制光學元件。其光強輸出遵循馬呂斯定律,表示為 I= ? i∈[ F i ] ( I 0 (i) sin ? 2 ( ∑ d∈D ? d )) 。系統(tǒng)通過建立雙目相機模型,將光場與雙目成像平面對應,利用6D位姿矩陣實現幾何編碼(圖2a、d)。隨后,通過輕量級全卷積網絡將視網膜圖像分解為分層相位圖(圖2e),并結合結構化損失函數進行優(yōu)化,實現實時、高質量的光場合成。
![]()
圖 2. EyeReal 光場生成方法
【實驗結果:全視差3D顯示的有效性驗證】
EyeReal在多種場景下進行了全面評估。在計算機生成內容中,無論是物體級(擴展數據圖4a、b)還是場景級(圖3a)重建,均表現出高質量的立體輸出。真實場景捕捉結果(圖3b、擴展數據圖5a–d、6a–b)也驗證了其在不同尺度和光照條件下的魯棒性。系統(tǒng)在水平、垂直和徑向運動范圍內均能保持視圖一致性(圖3c),并支持焦距視差,在不同焦平面下呈現清晰的深度選擇性(圖3d)。物理設備測試中,左右眼視圖具有明顯視覺分離(圖3e),且在多維空間運動中保持穩(wěn)定性(圖3e右)。焦距評估顯示前景與背景可根據焦點位置清晰或模糊(圖3f),有效緩解了輻輳-調節(jié)沖突(VAC)。此外,動態(tài)內容實時渲染(補充視頻4)進一步展示了其在實際應用中的潛力。
![]()
圖 3. EyeReal 的全視差自動立體演示
【性能基準測試:局部與全局一致性優(yōu)勢】
與現代視圖分段自動立體顯示相比,EyeReal在雙目周圍區(qū)域提供了更廣的高質量視野(圖4a左)。視圖分段模型的有效視點范圍(<20 mm)甚至小于人眼直徑(約25 mm),且易因預設眼位與實際瞳距不匹配導致視覺失真。而EyeReal通過優(yōu)化眼睛周圍的光場生成,確保了廣域內的高質量一致性和運動容錯(圖4a右)。在視圖密集模型中,現有方法如基于非負張量分解的迭代視圖密集方法和神經視圖密集方法在近距離或斜向視角下泛化能力差(圖4c、d),而EyeReal憑借精確的物理建模在所有視野范圍內均表現優(yōu)異。此外,EyeReal的實時運行速度達50.2幀/秒,比現有方法快1–2個數量級(圖4e)。景深連續(xù)性評估顯示其在不同焦深下均具有平滑過渡和清晰峰值(圖4f)。任意視點性能的熱圖(圖4g)進一步證實了其在超100°視角和無縫運動范圍內的優(yōu)異表現。
![]()
圖 4. 對大型顯示中 EyeReal 和被動 SBP 利用模型的多層次一致性能評估
【總結與展望:動態(tài)SBP利用開啟自然3D顯示新途徑】
EyeReal通過將物理原理與AI驅動的數學模型相結合,實現了對有限SBP的動態(tài)優(yōu)化利用,首次在大尺度、實時、超寬視角的無需眼鏡3D顯示方面取得了突破。該系統(tǒng)不僅解決了傳統(tǒng)顯示中圖像尺度與視角之間的根本矛盾,還通過低成本硬件和消費級組件展示了實際應用的可行性。未來,通過集成時間復用、定向背光等技術,EyeReal有望擴展至多用戶場景。此外,其動態(tài)SBP利用策略也有潛力應用于其他光場顯示技術,如大規(guī)模可更新全息顯示,為實現真正自然的無需眼鏡3D顯示開辟了新的技術路徑。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.