首页  技术文章  博览:2021 SIGGRAPH ASIA 神经三维全息

博览:2021 SIGGRAPH ASIA 神经三维全息

发布时间:2022-04-08 14:42:49 浏览量:1933 作者:LY.Young 光学前沿

摘要

AR/VR系统给予用户以前所未有的体验,但是当前AR/VR的光引擎受限于峰值亮度、电源效率、设备外形尺寸、视觉上地聚焦诱导、像差校正能力等因素。全息近眼显示能够解决上述多种问题,并且可以唯一的使用单个空间光调制器(spatial light modulator,SLM)和相干光源,合成三维强度分布。

正文


博览:2021 SIGGRAPH ASIA 神经三维全息


技术背

AR/VR系统给予用户以前所未有的体验,但是当前AR/VR的光引擎受限于峰值亮度、电源效率、设备外形尺寸、视觉上地聚焦诱导、像差校正能力等因素。全息近眼显示能够解决上述多种问题,并且可以唯一的使用单个空间光调制(spatial light modulator,SLM)和相干光源,合成三维强度分布。

尽管全息的基本原理已经在70多年前就已经被提了出来,但是高质量的全息图获取在21世纪初才实现。使用SLM生成高质量的数字全息图的主要挑战在于计算生成全息(computer generated holography,CGH)的算法。传统的CGH算法依赖于不足以准确描述近眼显示物理光学的波传播模型,因此严重限制了能够获得的图像质量。直到最近(2018年开始),基于机器学习的全息波传播模型提出,能够相对的改善图像质量。这些工作主要分为三类:第一类,将从SLM到目标图像的前向传播通过网络参数化,学习光学像差、物理光学和传输模型之间的差异,从而使得传播模型更准确,但是相比传统的方法不一定有速度优势;第二类,使用“逆”网络学习从图像平面到SLM的映射关系,从而可以从目标图像直接得到相位调制SLM的调制模式,且无需迭代优化,但是其图像质量在根本上受限于前向波传播模型;第三类,将网络参数化前向模型与逆网络结合,但是只限制在二维的平面到平面的传播。


当前不足:

受限于仿真物理光学的波传播模型,当前的全息显示图像质量不佳。


文章创新点:

基于此,斯坦福大学的Suyeon Choi和Gordon Wetzstein等人提出一种神经网络参数化的平面到平面(或多平面)波传播模型,用于替代传统的波传播模型,可以减小真实物理光学响应与仿真之间的差异。


原理解析:

整个波传播模型简单概括为神经网络到衍射传播到神经网络。如图1所示,第一个神经网络将入射到SLM上的复数场分解为实数域和虚数域两个通道,网络输出为SLM平面将出射的复数场(以实数和虚数两个通道输出),从而校正SLM的非线性、空间变化的光源强度、光学像差等其它不良因素。SLM平面经调校的出射场使用角谱法传播到一个或多个目标平面。在获得目标平面的光场强度之前,先将角谱法所得复数场再次拆分为实数和虚数部分输入第二个神经网络处理,其输出也为实数和虚数部分的双通道输出。这里所用网络为UNet架构。


(1)传统全息波传播使用角谱传播来描述。求解目标图像到SLM上相位分布的逆问题可以归结为:

s是固定或可学习的放缩参数,fASM代表角谱传播,atarget是目标图像。


(2)将本文训练得到的复合模型替代角谱法,用于求解SLM上相位分布。模型描述为:

即,实际使用时用fCNNpropCNN替代(1)里的fASM。


实验效果:

(1) 应用于二维图像

(2) 应用于三维图像


附录:

(1)VR全息显示原型。


(2)光透射式AR显示原型。


(3) 算法流程。


参考文献:S. Choi, M. Gopakumar, Y. Peng, J. Kim, G. Wetzstein, Neural 3D Holography: Learning Accurate Wave propagation models for 3D Holographic Virtual and Augmented Reality DISPlays (SIGGRAPH Asia), 2021


关于昊量光电:

上海昊量光电设备有限公司是国内知名光电产品专业代理商,代理品牌均处于相关领域的发展前沿;产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等,涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等优质服务。

 

您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。

 

本文章经光学前沿授权转载,商业转载请联系获得授权。