首页  技术文章  神经全息,使用相机在环训练

神经全息,使用相机在环训练

发布时间:2022-04-07 14:00:34 浏览量:1344 作者:LY.Young 光学前沿

摘要

全息显示拥有前所未有的直视显示能力,适用于AR/VR应用(对于直视显示,全息支持AR/VR系统无眼镜三维显示模式。二维和三维全息有优化focus cues、vision correction、设备外形尺寸、图像分辨率、亮度、动态图像、eyebox steering capabilities的潜力)。然而,计算机生成全息(computer-generated holography, CGH)的一个主要挑战在于算法运行时间和可获得图像质量之间的权衡,这使得快速合成高质量全息图像在目前来讲还难以实现。除此之外,大多数全息显示的图像质量差,还在于显示的实际光波传输与仿真模型之间存在失配问题。

正文


神经全息,使用相机在环训练


技术背

全息显示拥有前所未有的直视显示能力,适用于AR/VR应用(对于直视显示,全息支持AR/VR系统无眼镜三维显示模式。二维和三维全息有优化focus cues、vision correction、设备外形尺寸、图像分辨率、亮度、动态图像、eyebox steering capabilities的潜力)。然而,计算机生成全息(computer-generated holography, CGH)的一个主要挑战在于算法运行时间和可获得图像质量之间的权衡,这使得快速合成高质量全息图像在目前来讲还难以实现。除此之外,大多数全息显示的图像质量差,还在于显示的实际光波传输与仿真模型之间存在失配问题。


技术要点:

基于此,斯坦福大学的Yifan Peng(一作)和Gordon Wetzstein(通讯)等提出了一种新的CGH框架,能产生前所未有的图像保真度和实时帧率。这个框架包含了:相机在环优化策略(直接优化或训练一个可解释的光波传输模型来生成全息图)、神经网络架构(第一个能实时生成1080p全彩高质量全息图像的CGH算法)。


(1)全息显示(所用空间光调制为相位型SLM)

相干光源产生的复值波场usrc(这个源场可以是平面波or球面波or高斯光束)入射到相位型SLM上,源场的相位以每SLM像素的方式延迟相位ϕ,场继续在自由空间或穿过某些光学元件传播到目标平面。用户或探测器可以在目标平面观察到场的强度。由SLM传输到目标平面的数学模型可以表示为:

ϕ就是需要求解值,可以用常用的相位复原法(如GS,Fienup法等)求解,也可以看作为一个优化问题求解

s是一个固定的或学习的scale factor。相位复原是找到一个相位函数ϕ,而(2)是一个非凸优化问题,具有无穷解,CGH可以选择无穷解中的任何一个,因为它们都可以在目标平面上产生相同的强度。作者发现求解(2)用Adam可以获得得最好得图像质量。

缺点:这里的仿真数学模型与真实的光波传播模型并不完全一致,因此,即使使用了Adam也会让全息图像质量存在不佳的问题,因而提出下述相机在环策略。


(2)使用光波传播的相机在环相位优化

设想直接用进行前向传播,然后求其梯度用于误差反向传播,这是不可能的,但是可以近似为:
启用PyTorch的autodiff,将相机采集到的图像送入损失函数,可以计算出。计算需要先将ϕ(k−1)送入,然后同时将它显示在SLM上,通过相机采集到|f(ϕ(k1))|2,autodiff追踪的梯度。使用梯度下降solver进行迭代求解:

式(3)和(4)就是相机在环全息图优化,传统的相位复原方法认为很接近,但是相机在环在前向传播和误差反向传播都包含了,近似程度要更高。


缺点:只使用相机在环优化,对于每一个目标图像都需要校正一次,每一次校正优化都需要几分钟。


(3)使用相机在环模型训练的全息图合成
将优化分成训练和推测,训练阶段需要相机在环,推测阶段可以不需要相机合成任意全息图。所要解决的优化问题变为:
其中波传播模型成为一个参数化的模型,将光源、系统的光学像差、SLM的相位非线性、以及SLM不完美的衍射效率产生的非衍射光考虑在内,形式为:
缺点:相比单张图像的相机在环校正,图像质量有所下降

神经全息,使用相机在环训练


引入HoLoNet神经网络架构,以实时帧率获得高质量的二维全息图合成。其损失函数为:


实验结果:

多种CGH算法对比


参考文献:Yifan Peng, Suyeon Choi, Nitish Padmanaban, and Gordon Wetzstein. 2020. Neural holography with camera-in-the-loop training. ACM Trans. Graph. 39, 6, Article 185 (December 2020), 14 pages.
DOI:https://doi.org/10.1145/3414685.3417802



关于昊量光电:

上海昊量光电设备有限公司是国内知名光电产品专业代理商,代理品牌均处于相关领域的发展前沿;产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等,涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等优质服务。


您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。


本文章经光学前沿授权转载,商业转载请联系获得授权。