张量全息：实时逼真级3D全息

正文

张量全息：实时逼真级3D全息

技术背景：

AR/VR、人机交互、教育和培训等领域切实需要具有连续深度感知的三维场景显现。计算生成全息是一种可行的手段，它通过数值模拟衍射和干涉来实现具有高空间-角度分辨率的3D投影。

全息将动态光场编码为相位和振幅变化的干涉图案，即全息图。通过选择照明光束，全息图将入射光衍射成原始光场的准确再现。重建的3D场景呈现准确的单目和双目深度线索(depth cues)，这是传统的显示手段难以同时实现的。然而，高效、实时地创建逼真的计算机生成全息图(CGH)仍然是计算物理学中尚未解决的挑战。其主要挑战是对连续3D空间中的每个目标点执行菲涅耳衍射模拟所需的巨大算力要求。

有效的菲涅耳衍射模拟极具挑战性，目前通过用物理精度换取计算速度来解决。基于预先计算的元素条纹、多层深度离散化、全息立体图、波前记录平面(或者中间光线采样平面)和仅水平/垂直视差建模的查找表等，采取手动设计数值近似，代价是图像质量受损。利用GPU计算的快速发展，非近似的基于点的方法 (point-based method, PBM)最近以每帧几秒的速度生成了具有每像素焦点控制的彩色和纹理场景。然而，PBM为每个场景点独立模拟菲涅耳衍射，因此不会对遮挡(occlusion)进行建模。这阻止了复杂3D场景的准确再现，其中前景将因未遮挡的背景而被振铃伪影(2)严重污染。光场渲染可以部分解决这种没有遮挡的问题。然而，这种方法会导致大量的渲染和数据存储开销，并且遮挡仅在整个全息图的一小部分内是准确的。在菲涅耳衍射模拟期间添加每条射线可见性测试理想地解决了该问题，但遮挡测试的额外成本、对相邻点的访问和条件分支会减慢计算速度。这种质量与速度的权衡是所有现有基于物理的方法共有的特征，从根本上限制了动态全息显示器的实际部署。

技术要点：

基于此，美国MIT的Liang Shi(一作兼通讯)和Wojciech Matusik(共同通讯)提出了一种名为张量全息术的物理引导深度学习方法，用于解决全息图像质量和计算速度之间难以权衡的问题，能够从单个RGB深度图像实时合成逼真的彩色3D全息图。

(1)大规模的菲涅尔全息图数据集。使用MIT-CGH-4K数据集，包含4000对RGB-D图和相应的3D全息图。这个数据集有三个重要的特征，使得CNN网络能够学到逼真级的3D全息图。第一点,用于渲染RGB-D图像的3D场景的构建具有高复杂度和大的颜色、几何、阴影、纹理和遮挡变化，从而帮助CNN适用于计算机渲染和现实世界采集的RGB-D测试输入；第二点，生成的RGB-D图像的像素深度分布在整个视锥体上是统计均匀的；第三点，根据RGB-D图像计算的全息图可以将每个像素精确地聚焦到深度图像确定的位置并正确处理遮挡(由基于遮挡感知点的方法实现，缩写为OA-PBM)。

(2)全卷积残差网络。接收4通道的RGB-D图像，预测的彩色全息图是6通道图像(RGB振幅和RGB相位)。所用网络避免了菲涅耳衍射和遮挡的显式近似。因为将波场传播到不同的距离相当于将同一波场与不同频率的菲涅耳波带片进行卷积。由于波带片是径向对称的，并且从使用不同传播距离的单个基函数导出，所用网络通过连续应用一组学到的3 × 3卷积核来准确地近似它们。这将衍射模拟从空间变化的大内核卷积减少到一组可分离且空间不变的卷积，从而在GPU和专用集成电路(ASIC)上运行速度快了几个数量级，以加速CNN推理。所用网络进一步利用CNN中的非线性激活(即ReLU或整流线性单元)来处理遮挡。非线性激活选择性地分配通过前向传播产生的中间结果，从而阻止被遮挡波前的传播。

(3)张量全息显示原型。波长为450nm、520nm、638nm的激光经线偏振片(所用SLM对入射偏振态有要求)后入射在反射式相位型空间光调制器(1920*1080,8um)上，用anti-aliasing double phase method(AA-DPM)将CNN预测的复全息图编码成相位型全息图，可以产生在高频物体和遮挡边缘无伪影的3D图像。孔径光阑放置在双胶合透镜的傅里叶平面，阻拦高阶衍射，其开口半径设置为与蓝色光束的一阶衍射范围相匹配。全息图的接收用目镜和相机组合来承担。

实验结果：

(1)所采用卷积神经网络具有极高的内存效率(低于 620 KB)，并且在单个消费级图形处理单元上以 60 赫兹的速度运行，分辨率为1,920 × 1,080像素。

(2)利用低功耗的设备端人工智能加速芯片，训练得到的CNN还可以在移动（1.1Hz 的 iPhone 11 Pro和2.2Hz 的Google Edge TPU)设备上交互运行。

(3)所提方法也对超表面设计、基于光镊和声镊的显微操作、全息显微镜和单次曝光体积3D打印等也有帮助。

参考文献：Shi, L., Li, B., Kim, C. et al. Towards real-time photorealistic 3D holography with deep neural networks. Nature 591, 234–239 (2021).

关于昊量光电：

上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。

您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。

本文章经光学前沿授权转载,商业转载请联系获得授权。