首页  技术文章  DOE+CFB+U-Net网络实现直径小于0.5mm的超细内窥镜

DOE+CFB+U-Net网络实现直径小于0.5mm的超细内窥镜

发布时间:2022-04-14 14:58:38 浏览量:2209 作者:LY.Young 光学前沿

摘要

生物医学需要微创内窥镜,纤维内窥镜是微创内窥镜的一种,被广泛用于体内进行医学观察。常见的柔性内窥镜基于相干光纤束(coherent fiber bundles, CFB,也称为多芯光纤),它将强度模式从远端光纤面的隐藏区域传输到近端光纤端面的仪器上。位于光纤远端的镜头缩小或放大芯到芯的距离,并确定系统的分辨率。相干光纤束的直径可小至数百微米,以实现微创的目的。然而,远端光学部件增加了内窥镜的尺寸(通常在毫米范围)。此外,传统的二维内窥镜在没有机械扫描的情况下无法给出深度信息。

正文


DOE+CFB+U-Net网络实现直径小于0.5mm的超细内窥镜



技术背

生物医学需要微创内窥镜,纤维内窥镜是微创内窥镜的一种,被广泛用于体内进行医学观察。常见的柔性内窥镜基于相干光纤束(coherent fiber bundles, CFB,也称为多芯光纤),它将强度模式从远端光纤面的隐藏区域传输到近端光纤端面的仪器上。位于光纤远端的镜头缩小或放大芯到芯的距离,并确定系统的分辨率。相干光纤束的直径可小至数百微米,以实现微创的目的。然而,远端光学部件增加了内窥镜的尺寸(通常在毫米范围)。此外,传统的二维内窥镜在没有机械扫描的情况下无法给出深度信息。

最近,具有三维成像能力的超细内窥镜已被提出,它能进入像视觉皮层、耳蜗和细血管这样的精细结构。基于单模光纤的最细内窥镜,其三维打印的远端光学部件用于一维光学相干层析成像(OCT),直径可小至100um以下。然而,用于三维成像的OCT系统依赖微机电系统(MEMS)完成扫描动作,这直接导致了它的尺寸增至1mm以上。

基于多模光纤的最细成像内窥镜,在其插入目标的远端不需要大型的光学元件。具有三维成像能力的多模光纤内窥镜尺寸可至约100um。然而,多模光纤展示出了复杂的光学传递函数(OTF),这归因于模式混合和模式色散。要实现成像,多模光纤内窥镜需要依赖传输特性的校准。这可以通过依序激发所有支持的光纤模式,然后使用数字全息或神经网络来记录光学传递函数来实现。可编程的光学元件,如空间光调制(SLM)预先编码光纤近端的光场,以在光纤远端获得想要的光场分布。这可以在光纤远端面产生聚焦和其它更复杂的光场模式。OTF与光纤的弯曲、波长漂移、温度变化强相关,这意味着需要实时原位校准。但实际上校准很复杂,很难实现实时。

相比之下,CFB在分离的纤芯中引导不同的模式。当芯间串扰可以忽略的时候,没有模式混合产生。然而,随机相位变化在邻近纤芯之间发生。这可以使用SLM通过数字光学相位共轭(digital optical phase conjugation, DOPC)来校准。CFB可以看作是一个短的相位物体,它具有很强的记忆效应,这意味着输入耦合波前的变化会直接转化为输出耦合的波前。这种简化的传输特性使得单面和单次校准技术,以及使用共振扫描仪进行快速三维成像称为可能。然而,这样的内窥镜系统需要包含各种自适应或可编程光学器件的复杂装置。法国菲涅耳研究所的研究人员最近提出了一种优化CFB,它具有弯曲不变的传输特性和更大的视场。他们指出弯曲诱导的相位畸变来源于CFB内部的光程差,这种光程差取决于离中性轴(neutral axis)的平均距离,可以通过扭曲纤芯的排布来让其最小化。然而,这样的光纤难以制造,并且只有数百纤芯。


技术要点:

基于此,德国德累斯顿工业大学(TU Dresden)的Robert Kuschmierz等人提出了一种无需空间光调制器这样的大器件完成像差校准,利用衍射光学元件(DOE)、相干光纤束、神经网络的结合,实现直径小于0.5mm,分辨率约1um的超细内窥镜。

(1)利用CFB的记忆效应,使用静态的DOE(双光子聚合光刻(2-photon polymerization lithography)制造)替代SLM的动态调制来补偿畸变。

(2)DOE的随机pattern将三维物体的信息编码成二维的散斑pattern,沿着超细的CFB传输。基于U-Net的神经网络对散斑pattern解码,完成三维重建。


a、DOE-Diffuser内窥镜的方案和原理。远端的diffuser将三维目标信息编码为二维散斑图案,该图案通过CFB传输到近端,使用神经网络实时恢复三维信息。b、不同距离(从上到下)和垂直位置(从左到右)的PSF。水平线表示PSF的垂直位移。c、随机和未知距离处的二维目标重建示例。d、以随机和未知距离重建多层三维目标的示例。


附录:

a 每根光纤纤芯都具有随机相位延迟,这会增加到耦合波前上并导致光纤输出处的高空间频率干扰。b 根据光记忆效应,弯曲光纤会增加一个整体倾斜到传输波前上。c 使用空间光调制器进行动态数字光学相位共轭 (DOPC) 补偿相位失真。通过在近端光纤侧的SLM上添加菲涅耳透镜的相位结构来执行远端光纤侧的聚焦。d DOE提供聚焦和相位共轭(假设CFB的静态像差并放置在近端光纤面的前面)。e  3D打印的DOE放置在光纤近端面,用于像差校正和聚焦。


卷积神经网络(CNN)方案。编码器最后阶段使用两个dropout层来减少过拟合。总共使用了九个单独训练的CNN,每个CNN重建一个相关的目标平面。


参考文献:Robert Kuschmierz, Elias Scharf, David F. Ortegón-González, Tom Glosemeyer, Jürgen W. Czarske. Ultra-thin 3D lensless fiber endoscopy using diffractive optical elements and deep neural networks[J]. Light: Advanced Manufacturing.
DOI:https://doi.org/10.37188/lam.2021.030

关于昊量光电:

上海昊量光电设备有限公司是国内知名光电产品专业代理商,代理品牌均处于相关领域的发展前沿;产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等,涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等优质服务。

 

您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。

 

本文章经光学前沿授权转载,商业转载请联系获得授权。