因为在长时间跨度内对三维组织中毫秒级的瞬态细胞活动进行观察是生物学经常要面对的问题，所以，如何从目标中提取更多的时空信息是生物学中反复出现的挑战。目前已有几种成像技术，包括落射荧光和平面照明方法，可以以高空间分辨率对活体样本在三个维度进行成像。然而，它们需要记录大量二维图像来产生三维体积，并且时间分辨率因相机需要采集多帧而受到影响。
Nature Methods:基于深度学习和光场显微镜的实时生物动力学体积重建
技术背景：
因为在长时间跨度内对三维组织中毫秒级的瞬态细胞活动进行观察是生物学经常要面对的问题，所以，如何从目标中提取更多的时空信息是生物学中反复出现的挑战。目前已有几种成像技术，包括落射荧光和平面照明方法，可以以高空间分辨率对活体样本在三个维度进行成像。然而，它们需要记录大量二维图像来产生三维体积，并且时间分辨率因相机需要采集多帧而受到影响。
光场显微镜 (light-field microscopy, LFM) 已成为瞬时体积成像的首选技术。它通过将瞬态三维光场信息记录在单个二维相机帧上，然后通过后处理恢复三维光场分布。由于 LFM 提供仅受相机帧速率限制的高速体积成像，它在各种应用展示了它的能力，例如神经元活动的记录和体模中心脏动力学的可视化。
当前不足：
尽管LFM体积成像速度快，且取得了不少进展。但是由于其空间分辨率存在分辨率不均匀和分辨率低的缺点，以及重建速度慢、重建图像存在伪影等问题，极大的限制了LFM进入那些需要高时空分辨率的生物应用，如以单细胞空间分辨率观测毫秒级的生物活动类应用。虽然可以通过优化记录光场的方式来缓解这些问题，但额外的系统复杂性可能会阻碍 LFM 技术的广泛传播。此外，当前的 LFM 依赖于计算要求高的迭代复原过程，这限制了 LFM 重建的整体吞吐量，损害了其长期应用的潜力。
文章创新点：
基于此，华中科技大学的Zhaoqiang Wang(第一作者)和Peng Fei(通讯作者)提出了一种将视角通道深度神经网络（view-channel-depth neural network, VCD）与LFM结合的技术，称为VCD-LFM。这种技术可以产生无伪影的三维图像序列，且具有均匀的空间分辨率，重建吞吐量达到高视频帧率。
原理解析：
为了创建网络训练数据，首先使用合成或实验方法获得了静止样本的高分辨率三维图像作为ground-truth（图1a）。VCD-LFM利用LFM的波动模型，从ground-truth合成二维光场图像，将合成图像和ground-truth配对作为网络的输入，用于网络训练。VCD网络（VCD－Net）设计成每个合成光场图像首先被重新排列成不同的视角，从中提取特征并将其合并到每个卷积层的多个通道中。然后将最终输出通道分配给代表不同深度的多个平面以生成图像堆栈（image stack）。使用级联卷积层（U-Net 架构、见图２）重复提取特征，该VCD程序生成了中间三维重建（图1b，步骤２）。像素均方误差被计为损失函数，以表示这些输出与ground-truth的差异。通过迭代最小化损失函数（图1b，步骤 3），深度学习VCD－Net被逐渐强化，直到它可以在整个成像深度推测出均匀分辨率的三维高保真信号为止。在对 gigavoxels 数据进行训练后，该网络能够实现动态过程的连续光场测量的 VCD 转换，并以高达 13 volumes／ｓ的速率推测出一系列 3D 体积（图1b，步骤４）。
视频１：跳动的胚胎斑马鱼心脏中心肌（绿色）和血细胞（红色）的双色成像。VCD-LFM 采集血细胞图像，心肌图像由光片荧光显微镜获得。 视频显示了红细胞如何流过跳动的心肌。比例尺，50 μm。
参考文献：Wang, Z., Zhu, L., Zhang, H. et al. Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep learning. Nat Methods 18, 551–556 (2021).
关于昊量光电：
上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。
您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
本文章经光学前沿授权转载,商业转载请联系获得授权。
展示全部 
