由电子驱动的计算处理器在过去十年中有了巨大的发展，从通用中央处理器 (CPU) 到专用计算平台，例如图形处理器 (GPU)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)，以满足全球日益增长的计算资源需求。这些硅计算硬件平台的进步通过允许训练更大规模和更复杂的模型，为人工智能 (AI) 的复兴做出了巨大贡献。各种神经计算架构在广泛领域得到了广泛应用，例如卷积神经网络 (convolutional neural networks,CNN)、循环神经网络 (recurrent neural networks,RNN)、尖峰神经网络(spiking neural networks)和储备池计算(reservoir computing)等。然而，随着摩尔定律接近其物理极限，电子硬件实现的性能增长已经达到了不可持续的水平，其速度和能量从根本上受到寄生电容、隧道效应和串扰的限制。因此，尽管目前电子处理器占主导地位，但下一代计算模式的发展更值得期待。
博览：2021 NaturePhotonics 具有可重构衍射处理单元的大规模神经形态光电计算
技术背景：
由电子驱动的计算处理器在过去十年中有了巨大的发展，从通用中央处理器 (CPU) 到专用计算平台，例如图形处理器 (GPU)、现场可编程门阵列(FPGA)和专用集成电路(ASIC)，以满足全球日益增长的计算资源需求。这些硅计算硬件平台的进步通过允许训练更大规模和更复杂的模型，为人工智能 (AI) 的复兴做出了巨大贡献。各种神经计算架构在广泛领域得到了广泛应用，例如卷积神经网络 (convolutional neural networks,CNN)、循环神经网络 (recurrent neural networks,RNN)、尖峰神经网络(spiking neural networks)和储备池计算(reservoir computing)等。然而，随着摩尔定律接近其物理极限，电子硬件实现的性能增长已经达到了不可持续的水平，其速度和能量从根本上受到寄生电容、隧道效应和串扰的限制。因此，尽管目前电子处理器占主导地位，但下一代计算模式的发展更值得期待。
光计算使用光子代替电子进行计算，这一过程可以克服电子学的固有局限性，将能源效率、处理速度和计算吞吐量提高几个数量级。这种非凡的特性已被用于构建专用光学处理器，用于解决基本的数学和信号处理问题，其性能远远超出现有电子处理器的性能。特别是，人工神经网络 (ANN) 是最有前途的光学计算模型之一，其中神经元功能及其密集的互连性可以通过光电设备和光传播的性质有效地实现。最近在光学加速神经信息处理方面取得了重大进展，能够完成一些高级 AI任务。
当前不足：
（1）现有的光学AI加速器只能支持为特定神经网络架构或任务定制的单一功能，无法适应不同任务的不同AI算法。
（2）当前光神经网络的模型复杂度和实验性能相当低，导致网络性能（例如分类精度）与最先进的电子人工神经网络相比存在很大差距。造成这种情况的原因主要是由于光学中网络设计空间的灵活性有限(例如，理想的非线性运算难以整合、难以灵活控制复杂的数据流、光学系统的不完善等导致模型的偏差和实际计算误差的积累)。
文章创新点：
基于此，清华大学戴琼海组的Tiankuang Zhou(第一作者)等人提出了一种用于大规模神经形态光电计算的可重构衍射处理单元 (diffractive processing unit,DPU)，可以对其进行编程以改变其功能并构建不同类型的ANN架构。其几乎所有的计算操作都是通过光学衍射实现，可编程性是通过电子方式控制。作者展示了具有可支持数百万个神经元的DPU的复杂衍射神经网络 (DNN) 的灵活设计。并开发了一种自适应训练方法来解决由不同误差源（如对准误差和非理想器件特性）引起的模型偏差，并获得证明高性能的实验结果。
原理解析(数学模型见附录)：
（1）网络架构。衍射处理单元(diffractive processing unit, DPU)是一个类似于感知机的光电计算模块，可以被编程用于构建不同的衍射神经网络(diffractive neural networks,DNNs)。其功能示意见图1a，其物理原型见图2。DPU的输入数据被量化并电光转换为复数值光场，用信息编码模块在幅度(DMD实现)或相位分量(SLM实现)上进行编码。不同的输入节点通过光衍射连接物理连接到单个输出神经元(sMOS上的像素)，其中控制连接强度的突触权重由波前的衍射(瑞利-索末菲衍射理论)调制决定。每个衍射光电神经元对其加权输入进行光场求和，并通过复激活函数(scmos的光电转换过程)对复数入射光场生成单元输出。如图1c-e,通过DPU的不同组合(时间上或空间上)，可以产生衍射深度神经网络(diffractive deep neural network,D2NN)、网络中的衍射网络(diffractive network in network,D-NIN-1)、衍射循环神经网络(diffractive recurrent neural network,D-RNN)。DMD和SLM作为光学调制器，担当输入节点，scmos作为光电探测器，担当光电神经元。
（2）网络物理实现。如图2，DMD对入射相干光进行振幅调制，L2和L3组成4f系统，SLM上的光场与DMD上的光场共轭，两个偏振片用于调节光强。SLM对入射光场进行相位调制。sCMOS用于接收衍射传播的光场，并利用自身的光电效应类比复数激活函数，将复数光场转化为强度值。
（3）模型训练。首先在计算机上利用基于物理信息的前向模型，使用误差反向传播方法，损失函数使用最后一层的输出和ground truth之间的测量(均方根误差或softmax交叉熵)来预训练出一个模型，即获得SLM在每一层（指的是每一个DPU层）其相位调制的参数、DMD在每一层的显示图案以及sCMOS相机在光轴上的位置等。由于光学系统存在的实际误差，会导致预训练的模型预测能力不高，因此需要后续再采取自适应训练法纠正模型的参数，具体为先使用预训练的第一层参数获得第一层实际输出，然后用第一层的实际输出作为第二层的输入，重新训练出后续网络的物理参数，依次类推，得到符合真实物理场景的模型参数。优化使用常见的Adam优化器。
参考文献：Zhou, T., Lin, X., Wu, J. et al. Large-scale neuromorphic optoelectronic computing with a reconfigurable diffractive processing unit. Nat. Photonics 15, 367–373 (2021).
DOI：https://doi.org/10.1038/s41566-021-00796-w
视频1：D2NN在 MNIST 数据库上的实验结果。
视频2：D-RNN在Weizmann数据库上的实验结果
附录：
DPU输出与DPU输入的前向模型为
损失函数
关于昊量光电：
上海昊量光电设备有限公司是国内知名光电产品专业代理商，代理品牌均处于相关领域的发展前沿；产品包括各类激光器、光电调制器、光学测量设备、精密光学元件等，涉及应用领域涵盖了材料加工、光通讯、生物医疗、科学研究、国防及更细分的前沿市场如量子光学、生物显微、物联传感、精密加工、先进激光制造等；可为客户提供完整的设备安装，培训，硬件开发，软件开发，系统集成等优质服务。
您可以通过昊量光电的官方网站www.auniontech.com了解更多的产品信息，或直接来电咨询4006-888-532。
本文章经光学前沿授权转载,商业转载请联系获得授权。
展示全部 