首页  技术文章  自旋电子泄漏-整合-具有自我重置和赢者通吃的神经形态计算的脉冲神经元(三)

自旋电子泄漏-整合-具有自我重置和赢者通吃的神经形态计算的脉冲神经元(三)

发布时间:2025-03-18 10:16:41 浏览量:309 作者:Leon

摘要

在“赢者通吃”的情况下,激活和抑制神经元之间的电流比>104。我们在已开发的自旋电子LIFT神经元的基础上进一步建立了两层脉冲神经网络。该体系结构在手写数字数据库基准测试中达到88.5%的准确率。我们的研究证实了自旋电子神经元的电路兼容性及其在智能设备和神经形态计算领域的巨大潜力。


正文


自旋电子泄漏-整合-具有自我重置和赢者通吃的神经形态计算的脉冲神经元(三)


不同神经元器件与计算功率和能量消耗的比较证实了所开发的自旋电子神经元器件成功地模拟了生物神经元的LIFT特性。10 ns的上升时间和50 ns的下降时间进一步保证了高速数控的应用。虽然神经元器件的能量消耗约为486 fJ/spike,但通过结构Min和焦耳加热优化,仍可逐步接近甚至超过生物神经元的能量消耗。



发展大规模神经元电路的主要障碍是高功耗。在传统的神经元电路中,所有神经元总是对给定的输入产生输出,这导致神经元非选择性地放电,不必要地消耗大量能量。相反,生物神经元具有内在的侧抑制机制,它确保只有特定的神经元可以触发特定的尖峰事件。因此,为了以优化资源分配的方式进一步降低神经元电路中神经元器件的功耗,我们集成了一种精心设计的带有NDR40的半导体元件来实现我们所开发的自旋电子神经元之间的WTA功能。根据突触阵列的权重精确编程神经元的写入电流,如图5a所示。


受上一篇报道中NDR应用的启发,如图5b所示,Ienable是指由预神经元信号触发的输入为35 μA的恒流脉冲。由于Rs1、Rs2、…、Rsn的值不同,各支路的电流也不同。支路电流Max的NDR器件首先 进入负差分电阻区。因此,由于电路两端电压的下降,该支路的电流将迅速增大,而其他支路的电流将减小。通过这种方式,可以执行特定神经元装置的写入,并成功实现神经元之间的全局抑制,这比具有局部抑制的装置WTA11更具竞争力。重要的是,突触差电流比可以超过104,这使得这些丢失神经元的分支漏电流可以忽略不计。NDR元件的电路图如图5b所示,其特性见附图。图5c给出了不同突触权值的三个分支的电流差异特征。


此外,基于已开发的自旋电子神经元和集成的NDR WTA模块进一步实现了SNN架构,如图5a所示,并在补充影片3中进行了示意化动画。当前神经元信号到达时,突触阵列的读取控制晶体管被打开,一个恒定的电流流过突触阵列。由于突触的权重不同,流经每个分支的电流也不同。由于NDR器件的差分效应,因此,一个神经元写控制晶体管被打开,而其余神经元相关晶体管被关闭。预神经元输入程序脉冲后,WTA神经元经过一系列积分和漏动作后放电,并通过输出电路产生一个尖峰,实现SNN的完整功能。为了提高仿真过程的效率,建立了一个由四个神经元组成的4×4交叉杆,并集成了NDR组件。通过施加5个振幅为23.5 μA、持续时间为2ns、周期为10ns的电流脉冲来实现。


简单地说,前神经元1信号在第1个周期到达,随后,突触阵列第1列的读取mosfet立即被打开。由于连接到neuron2的突触处于低阻力状态,因此neuron2获胜。在NDR-WTA模块的响应作用下,23.5 μA的电流几乎全部通过neuron2,从而抑制了其他神经元,保证泄漏电流在几个pA的水平下可以忽略不计。值得注意的是,Neuron2在周期的前半段整合,而泄漏过程发生在后半段。与第1个周期相似,在第二个周期中,除了Neuron1获胜外,Neuron2和其他神经元保持泄漏。经过5个周期后,Neuron2 zui终获胜并发射,即实现了典型的WTA行为,如图5d所示,说明开发的自旋电子神经元器件具有神经元电路实现的可行性和良好的电路兼容性。


与新代表性的WTA SNNs (Supplementary Table S5)相比,我们提出的方案具有较好的性能,延迟时间为170 ps,总功耗为90.99 μW,分别比现有方案低3.4 ~ 293倍和6.1倍。此外,仅考虑WTA模块,与传统的WTA电路相比,我们的方案功耗降低了21 × ~ 29× 。值得注意的是,随着网络变得越来越复杂,我们设计的优势也越来越明显。这将为高速、低功耗和复杂神经元电路的应用提供更多的可能性。相对较长的运行周期可以从设备的角度进行优化,例如缩短设备长度和热工程



从应用的角度来看,神经形态计算的硬件实现至关重要,因为它们在解决识别和分类任务方面具有竞争力的效率。我们进一步评估了开发的自旋电子LIFT神经元装置的适用性,并实现了典型的修改标准与技术研究所(MNIST)手写数字识别。利用SNN模拟器BRIAN266构建了基于LIFT神经元的自旋电子脉冲神经网络。如图6a所示,采用典型的双层SNN拓扑结构,输入为28×28像素的二维阵列。泊松编码数据流通过脉冲时间依赖性可塑性(STDP)学习,通过突触触发兴奋性神经元。输入神经元与兴奋性神经元完全连接,每个兴奋性神经元与一个匹配的抑制神经元连接,抑制所有休息的兴奋性神经元的尖峰事件。每个兴奋性神经元装置中的DW运动由相互连接的突触电导调节,突触电导计算流入装置的电流值,从而产生焦耳热来驱动DW运动。在我们的装置中,有效磁场驱动磁性DW运动的机理可以表示为以下物理模型,v = mHef f,其中m = γΔ= α + α1 Þ。Heff归因于hbuilt和HRKKY之间的竞争,其中HRKKY被电流产生的焦耳加热调制,可以写成如下模型Hef = Hbuiltin + HRKKY, HRKKY = HRKKY0 + kI2,其中k为RKKY场的焦耳加热调制系数,由我们的实验结果提取。


我们进一步实现了一个包含1600个兴奋性神经元和10类手写数字的SNN,“0”到“9”依次进行训练和推理。图6b显示了具有代表性的前256个兴奋性神经元学习了连接输入神经元和兴奋性神经元的突触权值。图6c描述了在10000个测试集验证后,1600个激励神经元在不同数量的训练样本下的手写模式识别准确率。SNN在动态环境中增量学习数字,训练集的前33,000个样本的平均分类准确率达到了~88.5%,与图6d的基准表所示相比,表现出相当的性能。请注意,通过优化模型参数,例如网络结构、网络大小和训练参数等,可以进一步提高准确性。


虽然动态DW运动和调制已被实验验证具有神经元LIF特征的行为,但要进一步提高自旋电子神经元器件的性能,仍迫切需要仔细设计热生成和cmos兼容的工艺技术。一方面,为了提高能量效率和消除神经元之间的交叉干扰,研究人员需要同时降低局部钉钉中心的密度,即提高设备的可靠性。


在大规模高密度神经元回路中,热扩散是一个亟待解决的主要问题。另一方面,由于散热的性质,我们的设计可能更适合稀疏和习惯性的神经元电路,这也是我们后续研究的重点之一,即构建具有特定任务的神经元电路。从材料系统(FM/AFM/FM, FM/FM(PM)/FM)的角度来看,焦耳加热不仅可以调制RKKY耦合的强度,还可以调制RKKY耦合的符号,适用于CMOS器件的集成。此外,电压和应变承担额外的工程旋钮来调节RKKY的相互作用,从而实现更多的可重构神经元多样性。重要的是,在SNN中引入半导体负差分电阻器件的想法有望取代传统的感测放大器或模数转换器读取模式,并进一步降低网络开销。此外,在非优化条件下,实现的双层SNN架构在MNIST基准上达到88.5%的准确率,为更雄心勃勃和未来的神经形态计算应用铺平了道路。


综上所述,我们已经在CMOS兼容的saf结构神经元中通过焦耳加热实现了RKKY有效场的精确调制,并且RKKY相互作用和h内置之间的动态竞争可以生物学地模拟出尖峰LIFT特性。由于其固有的rkky - h内嵌竞争特性,这种焦耳加热辅助DW-SAF尖峰LIFT神经元既不需要膜电容器,也不需要复位电路。我们开发的自旋电子尖峰神经元显示了LIF和自复位功能,其超低能量为486 fJ/尖峰,高放电速率高达17 MHz,与生物同类相比,具有吸引力的硬件加速。通过整合NDR设备,实现了WTA的功能化,具有突触阵列电流差比>104的自旋电子LIFT尖峰神经元成功实现了低延迟170 ps、低功耗90.99 μW的NDR-WTA脉冲神经元电路。通过层间耦合诱导磁性DWM的协同剪裁和NDR的集成,所提出的器件电路协同设计使LIFT尖峰神经元与WTA在神经元电路中集成,为未来的神经形态器件和芯片应用提供了可靠的平台。建立的双层SNN基于我们开发的自旋电子LIFT神经元,可以级联到MTJ突触交叉杆,避免额外的接口电路。在MNIST的基准测试中达到了88.5%的准确率,为自旋电子LIFT神经元的硬件探索提供了前广阔的神经形态计算。相信我们的研究将在神经形态计算领域引发广泛的跨学科研究,如CMOS集成人工神经元电路带出过程。


更多详情请联系昊量光电/欢迎直接联系昊量光电

关于昊量光电:

上海昊量光电设备有限公司是光电产品专业代理商,产品包括各类激光器、光电调制器、光学测量设备、光学元件等,涉及应用涵盖了材料加工、光通讯、生物医疗、科学研究、国防、量子光学、生物显微、物联传感、激光制造等;可为客户提供完整的设备安装,培训,硬件开发,软件开发,系统集成等服务。

您可以通过我们昊量光电的官方网站www.auniontech.com了解更多的产品信息,或直接来电咨询4006-888-532。