基于WTA学习机制的交叉阵列脉冲神经网络硬件系统

摘要

本发明公开了一种基于WTA学习机制的交叉阵列脉冲神经网络硬件系统，该脉冲神经网络系统实现了以WTA为学习机制的真并行化的脉冲神经网络，可以高效得完成图像、语音以及文本等模型的学习和分类任务，该脉冲神经网络架构包含数据预处理模块、输入层神经元、突触阵列以及输出层神经元，其中数据预处理模块与多个输入层神经元输入端连接，输入层神经元输出端连接突触阵列的输入端，突触阵列输出端连接多个输出层神经元的输入端。本发明的实质性效果是：基于WTA学习机制的交叉阵列脉冲神经网络硬件架构，可以构造大规模并行计算的脉冲神经网络，实现高速低功耗的类脑芯片。

说明书

技术领域

本发明涉及受脑启发的脉冲神经网络领域，具体是一种基于WTA学习机制的交叉阵列脉冲神经网络硬件架构。

技术背景

在图像识别等人工智能领域，生物神经系统在速度和能耗方面都有着显著的优势，而传统的神经网络系统当面对大量的瞬时的图像信息时，能耗问题及处理速度问题显的尤为突出。脱离现有的冯·诺依曼计算机体系架构形成的脉冲神经形态硬件架构可有效模拟生物神经系统的工作方式，解决人工神经网络现阶段面临的能耗问题和效率问题。旧有的人工神经网络在处理图像问题时，需要进行大量复杂的运算和迭代过程，这对现有的硬件系统是不友好的，有效避免大规模复杂运算的同时，寻找一种高效的学习机制是脉冲神经网络硬件化急需解决的问题。神经形态的硬件架构在单一模块精简化，可以实现大规模集成也是需要考虑的问题。

发明内容

本发明针对现有技术的不足，提出了一种基于WTA学习机制的交叉阵列脉冲神经网络硬件系统。

基于WTA学习机制的交叉阵列脉冲神经网络硬件系统，该脉冲神经网络系统包含数据预处理模块、输入层神经元、突触阵列以及输出层神经元，其中数据预处理模块与多个输入层神经元输入端连接，输入层神经元输出端连接突触阵列的输入端，突触阵列输出端连接多个输出层神经元的输入端。在图像处理领域，数据预处理模块将输入的图像模型转换为输入层神经元所需的信号形式；输入层神经元发送突触前脉冲给突触阵列中的突触；突触传递抑制性信号或兴奋性信号给输出层神经元；输出层神经元依据突触发送的刺激信号表征出对不同输入图像的识别效果，并体现在输出层神经元轴突的输出频率上；所述的突触阵列为交叉阵列，所述的突触在初始化阶段是呈随机化状态，部分突触会传递输入层神经元的刺激信号给输出层神经元，剩余部分则不会传递该刺激信号；不同的输出层神经元在学习阶段将接受到不同程度的脉冲刺激信号，在每个模型的学习过程中有且仅有一个输出层神经元的膜电位会最先超过阈值；所述的唯一输出层神经元会发送突触后脉冲信号和横向抑制信号，发送的突触后脉冲信号会锁定与之连接的列向突触阵列，部分突触先接收到突触后脉冲，这部分突触会成长为抑制性突触，而部分突触会先接收到突触前脉冲再接收到突触后脉冲，这部分突触会成长为兴奋性突触。

作为优选，所述的输出层神经元发送的横向抑制信号会抑制其他的输出层神经元，使其膜电位衰减，导致其在这一模型的学习阶段竞争失败；

作为优选，所述的交叉阵列中的突触节点有两种类型的输出端口，即兴奋性端口和抑制性端口，当突触接受到输出层神经元发送的脉冲信号时，突触在兴奋性端口或抑制性端口输出的信号会随着状态的跳转传输给输出层神经元。

作为优选，所述的交叉阵列为以MTJ为基础的MRAM、以相变存储介质为基础的PCRAM、以金属氧化物器件为基础的RRAM，其基本结构是多条行线连接输入层神经元的输出，多条列线连接输出层神经元的输入，在每条行线和每条列线之间至少存在一个阻值可变的存储单元。

作为优选，在初始化阶段，不同突触状态的随机化状态是通过将伪随机数输入到突触阵列中得到的。

一种轻量化的基于WTA学习机制的交叉阵列脉冲神经网络硬件系统的实现方法，具体如下：

本设计的脉冲神经网络硬件架构在实现图像模型的学习和分类任务的过程中，可以简述为三个阶段，分别为初始化阶段、学习阶段和识别阶段。在初始化阶段，突触的状态是随机化的，呈现兴奋性状态或非兴奋性状态，突触处于兴奋状态时，输出层神经元会接收到来自输入层神经元发送的刺激信号，当突触处于非兴奋性状态时，输出层神经元不会接受到输入层神经元发送的刺激信号。在学习阶段，输入层神经元将数据预处理模块传输的信息转换为脉冲信号传输给突触，此时兴奋性突触会传递刺激信号给输出层神经元，由于突触在此过程中呈现的状态是随机性的，所以不同的输出层神经元接受的刺激信号也不同，接受到最多刺激信号的输出层神经元会在这一学习阶段中获胜，并发送抑制信号给其它输出层神经元，以保证竞争优势，同时获胜的输出层神经元会学习到这一输入的图像模型，突触在这一阶段依据输入层神经元和输出层神经元的脉冲信号成长为抑制性突触或兴奋性突触。在识别阶段，将已经学习过的图像模型输入到该脉冲神经网络的架构中，学习过这一模型的突触阵列会输出更多的兴奋性信号给与之连接的输出层神经元，该输出层神经元也会获得竞争上的优势，去抑制其他输出层神经元，同时该输出层神经元的轴突会输出高频率的脉冲信号。

本发明相对于现有技术具有的效果：该系统适用于以交叉阵列形式存储数据的存储网络；该架构各部分均可硬件实现，利用该架构可以实现的并行化的脉冲神经网络硬件系统；在图像、语音和文本等领域的识别上，该架构通过输出层神经元输出的高频率脉冲信号来判定已学过的模型。本设计的脉冲神经网络架构是通过FPGA(现场可编程门阵列)实现，FPGA具有很高的灵活性和复用性。

附图说明

图1脉冲神经网络架构示意图；

图2突触的接口示意图；

图3突触的状态跳转图；

图4输出层神经元的模块示意图。

其中1、输入层神经元；2、输出层神经元；3、突触；4、突触前脉冲端；5、突触后脉冲端；6、输出层神经元的横线抑制连接线；7、输入层神经元的突触前脉冲输出端；8、输出层神经元的突触后脉冲输出端；9、突触阵列；10、数据预处理模块；11、随机数输入端；12、学习使能端；13、兴奋性信号输出端；14、抑制性信号输出端；15、突触兴奋性信号输入端；16、横向抑制信号输入端；17、突触抑制性信号输入端；18、横向抑制信号输出端；19、轴突脉冲信号输出端；20、输出层神经元的膜电位寄存器；21、输出层神经元的膜电位减法电路；22、输出层神经元的膜电位加法电路；23、突触后脉冲生成电路；24、横向抑制信号生成电路；25、轴突脉冲信号生成电路。

状态S0：随机态；

状态S1:突触接受到输入层神经元发送的脉冲信号时进入该中间状态；

状态S2：突触成长为抑制性突触状态；

状态S3：突触成长为兴奋性突触状态；

状态S4：暂存状态；

状态S5：暂存状态。

条件(1)在学习使能端为高电平时有突触后脉冲信号；

条件(2)在学习使能端为高电平时有突触前脉冲信号；

条件(3)学习使能端为高电平；

条件(4)学习使能端为低电平。

具体实施方法

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

实施例一：

基于WTA学习机制的交叉阵列脉冲神经网络硬件系统如示意图1所示，系统中包含输入层神经元1、输出层神经元2、突触阵列9、数据预处理模块10。

在实施例一中的数据预处理模块10可以将输入的模型信息转换为输入层神经元所需的信号形式；输入层神经元1可以发送突触前脉冲给突触3；突触3可以传递抑制性信号或兴奋性信号给输出层神经元2；输出层神经元2可依据突触3发送的刺激信号表征出对不同输入图像的识别效果，并体现在轴突脉冲信号输出端19的频率上。

如图2所示为实施例一中突触3的模块示意图。突触模块示意图的随机数输入端11连接外部的伪随机数产生器，学习使能端12连接外部的控制信号端，突触前脉冲端4连接输入层神经元的输入层神经元的突触前脉冲输出端7；突触后脉冲端5连接输出层神经元的输出层神经元的突触后脉冲输出端8。兴奋性信号输出端13连接输出层神经元的突触兴奋性信号输入端16，抑制性信号输出端14连接输出层神经元的突触抑制性信号输入端17。

如图3所示为实施例一中突触的状态转移示意图。

状态S0：随机态，突触现处于没有起作用的状态，在条件(2)学习使能端为高电平且有突触前脉冲信号时将进入状态S1，在条件(1)学习使能为高电平且有突触后脉冲信号时将进入状态S2。

状态S1:突触接受到输入层神经元发送的脉冲信号时进入该中间状态，突触在条件(1)学习使能为高电平且有突触后脉冲信号时进入状态S3。

状态S2:抑制性突触状态。在该状态，当突触接收到输入层神经元输入的脉冲信号时，14.抑制性信号输出端输出脉冲信号。在下一学习阶段为不影响其他突触阵列对输入模型的学习，在条件(3)学习使能端为高电平时将进入状态S4。

状态S3:兴奋性突触状态。在该状态，当突触接收到输入层神经元输入的脉冲信号时，13.兴奋性信号输出端输出脉冲信号。在下一学习阶段为不影响其他突触阵列对输入模型的学习，在条件(3)学习使能端为高电平时将进入状态S5。

状态S4:暂存状态。在条件(4)学习使能端为低电平时将回到状态S2，在此状态3.突触的抑制性信号输出端14不输出脉冲信号。

状态S5:暂存状态。在条件(4)学习使能端为低电平时将回到状态S3，在此状态突触的兴奋性信号输出端13不输出脉冲信号。

如图4所示为实施例一中输出层神经元2的模块示意图。突触发送的兴奋性信号传递到突触兴奋性信号输入端口15触发输出层神经元的膜电位加法电路22使得输出层神经元的膜电位寄存器20进行累加运算，突触发送的抑制性信号和其他输出层神经元发送的横向抑制信号触发输出层神经元的膜电位减法电路21使得20.输出层神经元的膜电位寄存器进行减法运算。20.输出层神经元的膜电位寄存器同时又会对横向抑制信号生成电路24、轴突脉冲信号生成电路25和输出层神经元的突触后脉冲生成电路23产生影响，进而影响横向抑制信号输出端18、轴突脉冲信号输出端19、输出层神经元的突触后脉冲输出端8信号的产生。图中所示的突触兴奋性信号输入端15为总线端口，与纵向多个突触的一位兴奋性信号输出端13连接；突触抑制性信号输入端17为总线端口，与纵向多个突触的一位抑制性信号输出端14连接。横向抑制信号输出端18通过输出层神经元的横线抑制连接线6与其余的2.输出层神经元的横向抑制信号输入端15连接，形成相互抑制的关系。轴突脉冲信号输出端8与一个纵向突触的突触后脉冲端5连接。轴突脉冲信号输出端19为系统的输出端口，用于观测该设计的脉冲神经网络硬件架构对模型的识别效果。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。