用于AER的多层脉冲神经网络识别系统

摘要

本发明涉及图像处理识别领域，为提出一种用于AER传感器的多层脉冲神经网络，可以利用此网络实现目标的识别。本发明采用的技术方案是，用于AER的多层脉冲神经网络识别系统，包括如下模块：整合与火IF神经元模型(Integrate?and?Fire neuron)；多层脉冲神经网络包含4层脉冲神经元：第一层特征提取层T1，第二层特征提取层T2，池化层P和识别层R；T1，T2，P，R层都采用上述IF神经元模型来构建整个脉冲神经网络。本发明主要应用于图像处理识别场合。

说明书

技术领域

本发明涉及图像处理识别领域，尤其涉及一种将脉冲神经网络(SpikingNerual Network，SNN)用于目标图像的处理识别。

背景技术

脉冲神经网络(SNN)被称作第三代神经网络，它代表着生物神经科学和人工神经 网络领域内的最新研究成果。SNN依据生物中观察到的LTP(LongTermPotentiation)、LTD (LongTermDepression)、STDP(SpikeTimingDependentPlasticity)等现象，可以利用 脉冲发放的精确时间进行信息的处理。基于脉冲精确定时特性的脉冲神经网络拥有非常强 大的计算能力，可以模拟各种神经元信号和任意的连续函数，非常适用于信号的处理问题。

脉冲神经网络(SNN)不能直接用模拟量进行计算，其输入输出必须是脉冲序列，所 以必须通过一定的方法将模拟量转成脉冲序列，然后再将脉冲序列输入到脉冲神经网络 中。目前已经有很多编码方法被报道出来，Time-to-first-spike方法是一种比较简单的将 模拟量转变成脉冲发放时间的编码方法，由于它的原理简单，实现容易，得到了广泛的应 用；而相位编码思想的特点在于可以对随着时间变化的模拟量进行编码；阈值编码的思想 是将模拟量超过阈值的时刻表示脉冲生成的时刻，由此产生一个脉冲序列。

AER(Address-EventRepresentation,AER，地址-事件表示)图像传感器的输出中 包含了事件的地址信息，时间信息，具有超高速，高实时性等特点。根据脉冲神经网络的数 据处理方式，可以将AER图像传感器的输出数据直接输入到脉冲神经网络中进行处理运算。

发明内容

为克服现有技术的不足，本发明旨在根据AER表示方法及脉冲神经网络的特点，提 出一种用于AER传感器的多层脉冲神经网络，可以利用此网络实现目标的识别。本发明采用 的技术方案是用于AER的多层脉冲神经网络识别系统，包括如下模块：

整合与火IF神经元模型(Integrate-and-Fireneuron)，结构是，I₁和I₂分别代表 两个输入脉冲序列，两个输入脉冲序列分别对应输入两个脉冲神经元V₁、V₂，两个脉冲神经 元V₁、V₂产生的输出脉冲序列分别用O₁和O₂表示，神经元之间存在的相互抑制作用称为侧向 抑制；

多层脉冲神经网络包含4层脉冲神经元：第一层特征提取层T1，第二层特征提取层 T2，池化层P和识别层R；T1，T2，P，R层都采用上述IF神经元模型来构建整个脉冲神经网络， 当其中一个脉冲神经元收到前一层脉冲神经元来的脉冲时，该脉冲神经元的膜电势变化过 程：

如果t_i-t_lastspike＜t_refr则否则

$V_{mi}\leftarrow \left(\begin{array}{ccc}\max \{V_{m_{i-1}}-\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\ge 0\\ \min \{V_{m_i}+\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\ge 0\end{array}\right)---\left(1\right)$

$V_{m_i}\leftarrow V_{m_i}+{\omega }_i$

如果则t_lastspike←t_i产生输出脉冲；

其中，t_i是第i个脉冲到达神经元的时间，t_lastspike是当前神经元产生上一个脉冲 的时间，t_refr是神经元的耐火周期，是第i个脉冲输入后该神经元的膜电势，是第i- 1个脉冲输入后该神经元的膜电势，I_l是漏电流，C_m是膜电容，ω_i是突触权值，V_thresh是当前 神经元的阈值电压。

神经元在每接收到一个输入脉冲时，其膜电势V₁或V₂会相应的增加或减少，增加或 减少的值由突触权值来决定，当膜电势V₁或V₂超过设定的阈值电压时，就会产生输出脉冲O₁和O₂，同时该神经元进入耐火周期，在耐火周期内，神经元在收到输入脉冲时膜电势也并不 会发生变化，始终处于最小值状态。

特征提取层T1：层中采用Gabor函数来运算生成卷积核，并将计算得到的卷积核配 置到神经元中，作为神经元的突触权值，Gabor函数的计算如公式(2)所示：

$F_{\theta }(\mu ,\upsilon )=e^{(-\frac{{\mu }_0^2+{\gamma }^2{v}_0^2}{2{\sigma }^2})}cos\left(\frac{2\pi }{\lambda }{\mu }_0\right)$

μ₀＝μcosθ+vsinθ(2)

v₀＝-μsinθ+vcosθ

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核 函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状，在本层 中，只选定一种尺度，计算多种角度的卷积核，将其配置到神经元中，作为神经元的突触权 值；若AER图像传感的输出分辨率是N×N，该层拟采用M种角度的卷积核，则该层需要的神经 元数量为N×N×M，神经元配置适当的参数后，神经元的膜电势会按照公式(1)变化。

特征提取层T2：T1层某个神经元膜电势达到阈值时，该神经元会产生脉冲输出，T2 层会接收T1产生的脉冲序列，将接收到的脉冲序列分别输入不同的通道，不同通道的神经 元会配置不同的突触权值，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷 积核，做为神经元的突触权值，但是不同通道之间Gabor函数的尺度也会不同，本层所有通 道使用的Gabor卷积核尺度都比T1层小。

池化层P：将T2层中每相邻不重叠4×4区域的神经元的输出，作为一个单元，输入 到P层的一个神经元中，此过程相当于卷积神经网络中的池化过程pooling，该层神经元的 阈值电压＜2毫伏，以保证尽量多的神经元会超过阈值电压，产生输出脉冲；

识别层R：原始待识别样本分为训练样本和测试样本，训练样本和测试样本分别经 过上述过程的处理，将训练样本的P层输出，输入到识别层中，并采用TempotronLearning Rule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测试样本的P 层输出，输入到该识别层中，测试识别的准确率。

本发明的特点及有益效果是：

本发明提出的多层脉冲神经网络可以充分利用AER图像传感器输出事件中包含的 时间信息，计算更加自由，采用多层提取特征的方法，减小了识别层的计算量，提高识别的 准确率。

附图说明：

图1IF神经元模型工作原理。

图2多层脉冲神经网络结构图。

图3特征提取层。

具体实施方式

组成脉冲神经网络的神经元模型有很多种，常用的构成脉冲神经网络的神经元模 型有脉冲响应模型(SpikeResponseModel)和Integrate-and-Fire神经元模型，它们被广 泛应用于图像处理领域。本发明中采用的是一种简化的Integrate-and-Fireneuron(IF) 神经元模型，以此神经元模型为基础来构建整个脉冲神经网络。该神经元模型具有线性的 衰减率和耐火(refractory)周期，结构如图1所示。脉冲神经元的输入只能是包含时间信息 的脉冲序列，图1上半部分中I₁和I₂分别代表两个输入脉冲序列，两个脉冲神经元膜电势分 别用V₁和V₂表示，产生的输出脉冲序列分别用O₁和O₂表示，神经元之间存在的相互抑制作用 称为侧向抑制，图1中用Reset来表示。图1的下半部分描述了两个神经元在接收到输入脉冲 后膜电势的变化，神经元在每接收到一个输入脉冲时，其膜电势V₁或V₂会相应的增加或减 少，增加或减少的值由突触权值来决定，图1中只描述了膜电势增加的情况，当膜电势V₁或V₂超过设定的阈值电压时，就会产生输出脉冲O₁和O₂，同时该神经元进入耐火周期，图中用 t_refr表示。在耐火周期内，神经元在收到输入脉冲时膜电势也并不会发生变化，始终处于最 小值状态。

采用该简化的IF神经元模型，可以确保每个神经元的输出脉冲只能由兴奋性输入 脉冲触发，而不会由亚阈值膜电势触发，当一个输入到达神经元时，该神经元的膜电势只能 由上次更新的时间和上次更新后的状态决定，因此我们只需要更新收到脉冲的神经元的电 势。由多个脉冲神经元可以组成多层的脉冲神经网络，当其中一个神经元收到前一层神经 元来的脉冲时，该神经元的膜电势变化如图1所示，公式(1)利用数学公式描述了这一变化 过程：

如果t_i-t_lastspike＜t_refr则否则

$V_{mi}\leftarrow \left(\begin{array}{ccc}\max \{V_{m_{i-1}}-\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\ge 0\\ \min \{V_{m_i}+\frac{I_l}{C_m}(t_i-t_{i-1}),0\}& if& V_{m_{i-1}}\ge 0\end{array}\right)---\left(1\right)$

$V_{m_i}\leftarrow V_{m_i}+{\omega }_i$

如果则t_lastspike←t_i产生输出脉冲。

其中，t_i是第i个脉冲到达神经元的时间，t_lastspike是当前神经元产生上一个脉冲 的时间，t_refr是神经元的耐火周期，是第i个脉冲输入后该神经元的膜电势，是第i-1 个脉冲输入后该神经元的膜电势，I_l是漏电流，C_m是膜电容，ω_i是突触权值，V_thresh是当前神 经元的阈值电压。

对于AER图像传感器来说，越是陡峭的形状边缘，输出事件的产生率会越高。神经 元的突触权值和输出事件的空间相关性越高，该神经元的活动就会更加强烈。活动最强的 神经元，其膜电势会比其他神经元更快超过阈值电压，因此可以以此来判断活动最强的神 经元。基于这种机制，本发明提出的方法我们只关注哪个神经元最先做出响应，产生脉冲， 以此来判断出活动最强的神经元。

本发明提出的方法中包含4层脉冲神经元，其结构如图2所示：第一层特征提取层 (T1)，第二层特征提取层(T2)，池化层(P)和识别层(R)。T1，T2，P，R层都采用上述描述的简 化的IF神经元模型来构建整个脉冲神经网络，但需要配置不同的参数，包括公式(1)中的神 经元的耐火周期，漏电流，膜电容，突触权值，阈值电压。本结构的主要特点是充分利用脉冲 的时间信息来编码神经元的活动强度，活动越强的神经元可以越早的产生脉冲。

本发明中将AER事件作为输入脉冲，由于AER图像传感器的输出具有异步性特点， 可以摆脱系统时钟的限制，保证了在计算中可以更加自由的充分利用输出事件的时间信 息。

特征提取层T1：在图像处理中，Gabor函数是一个用于边缘提取的线性滤波器。在 本发明中该层中采用Gabor函数来运算生成卷积核，并将计算得到的卷积核配置到神经元 中，作为神经元的突触权值。Gabor函数的计算如公式(2)所示：

$F_{\theta }(\mu ,\upsilon )=e^{(-\frac{{\mu }_0^2+{\gamma }^2{v}_0^2}{2{\sigma }^2})}cos\left(\frac{2\pi }{\lambda }{\mu }_0\right)$

μ₀＝μcosθ+vsinθ(2)

v₀＝-μsinθ+vcosθ

其中μ和ν分别代表生成的卷积核的横纵坐标，λ代表正弦函数波长；θ代表Gabor核 函数的方向，σ代表高斯函数的标准差，γ代表空间长宽比，决定Gabor函数的形状。根据需 要改变上述参数的值可以产生不同尺度，不同角度的卷积核。在本层中，我们只选定一种尺 度，但是会计算多种角度的卷积核，将其配置到神经元中，作为神经元的突触权值。若AER图 像传感的输出分辨率是N×N，该层拟采用M种角度的卷积核，则该层需要的神经元数量为N ×N×M，神经元配置适当的参数后，神经元的膜电势会按照公式(1)变化。特征提取层1(T1) 中采用Gabor公式计算的卷积核作为突触权值，公式(1)中的λ＝5，σ＝2.8，卷积核的尺度设 为9×9，共设置12个角度，如图2所示，每个子图上方的黑色斜线段表示卷积核的角度，神经 元的阈值电压V_thresh＝200mV，I_l/C_m＝50，t_refr＝5，M＝12。

特征提取层T2：T1层某个神经元膜电势达到阈值时，该神经元会产生脉冲输出，T2 层会包含不同的输入通道，每个通道都会接收T1产生的脉冲序列，不同通道的神经元会配 置不同的突触权值，每个通道会使用相同尺度但是不同角度的Gabor函数计算的卷积核，作 为神经元的突触权值，但是不同通道之间Gabor函数的尺度也会不同，该层所有通道使用的 Gabor卷积核尺度都比T1层小，可以提取更为精确的特征信息。特征提取层2(T2)设置3个通 道，公式(1)中的λ＝5，σ＝2.8，每个通道卷积核尺度分别为3×3，5×5，7×7，每种尺度又选 择4中不同的角度0°，45°，90°，135°，因此T2层总共采用12种卷积核，神经元的阈值电压 V_thresh＝100mV,I_l/C_m＝20,t_refr＝2，该层需要的神经元个数为N×N×12×3。

池化层P：将T2层中每相邻不重叠4×4区域的神经元的输出，作为一个单元，输入 到P层的一个神经元中，此过程相当于卷积神经网络中的池化过程(pooling)。该层神经元 的阈值电压设置为一个小于2毫伏值，以保证尽量多的神经元会超过阈值电压，产生输出脉 冲。池化层(P)神经元的阈值电压V_thresh＝1mV,I_l/C_m＝0,t_refr＝5，该层需要的神经元个数为 N/4×N/4×12×3。

识别层R：原始待识别样本(图片)分为训练样本和测试样本，训练样本和测试样本 分别经过上述过程的处理。将训练样本的P层输出，输入到识别层中，并采用Tempotron LearningRule监督学习算法对该层脉冲神经元进行训练，经过大量的训练后，就可以将测 试样本的P层输出，输入到该识别层中，测试识别的准确率，该层的相关参数按照经验值设 置即可。