脉冲神经网络

摘要： 近年来,随着摩尔定律的放缓,传统体系结构逐渐面临“存储墙”和“功耗墙”问题。如今新型计算模式和体系结构层出不穷,其中就包含了类脑计算。由于其存算一体的特点,类脑计算已逐步打破了冯·诺依曼体系结构带来的“存储墙”和“功耗墙”限制,在类脑处理器上相关类脑算法得到了高效的应用。现阶段在大规模生物神经网络的应用场景下,需要提升多核类脑处理器的规模可扩展性,保持其高数据吞吐量和低传输延时。现今,大多数多核类脑处理器的设计采用片上网络作为互连结构。然而目前关于这类片上网络的验证研究还相对较少。鉴于片上网络对多核类脑处理器的重要性,建立一套完整而鲁棒的片上网络功能验证框架意义重大。旨在基于随机化方法来生成行为级和FPGA硬件级测试所需的激励文件,通过对日志文件进行高效处理实现较为全面的功能验证。

摘要： 概率计算是将二进制数编码为概率脉冲序列进行运算,具有功耗低、资源消耗少的优势,将概率计算应用于脉冲神经网络(spiking neuron network,SNN)的硬件电路设计,有利于实现类脑模式的运算.为了实现神经网络的低功耗边缘计算,本文提出一种基于概率计算的SNN异步架构.使用异步微流水线控制的交叉阵列实现LIF(leakyintegrate and fire)神经元模型,可用于实现全连接结构的SNN运算;在SNN的输入层使用概率逻辑将输入数值编码为概率脉冲串.通过累加完成神经元突触权值与输入脉冲的计算,并基于逻辑计算实现神经元膜电位数值的衰减;使用异步架构控制概率脉冲序列的编码与概率脉冲数据流的信息传输,降低了SNN运算的功耗.所提出的架构实现了784输入、10输出的SNN运算;在Xilinx KCU116平台进行验证,获得了78.4 GSOPS的峰值性能与137.47 GSOPS/W的能耗比.

摘要： 为满足大规模脉冲神经网络(SNN)的计算需求,类脑计算系统通常需要采用大规模并行计算平台。然而随着节点数量的增多,通信在仿真中所占比例大幅增加,导致计算效率下降。类脑模拟器开源软件NEST采用缓冲区大小相等的策略,有效缩短了通信时间,但是由于缓冲区互相无交流,使得通信数据量持续增加,因此其在能耗方面表现较差。分析NEST集群的负载特性,针对其中的通信问题进行稀疏性优化,提出基于SNN子图跨节点优化的神经元重分布算法ReLOC。通过优化SNN子图的跨节点分布减少每一轮神经元到进程的数量,从而减少跨节点脉冲,使进程间通信更加稀疏,达到缩减每一轮通信进程的目的。在此基础上,以稀疏交换的思想对NEST本身的通信机制进行改进,使有脉冲交换的进程进行数据交换,从而在连接稀疏的情况下提升通信效率。以包含28个Xilinx PYNQ节点的计算集群作为实验平台,运行皮质微电路SNN模型和平衡随机网络模型,验证ReLOC算法的有效性。实验结果表明,相比循环分布算法,重分布算法能够使通信的平均稀疏性提高20%,同时配合稀疏交换最多可使通信能耗减少98.63%。

摘要： 深度学习为轴承故障诊断的智能化发展提供了新思路。本文从类脑计算角度出发,设计一种对轴承数据敏感的脉冲神经网络来完成故障数据分类任务。首先采用信号分解的方式提高原始信号特征提取效果,然后对故障信号进行脉冲编码,并采用多分量混合输入方式填充时间步作为神经网络的输入,最后采用卷积脉冲神经网络(SCNN)进行故障分类。为了验证该模型的分类效果,采用西储大学轴承数据集进行验证,分类准确率达到了99.78%。结果表明该轴承数据编码方案可以充分发挥脉冲神经网络时空动力学特征,且该脉冲神经网络模型在轴承故障诊断问题上具有高精度、高效率的特性。本研究有利于促进脉冲神经网络在故障诊断领域的研究和应用。

摘要： 目前,类脑计算所面临的最具挑战性的问题之一是如何高性能且低功耗地进行大规模类脑仿真。本文选用应用生态完整、支持大规模仿真的NEST类脑仿真器,针对NEST类脑仿真器可移植性差、仿真速度慢等问题,设计了一种ARM+FPGA的类脑计算平台的通用性系统架构。本设计采用硬件加速神经元计算模块、通用数据传输接口设计、软硬件协同设计等方法提升了NEST类脑仿真器的性能。在3款类脑计算平台上证明了该架构的可行性,为类脑计算平台提供了一种通用解决方案。

摘要： 车辆重识别任务在模糊情景下存在难以顺利完成任务的情况。在模糊情景下,数据的质量会受到不同程度的影响。针对上述问题,本文提出了一种融合脉冲神经网络(SNN)的车辆重识别算法。脉冲神经网络具有功耗低的优势,且在处理非实值数据时性能优秀,适合应用于模糊情景。本算法通过设计脉冲神经网络模型,对特征图进行深度特征提取,通过残差计算实现身份映射,同时通过卷积注意力模块来优化网络。实验结果表明,算法在添加动态模糊的VeRi-776数据集上Rank-1与平均精度均值(mean average precision,mAP)指标表现优秀,能够有效地完成模糊环境下的车辆重识别任务。

摘要： 针对随钻振动引起MEMS陀螺仪的数据漂移问题,文中提出了一种脉冲神经网络算法。首先根据陀螺仪漂移误差的时间特性,利用脉冲网络的脉冲时间编码陀螺仪的信息强度。然后利用Izhikevich神经元模型的突触可塑性,调节激发性突触电导并抑制性突触电导,增强网络的鲁棒性,从而提高陀螺仪信号对噪声的抗干扰能力。在不同振动频率下,分析高斯白噪声输出神经元的点火率和膜电位间的相关性。实验结果表明,在不同频率的强振动下,噪声对输出神经元点火率及输出层神经元点火率相对变化的影响较小,对输出层神经元膜电位的影响较小,但是对膜电位间相关性的影响较大。该结果证明了文中所提方法提高了陀螺仪在振动噪声下的抗干扰能力,为陀螺仪漂移处理提供了新的思路。

摘要： 在计算机视觉领域中,卷积神经网络取得了举世瞩目的成就,但其能耗问题一直未能得到很好解决.基于此问题,本文主要研究无监督学习范式下的Spike-CNN分类性能以及计算力.首先,本文设计了一种基于CNN和SNN的混合结构,在层级结构上实现脉冲机制;其次,为减少模型训练时间,本文提出了ReLU-ROC编码方案;最后,为使兴奋性神经元快速做出决策,本文提出了具有决策能力的RP-STDP学习方案:计算每对突触前与突触后兴奋性神经元的相对时间差.实验结果表明:以工业机器人采集到多元时间序列数据解决机械臂不同工作状态的3分类、4分类、5分类问题,在没有引入其他分类器的情况下,本文提出的具有奖罚机制的STDP的Spike-CNN方法平均准确率为LP1(91.07%)、LP2(96.66%)、LP4(93.95%).

摘要： 面对日益复杂的电磁环境和层出不穷的新体制雷达,基于人工方式提取雷达辐射源特征难以满足现代认知电子战的需求。为提升雷达辐射源识别的智能化水平,提出一种新的基于脉冲神经网络(Spiking Neuron Network,SNN)进行雷达辐射源调制类型识别的算法。首先利用时频分析的方法,将5种常见雷达时域信号转换为二维灰度图,使用高斯调谐曲线编码器将输入数据转化为脉冲发放时刻,然后传入由Tempotron组成的脉冲神经网络进行识别。仿真实验结果表明脉冲神经网络具有优良的检测精度,功耗较低,验证了该方法的有效性。

摘要： 脉冲神经网络(SNN)采用脉冲序列表征和传递信息,与传统人工神经网络相比更具有生物可解释性,但典型SNN的特征提取能力受到其结构限制,对于图像数据等多分类任务的识别准确率不高,不能与卷积神经网络相媲美。为此提出一种新型的自适应编码脉冲神经网络(SCSNN),将CNN的特征提取能力与SNN的生物可解释性结合起来,采用生物神经元动态脉冲触发特性构建网络结构,并设计了一种新的替代梯度反向传播方法直接训练网络参数。所提出的SCSNN分别在MNIST和Fashion-MNIST数据集进行验证,取得较好的识别结果,在MNIST数据集上准确率达到了99.62%,在Fashion-MNIST数据集上准确率达到了93.52%,验证了其有效性。

摘要： 为了实现脉冲神经网络的硬件电路,本文受FPGA硬件电路实现启发,采用欧拉法离散忆阻器与神经元方程的方法,将忆阻器作为神经外部连接突触,与更具生物特性的Izhikevich神经元结合,探索性地构建了基于忆阻器的脉冲神经网络.仿真结果显示:在Simulink和Dsp Builser两种平台下,Izhikevich神经元模型不同放电模式下的动作电位变化规律接近,忆阻器的特性曲线相仿,构建的前馈型和反馈型神经网络中的各神经元动作电位一致,说明了采用欧拉法离散神经元模型的方法构建忆阻器脉冲神经网络模型及仿真分析方法的正确性,为之后其他类型脉冲神经元大规模网络的构建和FPGA硬件实现脉冲神经网络奠定了基础.

摘要： 类脑计算,是指仿真、模拟和借鉴大脑神经网络结构和信息处理过程的装置、模型和方法,其目标是制造类脑计算机和类脑智能.与经典人工智能符号主义、连接主义、行为主义以及机器学习的统计主义这些技术路线不同,类脑计算采取仿真主义:结构层次模仿脑(非冯·诺依曼体系结构),器件层次逼近脑(模拟神经元和神经突触的神经形态器件),智能层次超越脑(主要靠自主学习训练而不是人工编程).类脑计算相关研究已经有二十多年的历史,本报告从脑科学相关研究、模拟生物神经元和神经突触的神经形态器件、神经网络芯片、类脑计算模型与应用等方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望.

摘要： 类脑计算,是指仿真、模拟和借鉴大脑神经网络结构和信息处理过程的装置、模型和方法,其目标是制造类脑计算机和类脑智能.与经典人工智能符号主义、连接主义、行为主义以及机器学习的统计主义这些技术路线不同,类脑计算采取仿真主义:结构层次模仿脑(非冯·诺依曼体系结构),器件层次逼近脑(模拟神经元和神经突触的神经形态器件),智能层次超越脑(主要靠自主学习训练而不是人工编程).类脑计算相关研究已经有二十多年的历史,本报告从脑科学相关研究、模拟生物神经元和神经突触的神经形态器件、神经网络芯片、类脑计算模型与应用等方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望.

摘要： 类脑计算,是指仿真、模拟和借鉴大脑神经网络结构和信息处理过程的装置、模型和方法,其目标是制造类脑计算机和类脑智能.与经典人工智能符号主义、连接主义、行为主义以及机器学习的统计主义这些技术路线不同,类脑计算采取仿真主义:结构层次模仿脑(非冯·诺依曼体系结构),器件层次逼近脑(模拟神经元和神经突触的神经形态器件),智能层次超越脑(主要靠自主学习训练而不是人工编程).类脑计算相关研究已经有二十多年的历史,本报告从脑科学相关研究、模拟生物神经元和神经突触的神经形态器件、神经网络芯片、类脑计算模型与应用等方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望.

摘要： 类脑计算,是指仿真、模拟和借鉴大脑神经网络结构和信息处理过程的装置、模型和方法,其目标是制造类脑计算机和类脑智能.与经典人工智能符号主义、连接主义、行为主义以及机器学习的统计主义这些技术路线不同,类脑计算采取仿真主义:结构层次模仿脑(非冯·诺依曼体系结构),器件层次逼近脑(模拟神经元和神经突触的神经形态器件),智能层次超越脑(主要靠自主学习训练而不是人工编程).类脑计算相关研究已经有二十多年的历史,本报告从脑科学相关研究、模拟生物神经元和神经突触的神经形态器件、神经网络芯片、类脑计算模型与应用等方面对国内外研究进展和面临的挑战进行介绍,并对未来的发展趋势进行展望.

摘要： 针对大脑运动皮层群体神经元信号与运动行为关系的分析，提出了一种Spiking神经网络（SNN）的分类算法。SNN的网络连接权值与突触连接的延时参数采用改进的粒子群优化方法（PSO）进行训练。仿真结果表明了SNN分类效果优于群体向量法（PV）分类效果，有利于实现性能更高的用于神经康复的脑机接口系统。

摘要： 针对大脑运动皮层群体神经元信号与运动行为关系的分析，提出了一种Spiking神经网络（SNN）的分类算法。SNN的网络连接权值与突触连接的延时参数采用改进的粒子群优化方法（PSO）进行训练。仿真结果表明了SNN分类效果优于群体向量法（PV）分类效果，有利于实现性能更高的用于神经康复的脑机接口系统。

摘要： 针对大脑运动皮层群体神经元信号与运动行为关系的分析，提出了一种Spiking神经网络（SNN）的分类算法。SNN的网络连接权值与突触连接的延时参数采用改进的粒子群优化方法（PSO）进行训练。仿真结果表明了SNN分类效果优于群体向量法（PV）分类效果，有利于实现性能更高的用于神经康复的脑机接口系统。

摘要： 针对大脑运动皮层群体神经元信号与运动行为关系的分析，提出了一种Spiking神经网络（SNN）的分类算法。SNN的网络连接权值与突触连接的延时参数采用改进的粒子群优化方法（PSO）进行训练。仿真结果表明了SNN分类效果优于群体向量法（PV）分类效果，有利于实现性能更高的用于神经康复的脑机接口系统。

摘要： 针对大脑运动皮层群体神经元信号与运动行为关系的分析，提出了一种Spiking神经网络（SNN）的分类算法。SNN的网络连接权值与突触连接的延时参数采用改进的粒子群优化方法（PSO）进行训练。仿真结果表明了SNN分类效果优于群体向量法（PV）分类效果，有利于实现性能更高的用于神经康复的脑机接口系统。

摘要： 本发明提供一种人工神经网络和脉冲神经网络神经的混合通信方法，包括：判断进行通信的神经网络基本计算单元中发送方与接收方的数据类型是否一致，若一致则进行数据传输，若不一致，则执行数据格式转换，将发送方的数据类型转换为与接收方的数据类型，并进行数据传输。本发明提供的人工神经网络与脉冲神经网络神经的混合通信方法实现了人工神经网络与脉冲神经网络的直接通信。

摘要： 本发明公开了一种融合人工神经网络与脉冲神经网络的处理器，属于人工智能硬件领域。本发明包括共享存储单元、主控制器、ANN学习控制电路、SNN推理控制电路以及共享计算单元；将ANN学习控制电路输出的权值作为SNN推理控制电路的权值来实现两个神经网络的融合，使该处理器具备高准确率场景下和低功耗环境下两种工作模式。使用时，根据实际场景需求，通过主控制器控制ANN学习控制电路或SNN推理控制电路进行推理，解决了现有的基于神经网络进行信号分类处理无法适用于复杂多变的处理场景的问题，同时提升了低功耗环境下输入监测的准确率。

摘要： 本发明公开了一种卷积神经网络和脉冲神经网络的融合装置及方法，其中，结构包括：卷积神经网络结构、脉冲转换与编码结构和脉冲神经网络结构，其中，卷积神经网络结构包括输入层、卷积层和池化层；脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器；脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层。该结构能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。

摘要： 本发明公开了脉冲神经网络加速方法及脉冲神经网络的事件驱动加速器，属于脉冲神经网络加速技术领域。现有的脉冲神经网络加速器没有在控制方法层面优化脉冲神经网络计算过程，使得计算延迟高。传统时间驱动加速器不支持抑制性脉冲神经网络，限制其应用范围。本发明的一种脉冲神经网络加速方法，根据脉冲神经元模型以及脉冲编码方式，构建近似计算模型。该近似计算模型利用脉冲频域编码忽略脉冲序列时间语义这一特征，压缩脉冲信号在时间步上的分布，大幅降低脉冲路由过程以及后续神经计算过程。本发明的时间驱动加速器，重新规划脉冲神经网络计算过程，设置去重队列以及位示图解决脉冲抖动问题，实现对抑制型脉冲神经网络的高效支持。

摘要： 一种脉冲神经网络电路和基于脉冲神经网络的计算方法，该电路包括多个解压缩模块和计算模块。所述多个解压缩模块用于分别根据多个输入神经元的信息获得压缩后的权重矩阵中的多个权重值以及对应的多个输出神经元的标识，其中，所述多个解压缩模块中的每个解压缩模块用于并行获得所述压缩后的权重矩阵中相同行数的权重值以及所述相同行数的权重值对应的多个输出神经元的标识，所述压缩后的权重矩阵中每一行的非零权重值的数量相同，每一行的权重值对应一个输入神经元。所述计算模块用于根据所述多个权重值分别确定对应的所述多个输出神经元的膜电压。该脉冲神经网络电路能够提高计算效率。

摘要： 本发明涉及一种融合脉冲神经网络信息处理方法及融合脉冲神经网络，方法包括：接收配置指令，并读取配置指令中的需要配置的脉冲神经网络种类，其中，脉冲神经网络的种类包括通用脉冲神经网络和特定脉冲神经网络；根据脉冲神经网络的种类划分存储器的地址空间，并在寄存器中写入配置信息；读取配置信息，并基于配置信息选择对应的控制单元调用脉冲计算单元进行脉冲计算并在存储器中存储脉冲计算结果。与现有技术相比，本发明在克服了通用脉冲神经网络连接存储面积大和特定脉冲神经网络通用性不强的缺点的同时可以减小芯片的晶体管数量，缩小芯片体积，以及在相同晶体管数量的情况下提升芯片的效能。

摘要： 本发明提供一种人工神经网络和脉冲神经网络神经的混合通信方法，包括：判断进行通信的神经网络基本计算单元中发送方与接收方的数据类型是否一致，若一致则进行数据传输，若不一致，则执行数据格式转换，将发送方的数据类型转换为与接收方的数据类型，并进行数据传输。本发明提供的人工神经网络与脉冲神经网络神经的混合通信方法实现了人工神经网络与脉冲神经网络的直接通信。

摘要： 本发明公开了一种融合人工神经网络与脉冲神经网络的处理器，属于人工智能硬件领域。本发明包括共享存储单元、主控制器、ANN学习控制电路、SNN推理控制电路以及共享计算单元；将ANN学习控制电路输出的权值作为SNN推理控制电路的权值来实现两个神经网络的融合，使该处理器具备高准确率场景下和低功耗环境下两种工作模式。使用时，根据实际场景需求，通过主控制器控制ANN学习控制电路或SNN推理控制电路进行推理，解决了现有的基于神经网络进行信号分类处理无法适用于复杂多变的处理场景的问题，同时提升了低功耗环境下输入监测的准确率。

摘要： 本发明公布了一种基于动态卷积网络及脉冲神经网络的语音情感识别模型。本发明包括以下步骤：首先对语音信号预处理，提取Mel谱特征及统计特征；其次，将谱图输入到动态卷积网中，提取全局情感特征，将统计特征输入到脉冲神经网中，提取动态情感特征；然后将网络输出的两种深层特征进行拼接、融合；最后将融合后的特征送入分类器中分类。网络利用梯度反向传播算法优化模型性能。所提模型同处理两种语音特征来提取深层情感特征，两种特征有效的弥补了单一特征造成的特征缺失，能更有效的挖掘语音中的情感信息。

摘要： 本发明涉及神经网络技术领域，具体为一种人工神经网络到脉冲神经网络的映射方法。本发明通过对人工神经网络非结构化剪枝，获取随机稀疏的权值矩阵，再设定多个量化位数，使用K均值原型聚类初始化质心，确定量化阈值，测试人工神经网络的识别率并在不满足预期精度时对质心进行微调，对比后得出最佳量化位数。再使用最佳量化位数重复量化过程，设定脉冲化量化最大值，使用交叉熵评估量化前和量化后的序列相似性。得出交叉熵最小的最大值后，完成脉冲神经网络的脉冲化，最终实现从人工神经网络到脉冲神经网络的映射。相比现有技术本发明训练过程简单且映射过程中损失的精度低。