前向神经网络

摘要： 传统音乐更多的是基于歌词、韵律等单模态数据进行音乐情感鉴赏分类,难以完整的反应对象的全部特征.基于音乐特征点的非线性特征,融合音乐特征的多特征来建立一种多层神经网络结构下的前向神经网络模型,实现对音乐情感认识的分类模型.通过选择音色、力度、旋律、节奏、音高、音域、时域作为音乐特征提取变量,建立包括输入层、隐含层、输出层的前向神经网络结构模型.由输入变量完成前向传播计算,通过实际输出与期望输出间的误差梯度,引入Softmax函数进行反向激活计算,实现预定分类精度下的算法收敛.实例验证结果表明:音乐情感分类模型平均识别准确率提升到86％,在保证算法的计算效率基础上,有效地提高了算法的分类准确率.算法对节奏感、旋律和力度更强的音乐类型分类准确度更高,对于趋于平缓、轻盈的温柔情感音乐的分类准确度相对较低.

摘要： 首先,介绍一元Bernstein多项式的逼近定理和基本性质,并引入二元甚至n元Bernstein多项式,从而根据一元Bernstein多项式在相邻等距剖分点的差值为后置连接权构造一个三层前向神经网络;其次,通过编码机制、模拟选择、遗传复制、交叉和变异等操作给出算法运行过程;最后,利用误差函数和适用度函数对前置连接权及阈值进行迭代更新设计遗传算法.实验结果表明该算法有效.

摘要： 针对非线性动态系统的扩张状态观测器(ESO)参数整定问题,建立了基于BP神经网络的参数整定模型.采用在线梯度下降法进行网络训练以保证对动态系统的学习能力,并引入了IDBD算法,利用输入数据的信息和学习过程中的经验实现学习速率的自适应调整,以改进在线梯度下降法的适应性.数字仿真表明,该参数整定模型较传统的参数整定模型具有动态性能好、精度高等优点,能够提高非线性系统扩张状态观测器参数的动态整定精度,进而在一定程度上改善自抗扰控制器的系统控制性能.

摘要： In order to predict the navigation state of ship in the wind and waves accurately, timely and efficient and en-sure the safety of personnel, cargo and ship. We propose a self-adapting particle swarm optimization (SAPSO) algorithm to optimize the back propagation (BP) neural network model. The proposed model is referred to as SAPSO-BP model which employs PSO to adjust control parameters of BP network. This method overcomes the shortcomings of traditional BP neural network, which is sensitive to the threshold value of the initial value and is easy to fall into local minimum. At the same time, it also overcomes the shortcomings of the traditional PSO algorithm, such as premature convergence, low accuracy, and low efficiency and so on. The measurement data from scientific research and training ship Yukun was chosen as the test database. Simulation results have demonstrated that the proposed method can give predictions for ship rolling motion in real time with high accuracy and satisfactory stability.%为了准确高效预测船舶在海上的航行状态，以保证人员、货物和船舶的安全，提出一种自适应变异的粒子群优化算法（self-adapting particle swarm optimization algorithm，SAPSO），将该算法与误差反传（back propaga-tion，BP）神经网络结合。SAPSO-BP预测模型使用SAPSO算法优化BP网络的网络参数。克服传统BP神经网络对初始权值阈值敏感，容易陷入局部极小值的缺点，同时也克服了传统PSO算法早熟收敛、搜索准确度低及迭代效率低等缺点。运用该模型对科研教学船“育鲲”轮在海上航行的横摇情况进行实时预测实验，验证该方法的可行性与有效性具有较高的预测精度。

摘要： In order to detect mild cognitive impairment (MCI) and reduce the morbidity rate of Alzhei‐mer disease ,a novel MCI detection system based on radial basis function‐kernel support vector ma‐chine(RBF‐kSVM) was developed .The system read the 3D magnetic resonance(MR) images with preprocessing ,and then employed the principal component analysis (PCA ) to reduce the feature dimen‐sions ,followed by using RBF kernel SVM as the classification model .The parameter of RBF was cho‐sen by optimization method .OASIS public data were obtained from Internet ,and 50 normal controls (NCs) and 50 MCIs were picked up .The results of 10‐fold cross validation showed that the proposed method achieved desired results as 84% sensitivity ,78% specificity and 81% precision ,which were superior to the results of forward neural network ,decision tree ,SVM ,homogeneous and inhomoge‐neous polynomial kSVM .So the proposed RBF‐kSVM is remarkably effective in detecting MCI .%为了及早检测轻度认知障碍（Mild Cognitive Impairment ，MCI），降低阿尔茨海默病的患病率，文章提出一种基于径向基神经网络及核支持向量机（Radial Basis Function‐kernel Support Vector Machine ，RBF‐kS‐VM ）的MCI检测系统，该系统首先读取三维磁共振脑图像并预处理，然后通过主成分分析（Principal Compo‐nent Analysis ，PCA）降低特征维数，采用RBF核支持向量机作为分类模型，RBF的参数通过优化选择。实验数据采用OASIS公共数据库，选择50例正常对照组（Normal Control ，NC）与50例MCI患者。十折交叉验证结果显示文中所提出方法的敏感度为84％、特异度为78％、准确度为81％，优于前向神经网络、决策树、支持向量机、齐次与非齐次核支持向量机方法。文中构建的RBF核支持向量机有效，可用于MCI检测。

摘要： 针对BP神经网络收敛速度慢和易于陷入局部极值的缺陷,提出以双极性sigmoid函数作为隐层节点的激活函数的洪水灾害评价前向神经网络模型.采用对洪水灾害指标值进行规范变换,使规范变换后的各指标皆"等效"于同一个规范指标;构建并优化得出适用于洪水灾害评价的任意2个指标规范值的前向神经网络模型(NV-FNN(2-2-1))和任意3个指标规范值的前向神经网络模型(NV-FNN(3-2-1));对洪水灾害指标较多的前向神经网络建模,则可通过将多指标的前向神经网络模型分解为以上两种简单模型的组合表示.模型用于中国45个洪水灾情案例分析,其评价结果与实况相符合,验证了模型的有效性.与其他方法的评价结果比较表明:该模型由于不受指标数多少的限制,实用范围广泛.

摘要： The convex combination algorithm (CCA)is proposed to optimize single hidden layer feedforward neural net-works.This method updates the weights by iterating to massage the information in the hidden layer.And a new error function is set up to measure the performance of the neural networks.The optimized parameters can be obtained by decoupling the weights,which improves the calculating speed of the parameters.On the basis,a design method of an adaptive neural networks state observer for nonlinear systems is proposed.At last,the simulation is used and illustrates that the observer can observe the state values of the sys-tem accurately and quickly.%本文利用凸组合算法对单隐藏层前向神经网络进行了优化，通过迭代来更新权值以调整隐藏层的信息。同时引入了一个新的误差函数来评价误差性能，该函数通过对权值进行解耦来求解优化参数，提高了参数的计算速度。在此基础上，提出了一种非线性系统的自适应神经网络状态观测器设计方法。最后通过仿真验证了该神经网络观测器能准确并快速地观测出系统的状态值。

摘要： 该文针对具有可微作用函数的大规模前向神经网络，提出一种容错分析的方法。文中首先建立了前向神经网络的随机故障模型。然后根据各层神经元的不同故障特点，给出相应的容错分析结论。最后通过分析这种大规模前向神经网络邦联传播特点，结合神经元容错分析的结论，得出了大规模前向神经网络容错分析的算法和相应公式。

摘要： 针对前向神经网络，提出利用复合遗传算法进行可调参数优化的学习算法。该方法可以减少学习算法的理论分析难度，提高学习效率，算例表明，该方法算法可行，结果正确。

摘要： 该文给出Ｍ－Ｐ神经元模型的几何意义，这个几何的铨释，给神经元一个非常直观的理解，利用这个直观的理解，研究人员给出一个前向神经网络的设计原则。最后依此原则给出二个设计的模拟例子，以证明方法的有效性。

摘要： 前向神经网络的泛逼近性一直是神经网络的研究热点.本文给出了连续模糊函数的定义,依Hausdorff度量,借助模糊值Bernstein多项式关于连续模糊函数的逼近性质,证明了前向网络作为模糊函数泛逼近器的一致逼近性结果,并通过实例给出了逼近性的具体实现过程.

摘要： 本文提出了一种基于正则化最小二乘的前向神经网络快速学习的混合算法,极大地提高了前向网络的泛化性能和实时性能.应用该算法对存在较大噪声情形下的混沌系统进行辨识,辨识精度较高,收敛速度较快,辨识模型能较准确地逼近原混沌系统,辨识效果明显优于用BP算法所得到的模型.

摘要： 混沌神经网络是近来发展起来的一门新的科学,由于具有混沌特性的人工神经网络具有十分复杂的动力学特性,获得了广泛的研究,针对BP学习算法的不足,将混沌映射与变尺度法相结合,给出多层前馈神经网络的一种混沌学习算法.仿真结果表明,本文算法取得了良好的效果.

摘要： 投影寻踪学习网络（Ｐｒｏｊｅｃｔｉｏｎ Ｐｕｒｓｕｉｔ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ，ＰＰＬＮ）作为一种新型的前和神经网络，为解决实际的高维问题提供了新的工具。该文阐述了ＰＰＬＮ的基本原理，给出了多种实现算法，讨论了其优点，ＰＰＬ网络涉及广泛而深刻的理论的问题，对多变量控制系统的建模、软测量等实际问题又具有实际应用价值，值得一步研究和探讨。

摘要： 该文讨论了前向神经网络（ＦＮＮ）的推广性和ＦＮＮ处理能力之间的关系，进而通过对ＦＮＮ处理能力的度量定义了ＦＮＮ的推广性量度Ｇ〈，０〉，并给出了估计Ｇ〈，０〉的算法。该文还提出了利用Ｇ〈，０〉来估计解决目标问题所需要的ＦＮＮ规模的方法，并把该方法应用于函数逼近问题和样本分类问题。仿真结果证实了该方法的有效性。

摘要： 该文建立了乙烯裂解炉智能集成优化系统，该系统以人工神经网络作为优手段，以专家系统进行优化结果诊断。

摘要： 本发明提供一种不需要偏置的神经网络电路装置、神经网络、神经网络处理方法和神经网络的执行程序。二值化神经网络电路(100)具有：输入输入值x1～xn(xi)(二值)的输入节点和输入权重w1～wn(wi)(二值)的输入部(101)；XNOR门电路(102)，其接收输入值x1～xn和权重w1～wn，且进行XNOR逻辑运算；求和电路(103)，其求出各XNOR逻辑值的总和；批归一化电路(41)，其通过扩大归一化范围且使中心位移的处理来修正由二值化导致的分布不平衡；和激活函数电路(35)，其使用激活函数fsgn(B)对信号B进行转换，其中所述信号B是对求出总和之后的信号Y进行批归一化得到的信号。

摘要： 本发明提供一种无需批归一化电路的神经网络电路装置、神经网络、神经网络处理方法及神经网络的执行程序。二值化神经网络电路(100)具备：输入输入值x1～xn(xi)(二值)的输入节点及输入加权w1～wn(wi)的输入部(101)、接收输入值x1～xn及加权w1～wn并采用XNOR逻辑的XNOR门电路(102)、输入多位偏置W'的多位偏置W'输入部(110)、取各XNOR逻辑值和多位偏置W'的总和的求和电路(103)及对于取总和后的信号Y仅输出符号位的激活电路(120)。

摘要： 本发明提高数据并行型分散学习的吞吐量。神经网络系统具有存储器和访问存储器的多个处理器，多个处理器中的每一个处理器在多次学习中的每一次学习中，基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出，计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量，(1)在梯度或者更新量的累积不小于阈值的第一情况下，执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积，接收汇集后的梯度或者更新量的累积，用汇集后的梯度或者更新量的累积更新参数的第一更新处理，(2)在梯度或者更新量的累积小于阈值的第二情况下，执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集，用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理。

摘要： 本公开涉及训练神经网络的方法、训练神经网络的系统以及神经网络。一种用于训练第一神经网络，以在图像输入到第一神经网络时，检测在该图像上可见并且属于给定对象类别的对象的视点的方法，包括：提供不同视点下的多对图像的数据集，提供被配置成能够得出对象的外观信息的第二神经网络，提供被配置成能够使用外观信息和视点，得出所述类别的对象的合成图像的第三神经网络，联合训练第一神经网络、第二神经网络和第三神经网络。

摘要： 根据本发明的分布式处理用人工神经网络运算加速装置可以具有：外部主存储器，存储针对输入神经元的输入数据和突触权重；内部缓冲存储器，存储构成所述人工神经网络运算的各个循环所需的突触权重和输入数据；DMA模块，用于与所述外部主存储器及内部缓冲存储器直接发送和接收数据；神经网络运算装置，针对构成人工神经网络运算的各个循环重复地处理以下一系列顺序过程：读取存储在所述内部缓冲存储器的突触权重和输入数据、执行人工神经网络运算、将运算结果存储在所述外部主存储器；CPU，用于控制在所述外部主存储器和内部缓冲存储器存储针对输入神经元的输入数据和突触权重的操作和所述神经网络运算装置的运行；及通用通信中介块，可以与无关集成电路的类型地以物理方式连接的其他加速装置发送和接收针对所述输入神经元的输入数据和突触权重以及在所述神经网络运算装置执行的运算结果。

摘要： 一种卷积神经网络(CNN)处理装置(1)，设置有：输入缓冲器(10)，用于存储要对CNN应用的输入信号A；权重缓冲器(11)，用于存储权重U；卷积运算单元(12)，执行包括输入信号A与权重U之间的乘积‑求和运算的卷积运算；存储单元16，存储表(160)，在该表中，转换‑量化处理的输入与输出彼此相关联，其中，转换‑量化处理接受卷积运算的运算结果作为所述输入，基于预定条件来转换输入值，通过降低转换后的数据的比特精度来进行量化，并且输出结果；以及处理单元(14)，参考表(160)以获取转换‑量化处理的与卷积运算的运算结果相对应的输出。

摘要： 本发明提供一种能够通过减少存储器数量而将其配置在芯片上的神经网络电路装置、神经网络处理方法和神经网络的执行程序。三状态神经网络电路(200)具有非零卷积运算电路(21)、求和电路(22)和激活函数电路(23)，其中，所述非零卷积运算电路(21)在中间层中接收用于进行卷积的输入值Xi和权重Wi来进行卷积运算；所述求和电路(22)求取通过卷积运算得到的各运算值和偏置W0的总和；所述激活函数电路(23)用激活函数f(u)对求取总和得到的信号Y进行转换。非零卷积运算电路(21)跳过权重Wi为零的权重，来根据非零权重和与该非零权重对应的输入值Xi进行卷积运算。

摘要： 本发明提供了一种生成训练神经网络的训练数据的方法、训练神经网络的方法和利用神经网络进行自主操作的方法，以及相关设备和系统。一方面，提供了一种训练用于环境中对象的自主操作的神经网络的方法，包括：基于样本数据集生成策略值；基于所述策略值生成近似动作值函数；通过所述近似动作值函数为所述样本数据集中的所有状态以及所有可能动作生成近似策略值集；基于近似策略值计算所述神经网络的训练目标；计算训练误差作为所述训练目标和所述样本数据集中对应的状态动作对的策略值之间的差值；更新所述神经网络的至少一些参数以最小化所述训练误差。

摘要： 一种用于处理包括运算处理图在内的神经网络模型的神经网络系统，该神经网络系统包括运算处理器，其中该运算处理图包括多个运算，该运算处理器包括存储第一模块输入特征图的内部存储器。该运算处理器被配置为：基于所存储的第一模块输入特征图，通过执行多个运算中的第一运算来获得第一分支输出特征图；以及基于所存储的第一模块输入特征图，通过执行多个运算中的第二运算来获得第二分支输出特征图。该内部存储器在执行第一运算时保持对第一模块输入特征图的存储。

摘要： 一种对根据来自旧任务的数据训练的人工神经网络进行再训练的方法，包括：利用来自不同于旧任务的新任务的数据对人工神经网络进行训练，在利用新任务对人工神经网络进行训练期间，利用S l i ced Wasserste i nD i stance计算一系列隐藏层节点的激活分布中的漂移，基于激活分布中的漂移计算要添加到至少一个隐藏层的附加节点的数量，将输入层节点、隐藏层节点和输出层节点之间的连接权重重置为在利用来自新任务的数据对人工神经网络进行训练之前的值，将附加节点添加到至少一个隐藏层，以及利用来自新任务的数据对人工神经网络进行训练。