一种用于执行全连接层神经网络训练的装置和方法

摘要

本公开提供了一种用于执行人工神经网络全连接层反向训练的装置，包括指令存储单元、控制器单元、数据访问单元、互连模块、主运算模块、以及多个从运算模块。使用该装置可以实现人工神经网络全连接层的反向训练。对于每一层来说，首先对输入神经元梯度向量进行加权求和计算出本层的输出神经元梯度向量。该输出神经元梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入神经元梯度向量。将输入神经元梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度，然后可以根据所得到的本层权值的梯度来更新本层的权值。