一种用于执行batch normalization运算的装置和方法

摘要

本发明公开了一种用于执行batch normalization运算的装置，包括指令存储单元、控制器单元、数据访问单元、运算单元。使用该装置可以实现多层人工神经网络中的batch normalization运算。对于batch normalization运算来说，在正向过程中，用输入减去均值除以方差与极小量定值eps和的平方根。之后乘以学习参数alpha加上学习参数beta得到该层输出。在反向训练过程中，将输入梯度向量减去梯度向量的均值向量之后再减去梯度向量与正向得到的输出的乘积的均值乘以输出，得到的差值除以正向中的方差与极小定值和的平方根，得到该层的输出梯度向量。本发明有效提高了对人工神经网络中batch normalization正反向运算的支持。