生成用于神经网络输出层的输出

摘要

本公开涉及生成用于神经网络输出层的输出。系统、方法和装置，包括编码在计算机存储介质上的计算机程序，用于通过神经网络处理网络输入，该神经网络具有后跟有softmax输出层的一个或多个初始神经网络层。一方面，该方法包括获得由所述一个或多个初始神经网络层产生的层输出，以及通过softmax输出层处理该层输出以产生神经网络输出。通过softmax输出层处理该层输出包括为每个可能输出值确定在多个层输出值中的出现次数；对出现在所述多个层输出值中的每个可能输出值，确定相应的求幂度量；通过根据各可能输出值的各出现次数来组合求幂度量，确定用于该层输出的归一化因子；以及对于每个层输出值，确定softmax概率值。