转置的稀疏矩阵乘以稠密矩阵用于神经网络训练

摘要

本发明公开了转置的稀疏矩阵乘以稠密矩阵用于神经网络训练。实现神经网络的机器学习系统通常以推理模式或训练模式操作。在训练模式中，执行推理操作以帮助指导训练过程。推理模式操作通常涉及向前传播和对被编码为一组向量的某些稀疏矩阵的密集访问。反向传播和对相同稀疏矩阵的转置版本的密集访问提供了训练改进。生成稀疏矩阵的转置版本可能消耗大量额外的存储器和计算资源。在一个实施例中，生成两个附加编码向量，提供对稀疏矩阵和同一稀疏矩阵的转置表示的高效操作。在神经网络中，有效的操作可以减少反向传播所需的存储器量并降低功耗。