往复地缩放神经元的连接权重和输入值来挫败硬件限制

摘要

根据训练算法训练神经网络，该训练算法可以迭代地执行以下操作。从存储器中调用缩放的连接权重值。这些值跨越硬件允许的有限范围内或与之兼容的初始范围。基于调用的值，学习有效的连接权重值。学习的值跨越不同于初始范围的有效范围。随着学习的进行，通过缩放学习的值来更新缩放的连接权重值，以便更新的值跨越有限范围内的最终范围。考虑到下一迭代步骤，训练算法指示将更新的缩放的值存储在存储器中。