用于深度神经网络的硬件实现的误差分配格式选择

摘要

本公开涉及用于深度神经网络的硬件实现的误差分配格式选择。用于基于DNN的输出误差中归因于不同层的定点格式的部分来确定DNN的一个或多个层的定点格式的方法。具体地，在本文描述的方法中，使用泰勒近似来确定可归因于每个层的权重或输入数据值的量化的DNN的输出误差，并且基于该归因来调整一个或多个层的定点数格式。例如，在由DNN使用的定点数格式包括指数和尾数位长度的情况下，可以减少分配有最少部分的输出误差的层的尾数位长度，或者可以增加分配有最多部分的输出误差的层的尾数位长度。可以迭代地重复这种方法以确定DNN的层的一组最佳定点数格式。