一种基于3D内存用于神经网络加速的可数据压缩NoC

摘要

深度学习神经网络拥有数亿计的连接数,需要大量的计算资源和内存资源来支持,传统的计算架构并不能满足深度学习神经网络的需求.基于3D内存的神经网络加速架构以内存高带宽和访问低延迟的特点,正受到学术界的认可.但是深度学习神经网络中全连接层的权值矩阵的庞大数据量,对基于3D内存神经网络加速结构的NoC来说,是一个巨大的负载开销.本文基于深度神经网络经过pruning(剪枝)后的稀疏性特点,提出了一种基于3D内存神经网络加速结构的可数据压缩的NoC(片上网络)系统.通过在NoC系统中添加压缩器和解压缩器,本系统大幅降低了全连接层权值矩阵在网络中的传输规模.通过实验评估,本文提出的NoC系统相较于传统的NoC最高能够减少86％的延迟.