支持CNN与LSTM的二值权重神经网络芯片

摘要

深度神经网络在图像分类、语音识别、视频检测等领域都取得了巨大的成功,这些领域主要采用了卷积神经网络(CNN)、长短期记忆(LSTM)中的一种或者两种网络类型.由于CNN和LSTM网络结构的差异使得现有深度神经网络加速器无法同时高效支持这两种网络类型.权重二值化使得加速器对于CNN和LSTM的同时支持更加高效,同时使得计算复杂度和访存量大幅降低,使得神经网络加速器能够获得更高的能效,并且二值权重对中小规模神经网络模型的精度损失的影响非常有限.本文提出了一种高效支持CNN与LSTM的二值权重神经网络加速器设计结构,该结构在运行CNN和LSTM网络模型时,其核心运算单元利用率超过已有加速器,并且该加速器通过了片上系统(SoC)芯片验证,经过芯片实测,该加速器芯片能效在SoC系统级别达到了6.43 TOPS/W.