用于加速BERT神经网络运算的深度学习加速器

摘要

本发明属于集成电路技术领域，具体为一种用于加速BERT神经网络运算的深度学习加速器。本发明加速器包括：三个矩阵乘阵列，用于计算乘累加操作；一个Softmax与点积计算单元，用于计算Softmax概率函数，并对分支网络输出进行点乘得到输出特征值；三个特征存储器，用于存储输入、输出特征值；两个权重存储器；一个控制器和片上片外接口，用于控制片外DRAM中的数据与片上数据进行交互。本发明针对神经网络中的分支网络结构进行优化，有效减少中间数据的存储空间，降低片外片上数据交互次数，降低功耗；同时通过配置存储单元与计算单元间可重构的数据互联，满足BERT神经网络中的分支网络结构计算要求，可用于端到端的神经网络计算。