一种基于熵注意的神经网络模型压缩与加速方法

摘要

本发明属于神经网络技术领域，涉及一种基于熵注意的神经网络模型压缩与加速方法。本发明通过构建一个参数量大，计算量大且性能优越的教师网络模型来对一个参数量少、计算量少且性能欠佳的学生网络的强监督学习，通过该学习过程，最终得到了一个参数量少、计算量少且性能优越的小模型，该小模型能够满足现实场景的实时性以及精度要求。