基于多教师联合指导量化的模型压缩方法及系统

摘要

本发明实例公开了一种基于多教师联合指导量化的网络模型压缩方法及系统，利用模型量化降低深度神经网络的存储开销，提高推理速度；基于在线同步学习的联合训练范式，结合集成学习中对弱学习进行线性组合构建强学习的思想，由多个教师网络对学生网络进行量化感知训练，充分利用教师网络提供的量化梯度信息，以弥补量化压缩造成的性能损失；最后，再以全精度模型作为教师网络，通过离线知识蒸馏进一步训练量化学生网络，最终得到精度不逊于复杂模型的轻量级模型。本发明有效结合了模型量化、知识蒸馏以及集成学习的优势，在实现模型压缩与加速的同时也提升了模型性能。