基于注意力机制，知识蒸馏防御后门攻击的方法及系统

摘要

本发明公开了基于注意力机制，知识蒸馏防御后门攻击的方法及系统，应用于互联网安全技术领域，包括：神经网络微调步骤：将目标神经网络进行微调，得到一个微调后的深度神经网络；注意力图生成步骤：将深度神经网络每一个激活层的输出通过注意力映射算子，映射到注意力图上；模型自蒸馏步骤：利用注意力图逐层进行深度神经网络的知识自蒸馏处理，得到得到各层之间的蒸馏损失；防御模块生成步骤：通过模型交叉损失函数，训练得到防御模型。本发明可以有效防御后门攻击，并且防御效果远远超过了传统方法；在消除网络对触发模式的注意力方面也更有效。