基于分组注意力机制的自适应剪枝模型压缩算法

摘要

本发明属于网络压缩技术领域，具体涉及基于分组注意力机制的自适应剪枝模型压缩算法，包括基于注意力机制的通道剪枝方法和基于强化学习的模型相关剪枝策略，通过设置分组注意力剪枝模块，不仅实现了卷积核评价的功能，而且也完成了剪枝任务，分组注意力模块可以为每个卷积核生成一个重要性分值，与传统注意力模块的区别在于可以体现出前一层剪枝对后面层剪枝的影响，可以针对输入数据的不同，选择不同的参数参与前后向的运算，模型的容量不会减少，造成的精度损失会大幅降低，为不同数据自适应评估每个卷积核的重要性，将分数低的卷积核忽略，不参与运算，可以有效地提高模型推理速度。