一种基于预剪枝和联合剪枝的语言模型剪枝方法

摘要

本发明涉及语言模型剪枝领域，尤其涉及一种基于预剪枝和联合剪枝的语言模型剪枝方法，包括通过设备预留存储空间和语言模型实际所占存储空间计算出总剪枝率；采用预剪枝方法获取语言模型结构性剪枝率和语言模型各层的非结构性剪枝率；对语言模型进行结构性剪枝和非结构性剪枝，并且通过重训练方式恢复模型精度；本发发明通过预剪枝这种剪枝率分配方式可以获取合理的语言模型结构性剪枝率和语言模型各层的非结构性剪枝率，并且联合结构性剪枝和非结构性剪枝可以对语言模型进行彻底的剪枝。