面向FPGA的卷积神经网络压缩平台

摘要

模型压缩对于在资源有限的设备上实时部署卷积神经网络(CNNs)非常重要。采用模型剪枝和量化作为主要方案,由于剪枝的解空间较大,剪枝结构优化仍然具有挑战性,同时由于指令集的不同需要设计面向FPGA的手动量化。提出了一种剪枝子结构优化方法来提高FPGA资源利用率,并对剪枝模型进行训练后手动量化。使用Wasserstein距离测量各层过滤器的灵敏度,揭示了模型性能和特征图的Wasserstein距离之间的联系,采用动态规划算法以指导剪枝子结构优化。针对FPGA手动设计8比特量化方案,降低了计算成本和推理时延。在ImageNet数据集上对VGG-16取得了27倍的压缩,同时在加速器上推理一张图片仅需7.1 ms。