深度神经网络中的结构化模型压缩算法研究与应用

目录

声明

第一章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.2.1 卷积神经网络研究现状

1.2.2 模型压缩研究现状

1.3 本文的主要研究内容

1.4 本论文的结构安排

第二章 深度学习与模型压缩加速基本理论

2.1 深度学习的特点

2.2.1 卷积层

2.2.2 池化层

2.2.3 全连接层

2.2.4 非线性激活层

2.2.5 Dropout层

2.2.6 批规范化层

2.3.1 AlexNet网络模型

2.3.2 ResNet网络模型

2.4 模型压缩加速方法

2.4.1 参数矩阵低秩分解

2.4.2 参数矩阵量化

2.4.3 致密的网络结构

2.4.4 知识蒸馏

2.4.5 网络模型裁剪

2.5 本章小结

第三章 基于敏感度的逐层剪枝方法研究

3.1 结构化网络剪枝的必要性

3.2 滤波器剪枝基本流程

3.3 相邻层间的剪枝策略

3.3.1 独立方法

3.3.2 贪心方法

3.4 多层网络的剪枝次序

3.4.1 顺序剪枝

3.4.2 敏感度次序剪枝

3.5 基于敏感度的硬性剪枝算法

3.6 实验结果与分析

3.6.1 评价指标

3.6.2 实验结果

3.7 本章小结

第四章 基于二维图像熵的多级滤波器剪枝算法

4.1 图像熵剪枝算法框架描述

4.2.1 滤波器范数

4.2.2 参数稀疏度

4.2.3 输出通道信息熵

4.3 迭代剪枝执行方式

4.4 基于二维图像熵的多级滤波器剪枝算法

4.5 K-means后端量化存储

4.6.1 实验环境设置

4.6.2 相关算法对比分析

4.7 本章小结

第五章 全文总结与展望

5.1 研究总结

5.2 研究工作展望

致谢

参考文献

攻读硕士学位期间取得的成果