面向卷积神经网络的模型压缩方法研究

目录

论文说明

声明

摘要

1．1研究背景及意义

1．2模型压缩研究现状

1．3本文主要内容

1．4本文章节安排

第2章相关基础理论介绍

2．1卷积神经网络

2．1．1卷积层

2．1．2池化层

2．1．3全连接层

2．1．4激活函数

2．2损失函数

2．2．1基于距离度量的方法

2．2．2基于概率分布度量的方法

2．3优化算法

2．3．1SGD算法

2．3．2Adagrad算法

2．3．3Adadelta算法

2．3．4Adam算法

2．4典型卷积神经网络模型

2．4．1VGGNet网络

2．4．2GoogleNet网络

2．4．3ResNet网络

2．4．4DenseNet网络

2．5本章小结

第3章基于局部特征的紧凑型卷积神经网络

3．1引言

3．2基于局部特征搭建紧凑型卷积神经网络

3．2．1局部特征提取层的架构

3．2．2概率综合层的架构

3．2．3损失函数的优化

3．2．4算法流程

3．3实验与分析

3．3．1数据集介绍

3．3．2网络结构和参数设置

3．3．3损失函数对比实验

3．3．4参数K对网络测试性能的影响实验

3．3．4在不同数据集上的对比实验

3．4本章小结

第4章基于深度特征图迁移的神经网络模型压缩方法

4．1引言

4．2相关工作

4．2．1知识蒸馏方法

4．2．2FitNet方法

4．3DFMT方法

4．4实验与分析

4．4．1在CIFAR-10上的实验

4．4．2在CIFAR-100上的实验

4．4．3在SVHN上的实验

4．4．41DFMT通用性能实验

4．5本章小结

第5章基于量化注意力蒸馏的轻量型车道检测网络

5．1引言

5．2相关工作

5．3量化注意力蒸馏方法

5．3．1注意力机制

5．3．2量化方法

5．3．3教师衰减策略(TDS)

5．3．4算法整体框架

5．4实验与分析

5．4．1数据集及评价指标

5．4．2实验环境及模型参数设置

5．4．3实验结果与分析

5．5本章小结

第6章总结与展望

6．1总结

6．2展望

参考文献

攻读学位期间取得的研究成果

致谢