深度学习中卷积网络的改进算法研究

摘要

自2006年以来，深度学习技术备受瞩目。它正在多个领域如语音识别、图像识别等领域大放异彩，而深度学习的卷积网络技术也在计算机视觉领域独领风骚。目前在深度学习中使用最多也最有效的就是卷积神经网络(CNN)，由于其独特的参数共享的卷积结构，网络的表达能力得以增强;除了CNN，在卷积网络中还有一种简单的卷积网络被称为主成分分析网络(PCANet)，该网络的特点是只有前向传播的路径，没有反向传播这个过程，结构较为简单，也能堆叠成深度的网络。卷积网络的问题目前主要是计算量大、硬件条件苛刻、参数量大、训练过程缓慢，同时网络的泛化性也不够好。
　　卷积网络PCANet凭借其简单的网络结构，因而训练快速并且在识别任务中表现良好。本文首先针对PCANet，结合人脸识别的应用，提出了关于该网络的改进方法，重新构造了一种特征提取网络LPPNet/LPP PCANet。该网络在多个人脸数据集ORL，Yale，AR上验证了该网络的有效性。实验表明，LPPNet在这些数据集上表现良好，实验结果总体而言比PCANet稍好，同时远比单纯使用传统的人脸识别算法Laplacianfaces的效果要好，并且在只有较少的训练图像时以及表情变化较大时，LPPNet要明显优于PCANet。
　　而针对CNN中传统的卷积过程计算慢等问题，本文研究了在频域中通过不同快速算法计算卷积的有效性。利用卷积定理在频域中实现空域线性卷积被认为是一种非常有效的实现方式。因此本文首先提出一种统一的基于时域抽取方法的分裂基-2/(2a)1维FFT快速算法，其中a为正整数，然后在CPU环境下对提出的FFT算法对卷积神经网络中的加速性能进行了比较研究。在两个标准的数据库MNIST和Cifar-10上的实验表明:使用分裂基-2/(2a)实现的卷积替代传统的卷积实现方式并不会降低整个CNN的识别精度，并且当a=2时，分裂基-2/4能取得令人满意的提速效果，在以上两个数据集上分别提速38.56％和72.01％。
　　最后本文针对CNN中参数量大的问题，结合低秩矩阵分解，对Zhang等人新提出的图像去噪网络进行了改进。值得注意的是，据文献检索，将网络压缩的方法用于深度学习图像去噪网络的尝试尚属首次。本文成功的运用低秩矩阵分解的方法压缩了该去噪网络，并且指出即使降低原始网络的深度（17层）至12层仍然能有不逊色的去噪表现。对于特定噪声强度的去噪，仅仅用略微的PSNR值上的差异将原始DnCNN去噪网络的参数降低了至少75％，而视觉效果无明显差异;而对于盲去噪，用不超过0.5db的PSNR的下降保证了与标准去噪网络基本一致的视觉表现。

目录

声明

摘要

名词和缩略语表

第一章 绪论

1．1 课题背景与意义

1．2 卷积网络中的现行卷积方式

1．3 国内外研究现状

1．3．1 基于卷积网络的人脸识别研究现状

1．3．2 卷积神经网络的发展与研究现状

1．3．3 深度学习中网络压缩问题的研究现状及其应用

1．4 本文主要内容与安排

第二章 基于局部保持映射和卷积网络的特征提取网络

2．1 引言

2．2 主成分分析、局部保持映射与拉普拉斯脸

2．2．1 主成分分析算法

2．2．2 局部保持映射算法

2．2．3 拉普拉斯脸的构造

2．3 构造局部保持映射网络

2．3．1 第一阶段：利用LPP

2．3．2 第二阶段：利用LPP／PCA

2．4 实验结果与分析

2．4．1 在各个人脸数据库上的实验结果

2．4．2 实验参数的影响

2．5 本章小结

第三章 基于分裂基-2／(2α)FFT的卷积神经网络加速算法

3．1 引言

3．2 快速傅里叶变换及其分裂基变体

3．2．1 一维分裂基-2／(2α)FFT

3．2．2 使用行列算法将1维算法扩展成2维算法

3．2．3 分裂基-2／(2α)FFT算法复杂度分析

3．3 卷积神经网络基本原理

3．3．1 全连接层的反向传播算法

3．3．2 卷积层的反向传播算法

3．4 卷积神经网络与分裂基-2／(2α)FFT算法的结合

3．4．1 基于分裂基-2／(2α)的卷积层加速算法

3．4．2 卷积层在频域和空域中的计算复杂度的近似分析

3．5 实验结果与分析

3．5．1 1维分裂基-2／(2α)的实际运行时间比较

3．5．2 加速算法在两个数据集上的实验结果

3．6 本章小结

第四章 基于网络压缩方法的改进深度去噪网络

4．1 引言

4．2．2 DnCNN的网络结构

4．3 网络压缩算法：低秩矩阵分解

4．4 压缩DnCNN

4．5 实验结果与分析

4．5．1 实验设置

4．5．2 结果比较与分析

4．5．3 优化方法的影响

4．6 本章小结

第五章 总结与展望

5．1 总结

5．2 展望

致谢

作者简介

参考文献