卷积神经网络中非线性激活函数的研究与应用

摘要

基于深度学习的卷积神经网络模型在图像分类、图像检索、人脸识别等多个计算机视觉领域中得到了广泛地应用。卷积神经网络由许多重要的模块组成，而非线性激活函数在卷积神经网络中起到关键作用，卷积神经网络可以取得成功的一个重要因素是非线性激活函数的发展。目前，基于改进激活函数的网络架构都是在高质量图像中进行测试和评估的，而实际问题中的图像都属于降质图像，关于降质图像分类这一重要应用的研究还处于初步阶段。 首先，本文研究了现有的激活函数，在此基础上提出了一种新颖的参数化激活函数。在所有激活函数中，修正线性单元（ReLU）最为广泛使用，因为它具有高效和收敛速度快的属性。然而，ReLU完全丢弃包含有用信息的负激活值，尤其是卷积神经网络浅层的负激活值。受到参数化修正线性单元（PReLU）和指数线性单元（ELU）的启发，本文提出了幂线性单元（PoLU）。PoLU对输入的负激活部分实施有符号的能量归一化，这种能量归一化的参数是可以学习的。PoLU有通道共享和通道独享两种策略，通道共享策略引入的参数更少，但是通道独享策略具有更好的性能。同时，PoLU像ReLU那样保持正激活部分不变。PoLU可以高效地实现并且灵活地运用到不同的卷积神经网络架构中。 其次，基于PoLU的网络架构的重要应用不仅体现在高质量图像分类问题的研究中，同时还体现在降质图像分类的研究中。降质图像分类具有重要的现实意义，PoLU在高质量图像分类中有成功的应用，其对于数据中的噪声具有鲁棒性，这对于降质图像分类是有利的。降质图像中存在大量的噪声和严重的信息损失，直接使用预训练的网络对降质图像进行分类的性能并不是很好。本文将PoLU应用在将质图像分类研究中，将原始网络中的ReLU替换成PoLU，并对改进后的网络结构在降质图像数据库上进行参数微调。 本文在高质量图像分类数据库CIFAR10和CIFAR100上对基于PoLU改进的Network in Network（NIN）网络架构进行了评估，大实验结果表明PoLU要比ReLU和其他相应的激活函数性能更好。同时，将PoLU应用于降质图像分类这一重要任务中。实验部分在基于PoLU改进的VGG-M网络上进行，结果表明改进的网络架构在降质图像上的分类性能在一定程度上优于ReLU。

目录

第一个书签之前

Abstract

1 绪论

1.1 研究的背景与意义

1.2 国内外研究现状

1.2.1 非线性激活函数研究现状

1.2.2 降质图像分类研究现状

1.3 本文的研究内容

1.4 论文整体架构

2 卷积神经网络和非线性激活函数

2.1 卷积神经网络基本理论

2.1.1 卷积神经网络标准层及训练

2.1.2 AlexNet网络架构

2.1.3 Network in Network（NIN网络架构）

2.2 非线性激活函数

2.2.1 经典的非线性激活函数

2.2.2 修正的线性单元ReLU

2.2.3 指数线性单元ELU

2.2.4 其他非线性激活函数

2.3 本章小结

3 幂线性单元PoLU

3.1 引言

3.2 PoLU网络层设计

3.2.1 前向传播

3.2.2 反向传播

3.2.3 通道共享策略

3.3 在高质量图像分类中的应用

3.3.1 数据库

3.3.2 实验设置

3.3.3 实验结果及比较

3.4 本章小结

4 幂线性单元与降质图像分类

4.1 引言

4.2 基于预训练网络的降质图像分类

4.2.1 网络模型和图像降质类型介绍

4.2.2 实验设置和预训练网络的生成

4.2.3 实验结果及分析

4.3 基于PoLU的网络微调及降质图像分类

4.3.1 实验方法

4.3.2 实验设置和网络训练

4.3.3 实验结果及分析

4.4 本章小结

参 考 文 献

攻读硕士学位期间发表学术论文情况

致 谢

大连理工大学学位论文版权使用授权书