激活函数在卷积神经网络中的对比研究

摘要

近年,深度学习的快速发展致使越来越多的人从事相关的研究工作.但是,许多研究者在搭建深度神经网络模型时只是根据标准算法或改进算法直接搭建,而对算法本身及影响模型性能的因素不甚了解,致使在许多应用中或多或少存在盲目套用现象.通过研究深度神经网络,选择其中的重要影响因素激活函数进行深入研究.首先,分析了激活函数如何影响深度神经网络;接着对激活函数的发展现状及不同激活函数的原理性能进行了分析总结;最后,基于Caffe框架用CNN对Mnist数据集进行分类识别实验,对5种常用激活函数进行综合分析比较,为设计深度神经网络模型时选用激活函数提供参考.