基于混合激活函数的改进卷积神经网络算法

摘要

激活函数是人工神经网络的重要组成部分,对提高人工神经网络的准确性具有重要影响。为了研究使用混合激活函数的卷积神经网络在图像分类任务中的识别精度和收敛速度表现,本工作以LeNet-5卷积神经网络为基本结构,构造了一个使用Sinusoid-Sinusoid-Ramp(S-S-R)混合激活函数的卷积神经网络,以及4个使用单一激活函数(Sinusoid、Ramp、Sigmoid、Tanh)的卷积神经网络在CIFAR-10数据集上进行了图像分类实验,并在MNIST数据集上将本工作新模型同其他分类算法的效果进行了对比。结果表明,使用S-S-R混合激活函数的卷积神经网络具有更快的收敛速度和更高的识别精度。