深度学习中三种常用激活函数的性能对比研究

摘要

cqvip:以目前神经网络研究领域应用比较广泛的Sigmoid函数、双曲正切函数以及校正激活函数为研究对象,通过谷歌发布的机器学习平台Tensorflow中的神经网络可视化实验操作平台Playground,在给定网络拓扑结构的情况下,对三种激活函数的性能展开对比研究。分别在调整学习率与网络深度的情况下观察基于上述三种激活函数的神经网络的分类效果。通过分析实验结果,探讨三种激活函数的应用场景,并对深度神经网络中激活函数的选择方式给出建议。