卷积神经网络中ReLU激活函数优化设计

摘要

卷积神经网络中的激活函数的作用是激活神经元的特征然后保留并映射出来,这是神经网络能模拟人脑机制,解决非线性问题的关键。ReLU函数更是其中的佼佼者,但同时其自身也存在不足之处。文章从两个方面对ReLU函数进行了优化设计。对使用梯度下降法的激活函数的学习率进行讨论研究并提出可行的学习率改进方法。提出一种新型校正激活函数,称其为e-ln函数,经过Mnist数据集仿真实验证明某些情况下其性能要优于ReLU。