具有生物真实性的强抗噪性神经元激活函数

摘要

当前人工神经网络虽然在图像识别等方面媲美人脑,但因其所采用的激活函数ReLU和Softplus等只是对生物神经元输出响应特性的高度简化与模拟,使其在抗噪性、不确定性信息处理及功耗等方面与人脑仍存在巨大差距.通过分析生物神经元仿真实验,以其响应特性为基础,引入反映每个神经元随机性的参数η,构建出一种具有生物真实性的强抗噪性激活函数Rand Softplus.最后将该激活函数应用于深度残差网络,并基于人脸表情数据集对其进行验证.结果表明,在输入无噪声或具有少量噪声时,文中提出的激活函数与当前主流激活函数的识别精度基本持平,当输入包含较大噪声时,文中所提激活函数的识别精度远高于其他激活函数,表现出了良好的抗噪性能.