一种改进型的神经网络半饱和激活函数模型的设计方法

摘要

本发明属于神经网络技术领域，公开一种改进型的神经网络半饱和激活函数模型的设计方法：S1、将神经网络的连接权重梯度分解为权值累积影响因子和激活函数导数累积影响因子；S2、把神经网络的激活函数的输入划分为大于等于零和小于零的数据范围；S3、针对大于等于零的数据范围，生成半饱和激活函数必须满足的第一选择条件；S4、依据第一选择条件，选择一个非饱和的激活函数作为神经网络的半饱和激活函数的第一组成部分；S5、针对小于零的数据范围，生成半饱和激活函数必须满足的第二选择条件；S6、依据第二选择条件，构造一个饱和的激活函数作为神经网络的半饱和激活函数的第二组成部分，本发明在相同神经网络下，能表现出更好的收敛速度和稳定性。