一种基于循环神经网络的激活函数参数化改进方法

摘要

本发明公开了一种基于循环神经网络的激活函数参数化改进方法，包括步骤：步骤一，以长短期记忆网络为基础，构建双向长短期记忆网络Bi‑LSTM；步骤二，将Bi‑LSTM网络中各个隐藏层串联，在网络中最后一层隐藏层之后加入平均池化层，在平均池化层之后连接一个归一指数化函数层，建立密集连接的双向长短期记忆网络DC‑Bi‑LSTM；步骤三，运用参数化Sigmoid激活函数，在数据集上进行训练，记录密集连接的双向长短期记忆网络对句子分类的精确度，得到最佳精确度对应的参数化激活函数。本发明通过参数化激活函数模块，使得S型激活函数的非饱和区域得到扩展，同时避免函数的导数过小，防止梯度消失现象的发生。