面向预测的长短时神经网络记忆增强机制

摘要

基于时序数据建模的长短时神经网络(LSTM)可用于预测类问题.现实场景中,LSTM预测精度往往与输入序列长度相关,有效的历史信息会被新输入的数据淹没.针对此问题,提出在LSTM节点中构建强化门实现对遗忘信息的提取,并与记忆信息按比例选取、融合、输入记忆单元,增加学习过程中的梯度传导能力,使网络对相对较远的信息保持敏感以提升记忆能力.实验采用工业故障数据,当序列长度超过100时,具有强化门机制的改进模型预测误差低于其他LSTM模型.预测精度的差距随序列增加而增大,当序列长度增至200时,改进模型的预测误差(RMSE/MAE)较原模型分别降低了26.98％与35.85％.