长短期记忆网络

摘要： 基于面部动态表情序列,针对静态表情缺少时间信息等问题,将空间特征与时间特征融合,利用神经网络在图像分类领域良好的特征,对需要进行细节分析的表情序列进行处理,提出基于分离式长期循环卷积网络(Separate long-term recurrent convolutional networks,S-LRCN)的微表情识别方法.首先选取微表情数据集提取面部图像序列,引入迁移学习的方法,通过预训练的卷积神经网络模型提取表情帧的空间特征,降低网络训练中过拟合的危险,并将视频序列的提取特征输入长短期记忆网络(Long short-team memory,LSTM)处理时域特征.最后建立学习者表情序列小型数据库,将该方法用于辅助教学评价.

摘要： 针对现有软件系统异常状态评估方法过度依赖数据标注、对时序数据的时间依赖性关注较低和系统异常状态难以量化等问题,提出一种基于混合生成网络的软件系统异常状态评估方法.首先,通过对长短期记忆网络(long short-term memory network,LSTM)与变分自动编码器(variational auto-encoder,VAE)的融合,设计一种LSTM-VAE混合生成网络,并以该网络为基础构建基于LSTM-VAE混合生成网络的系统异常状态检测模型,由LSTM对系统数据的时序特征进行提取并由VAE对系统数据的分布进行建模.然后,由LSTM-VAE异常状态检测模型处理系统关键特征参数,获取系统关键特征参数的异常度量值.最后,利用耦合度方法对传统的线性加权和方法进行优化,通过加权耦合度优化方法计算得到软件系统异常状态的量化值,从而实现对软件系统的异常状态评估.实验结果表明,本文模型对软件系统的异常时序数据具有较好的检测能力,其对系统异常状态的评估结果更为合理、有效.

摘要： 针对风速序列具有很强的随机性和波动性,提出一种基于完备总体经验模态分解(CEEMD)、长短期记忆网络(LSTM)和自回归差分移动平均(ARIMA)的组合预测模型来对短期风速进行准确预测。首先利用CEEMD算法将原始风速序列分解为多个模态分量,降低风速序列的复杂度;然后通过排列熵(PE)把风速子模态分为高频序列和低频序列,对高频序列和低频序列分别建立LSTM和ARIMA预测模型;最后把子序列预测结果叠加起来,得到最终的风速预测值。实验结果表明,该预测模型的平均绝对百分比误差(MAPE)和均方根误差(RMSE)分别为8.68%、0.389 m/s,与其他预测模型的预测结果相比,预测精度有了一定提高。

摘要： 以中国典型黄土滑坡域甘肃黑方台党川6#滑坡体为例,基于滑坡体北斗和位移计时序监测数据,首先利用深度学习框架Tensorflow分别构建3种循环神经网络滑坡位移预测模型:简单循环神经网络(simple recurrent neural network,SimpleRNN)、长短期记忆网络(long short-term memory,LSTM)和门控循环单元(gated recurrent unit,GRU),并进一步针对循环神经网络在参数设置时多采用经验手动调参或采用网格搜索法,易造成人为主观影响较大和计算效率低下的突出问题,引入遗传算法(genetic algorithm,GA)优化循环神经网络参数的自动最佳化选取,分别构建3种基于遗传算法改进的循环神经网络滑坡位移高精度预测模型:GA-SimpleRNN、GA-LSTM、GA-GRU。研究结果表明,改进参数自动寻优后的3种循环神经网络预测模型具有更优的预测性能,特别是GA-GRU模型预测精度最高,更适用于滑坡体长时序位移的高精度预测。

摘要： 针对传统的LSTM模型存在网络训练受阻、泛化能力减弱、预测精度和效率较低的问题,从模型结构和参数优选两方面进行改进。结构方面,在LSTM模型前加入具有多层结构的神经网络层;参数优选方面,采用多层网格搜索法选取模型参数。以长江中游典型通江湖泊——洞庭湖不同湖区的水位预测为例,与传统的LSTM模型、BP神经网络及水动力模型相比,改进型LSTM模型平均均方根误差分别减少58.80%、65.95%、44.14%;从预测计算时间来看,改进型LSTM模型所消耗的时间比传统的LSTM模型缩短62.12%,且明显少于水动力模型,总体来看改进型LSTM模型的整体性能优于其他三种模型。将改进型LSTM模型应用到三峡水库蓄水对洞庭湖水位的影响分析上,结果表明:三峡水库运行对洞庭湖不同湖区水位的影响具有明显的空间异质性,城陵矶站受其影响最为显著,其次为东洞庭湖鹿角站和西洞庭湖南咀站,南洞庭湖受影响最小。蓄水期间东洞庭湖城陵矶站水位平均下降0.44 m,最大降幅为1.55 m;鹿角站水位平均下降0.22 m,最大降幅为1.02 m;西洞庭湖南咀站水位平均下降0.27 m,最大降幅为1.28 m;南洞庭湖杨柳潭站水位平均下降0.15 m,最大降幅为1 m。研究成果为快速准确预测三峡水库影响下的洞庭湖水位提供了新的手段,同时也可为三峡水库的蓄水策略优化提供重要参考依据。

摘要： 为提高对虾饲料的利用率,减少养殖成本,提高养殖效益,提出了一种基于自注意力机制(self-attention,ATTN)和卷积神经网络(convolutional neural network,CNN)-长短期记忆网络(long short term memory,LSTM)的对虾投饵量预测模型(CNN-LSTM-ATTN),以水温、溶解氧、对虾的数量与质量作为预测模型的输入数据,通过CNN挖掘输入数据间的内在联系,提取出数据特征信息,利用LSTM的长期记忆能力保存数据特征信息,使用ATTN突出不同时间节点数据特征的重要性,进一步提升模型的性能。结果表明,本研究中提出的CNN-LSTM-ATTN预测模型的均方根误差、平均绝对误差和平均绝对百分误差分别为0.816、0.681和0.018,均小于BP(back propagation)神经网络、LSTM和CNN-LSTM 3个基准模型,其模型预测能力和稳定性优于其他模型。研究表明,本研究中构建的模型能较好地实现对虾投饵量的准确预测,可为对虾养殖投饵量的管理调控提供参考依据。

摘要： 随着生态环境意识的提高和科技的进步,气象数据的预测研究逐渐成为深度学习领域的热门话题。气象数据不仅是气象领域研究中极其重要的资料,也可应用于环境、能源等诸多领域的科学研究,对我国经济和生态环境发展起着重要作用。本文针对气象数据多波动、非线性且存在极端数据等特点,构建了经小波变换降噪处理后基于LSTM神经网络的混合预测模型。该模型首先通过小波变换将原始气象数据分解为低频和高频分量后再重新组合去噪,继而使用LSTM网络模型建模预测,并以未来时刻的气象指标作为最终预测结果。本文以平均风速、地表温度和降水为例进行实证验证。研究结果表明,与长短期记忆神经网络(Long Short-Term Memory, LSTM)等单一模型相比,本文提出的预测方法具有更高的预测精度,更小的预测误差,可为气象预警、自然灾害管控等部门提供具有参考价值的方案。

摘要： 为了更有效地提取电力负荷数据中的潜藏特征与隐藏信息,提高电力负荷预测精度,针对负荷具有较强非线性、非平稳性和时序性特点,提出一种基于经验模态分解(empirical mode decomposition,EMD)、卷积神经网络(convolutional neural network,CNN)和长短期记忆网络(long-term and short-term memory network,LSTM)的混合模型短期电力负荷预测方法,将海量过往负荷数据、温度和历史电价信息以滑动窗口方式构造串联特征向量作为输入,先利用EMD将数据重构成多个分量,将高、中和低频分量各自叠加组合,再运用CNN提取高、中分量的潜藏特征,减少权值数量,并以特征向量的方式输入LSTM网络进行负荷预测,最后叠加各分量预测结果得到最终负荷预测值。实验结果表明,相对于BP神经网络(Back Propagation Neural Network)、支持向量机(support vector machine,SVM)、LSTM模型和EMD-LSTM模型,此模型具有更高的负荷预测精度。

摘要： 城市交叉口的道路通行能力目前已成为影响居民出行效率的重要因素之一。通过正向雷达道路车辆检测器采集过车数据,利用深度学习技术Tensorflow框架构建平稳化长短期记忆网络(long short-term memory,LSTM)交通量预测模型。该模型根据预测精度自适应机制更新层数和隐藏单元数,同时为了减小交通流序列的随机性,通过季节性时间差分方法对原始交通时间序列的输出特征序列进行了平稳化处理。在使用相同数据集条件下,将所提算法的预测结果与传统算法的结果进行对比,结果表明:平稳化的LSTM网络算法能有效提高交通流量预测的准确性,实际值与预测值拟合度超过95.5%,且在均方根误差和平均百分比误差上有较大的提升,该模型可为治理交通拥堵提供依据。

摘要： 负荷预测在保障电网安全运行和提高经济效益方面均占有举足轻重的地位。高精度的负荷预测不仅需要依靠历史负荷数据,并且气象、电价等诸多因素也会对其产生不同程度的影响。为了综合考虑诸多因素造成的影响。首先,以遴选关键因素作为切入点,利用新英格兰地区实测数据集,使用递归特征消除(RFE)有效去除冗余的影响因素,得到与真实负荷相关性高的影响因素,从而构造新的输入负荷数据。然后,利用注意力机制(Attention)动态调整各因素所占权重的特点,提出引入Attention的长短期记忆(LSTM)网络预测模型实现电力负荷预测。试验结果显示,与经典的K近邻方法(KNN)、LSTM、支持向量回归(SVR)等单一算法以及RFE-LSTM等组合算法相比,所提出的RFE-LSTM-Attention方法可以有效地提取关键负荷因素并获得良好的预测性能。

摘要： 滚动轴承可靠性是机械设备运转的关键问题,可靠性评估及预测对避免设备重大事故具有重要意义.本文提出一种基于威布尔模型和长短期记忆网络的轴承可靠性评估及预测方法,通过核主元分析得到的主元作为威布尔比例故障模型的协变量,建立威布尔模型评估轴承可靠性;通过轴承特征参数集和可靠性指标训练长短期记忆网络,并研究具体网络参数对预测结果的影响,实现轴承运转过程中的可靠性预测.通过滚动轴承全寿命数据验证了该方法对轴承可靠性评估的有效性,同时也证明了长短期记忆网络对轴承可靠性具有良好的预测效果.

摘要： 为解决滚动轴承剩余寿命预测问题,提出一种基于长短期记忆神经网络(Long Short-Term Memory,LSTM)的剩余寿命预测方法.首先从时域、频域、时频域以及相似相关特征中提取特征参数;然后定义三个特征评价指标来选择更能表征轴承退化过程的特征参数构建特征参数集;最后利用参数集训练长短期记忆网络模型并实现剩余寿命预测.通过试验证明该方法可准确预测滚动轴承剩余寿命,并与BP神经网络的预测效果对比,验证了该方法的有效性.

摘要： 随着互联网的快速发展,当前的网络安全问题越来越严峻,入侵检测在其中扮演着不可替代的作用.对于入侵检测领域现有的研究常使用传统的机器学习模型对网络中的攻击事件进行分类,从而识别入侵样本,然而该方法存在检测率低且泛化性较弱的问题.为了提高入侵检测模型的准确率,设计了一种基于卷积神经网络算法的网络入侵检测模型.该模型将改进的卷积层和长短期记忆网络进行结合,并用于入侵样本空间和时间维度上的特征进行提取,在卷积层中使用深度可分离卷积层对传统的卷积层进行改进,并采用长短期记忆网络模型对网络特征中的时间序列进行学习,最终实现根据网络中的特征对入侵的攻击行为进行准确的分类.该模型针对KDD99数据集进行实验分析,在该数据集上对入侵行为进行检测,由实验结果可知该模型的准确率可到达98.7％,该模型相比其他传统机器学习模型具有更高的准确率和较高的实用性.

摘要： 为了挖掘用户细粒度的情感表达,方面级情感分析引起了研究者们的关注.现有的研究方法通常将方面判别任务与情感分析任务分离,且在给定方面的基础上进行情感分析.然而现实的评论数据大多没有标注方面标签,因此,对于给定的评论文本,需要同时判断方面类别及其情感极性.本文利用多个分类器同时对评论的方面及其情感进行预测,使用两层长短期记忆网络对评论的上下文信息和方面信息进行编码,并利用注意力机制对评论中相关方面的情感信息进行注意,再对多个注意力模块进行叠加增强建模得到文本的表示,在此基础上,预测句子中的方面及其对应的情感.本文在SemEval和BDCI2018汽车评论的主题及情感识别数据上分别进行了实验,结果显示本文的方法对方面级的情感分析具有较好的提升效果.

摘要： 生产车间中常因作业人员的操作失误而引发事故,为降低其中的安全隐患,需要提高作业人员的操作规范性.本文提出一种基于Openpose的车间人员作业行为识别方法:以车间人员的作业行为姿态为研究对象,采集4种典型动作的视频流作为数据集;对数据进行预处理后,使用Openpose抽取每一帧中的人体关节点信息,并以此作为输入、以行为标签作为输出,通过长短期记忆网络(LSTM)进行监督学习、训练与优化,得到行为识别的深度网络模型;最后通过改进的滑窗算法对长时间的监控视频进行行为片段的提取,并作为输入导进模型进行实时的行为检测与识别.通过实验,该方法在测试集中达到了94％的识别准确率,可用于作业人员的操作规范性监测,保障车间的安全高效运作.

摘要： “未定义”类话语在面向任务的对话语料之中广泛存在,具有成分复杂,与其余“已定义”类话语边界模糊的特点,影响着话语领域分类的总体正确率.而且,“未定义”类话语一旦错分,将使得用户对口语对话系统的功能有效性产生怀疑,大大降低用户体验.本文提出一种基于优化“未定义”类话语检测的领域分类方案,采用了两阶段法完成口语话语的领域分类任务.首先采用聚类方法,将“已定义”类话语聚为几个大类,简化众多的“已定义”类话语独立存在时和“未定义”类话语之间的边界.进而利用分类模型对聚类后的“已定义”类话语大类以及“未定义”类话语进行领域分类,优化目标是“未定义”类话语的检测效率.最后,将第一阶段分类为“已定义”类的话语,在去除了绝大部分“未定义”类话语干扰的基础上进行再次分类.本文的分类模型采用了长短期记忆网络(long short-term memory,LSTM),并利用无标签微博数据训练词向量用于话语特征表达.在SMP2017意图领域分类比赛的多任务语料上的评测结果表明,本文的方案在“未定义”类话语检测的F1值以及所有话语的领域分类总正确率上都有明显提升.

摘要： 本文主要通过CRF-工具对《曹沧洲医案》进行症状一药物实体识别，首先经过标注工具标注中医症状-药物BIO标签进行训练和测试，得到F测度值82%，比只运用单一特征的CRF抽取的结果效率更高，可见利用本文提出的BiLSTM+CRF提取方法对中医医案古籍的实体识别具有良好的效果。通过对《曹沧洲医案》等中医医案古籍的实体识别研究，为将来建立中医药搜索引擎及新知识挖掘等方面提供了一种可行的方法。

摘要： 本文主要通过CRF-工具对《曹沧洲医案》进行症状一药物实体识别，首先经过标注工具标注中医症状-药物BIO标签进行训练和测试，得到F测度值82%，比只运用单一特征的CRF抽取的结果效率更高，可见利用本文提出的BiLSTM+CRF提取方法对中医医案古籍的实体识别具有良好的效果。通过对《曹沧洲医案》等中医医案古籍的实体识别研究，为将来建立中医药搜索引擎及新知识挖掘等方面提供了一种可行的方法。

摘要： 本文主要通过CRF-工具对《曹沧洲医案》进行症状一药物实体识别，首先经过标注工具标注中医症状-药物BIO标签进行训练和测试，得到F测度值82%，比只运用单一特征的CRF抽取的结果效率更高，可见利用本文提出的BiLSTM+CRF提取方法对中医医案古籍的实体识别具有良好的效果。通过对《曹沧洲医案》等中医医案古籍的实体识别研究，为将来建立中医药搜索引擎及新知识挖掘等方面提供了一种可行的方法。

摘要： 本文主要通过CRF-工具对《曹沧洲医案》进行症状一药物实体识别，首先经过标注工具标注中医症状-药物BIO标签进行训练和测试，得到F测度值82%，比只运用单一特征的CRF抽取的结果效率更高，可见利用本文提出的BiLSTM+CRF提取方法对中医医案古籍的实体识别具有良好的效果。通过对《曹沧洲医案》等中医医案古籍的实体识别研究，为将来建立中医药搜索引擎及新知识挖掘等方面提供了一种可行的方法。

摘要： 本发明提供一种基于长短期记忆神经网络(Long Short‑TermMemory，LSTM)的规模风电超短期功率预测误差修正方法，包括：首先利用改进的核密度估计得出误差的概率密度曲线；其次，采用LSTM对预测误差数据进行深度学习，以风电的预测误差为输入，以下一时刻的误差为输出，得到误差的预测值；最后，根据粒子群算法得到合适的置信区间对误差进行合理分层，根据分层区间和误差预测值，结合风电预测误差的时序特征，制订预测误差的分层补偿策略，得到一种具有较强泛化性的预测误差补偿模型。

摘要： 本发明公开了一种基于改进长短期记忆神经网络的短期光伏发电预测方法，该方法对短期光伏发电预测需要数据进行数据分析得到训练数据集；构建长短期记忆神经网络，并将训练数据集输入长短期记忆神经网络进行训练；采用麻雀算法优化长短期记忆神经网络参数，得到优化后的长短期记忆神经网络，优化后的长短期记忆神经网络输出短期光伏发电功率预测值。即通过历史多维度、多时间尺度、高关联的数据进行短期光伏发电功率预测，从而缓解配电网中光伏发电的不确定性；采用麻雀算法优化长短期记忆神经网络参数，进一步提高预测效果。通过本发明的实施，能够较好的利用气象数据并提高短期光伏功率的预测精度，实现电网的经济和稳定运行。

摘要： 本发明专利公开一种基于长短期记忆神经网络的燃气短期负荷预测方法，该方法运用主成分相关分析(PCCA)算法、小波阈值去噪(LMD)算法及局部均值分解优化(WTD)算法优化长短期记忆神经(LSTM)网络模型，并运用该种新的燃气负荷组合预测方法，对城市燃气负荷量进行预测分析，PCCA‑LMD‑WT D‑LSTM预测模型在城市燃气负荷预测中，采用该种模型获得的最终MAPE精度均属于高精度水平，该模型预测结果优于单一的LSTM模型、BPNN模型和GRU模型。本发明解决了传统循环神经网络中的长时期依赖问题，适用于数据长度大的时间序列预测，且稳定性更高，可靠性更强。

摘要： 本发明公开了一种改进双向长短期记忆网络的风电功率超短期预测方法，包括如下步骤：对训练样本进行数据预处理；采集风电场的历史风功率数据向量，选取数值天气预报中与风电功率数据相关性最大的数据，并进行归一化处理；在双向长短期记忆网络和全连接层之间融入注意力机制模型，利用训练集对改进双向长短期记忆网络算法模型进行训练和参数优化；将测试集输入改进双向长短期记忆网络模型建立风电功率超短期预测模型，计算风电功率一小时后输出值Ppre。本发明利用双向长短期记忆网络对历史功率数据以及数字天气预报的双向记忆性能，融入注意力机制，对双向长短期记忆网络的隐藏层输出进行加权，有效的提高了预测精度。

摘要： 本发明公开了一种基于长短期记忆网络的风电功率短期预测方法，包括长短期记忆神经网络训练算法、短期风电预测误差分布算法和风电机组发电功率短期预测模型设计。本发明从深度学习网络出发，建立基于长短期记忆网络算法(LSTM)风电功率预测模型，以高斯混合模型(GMM)分析短期风电功率预测的误差分布特点。本发明通过GMM模型可以得到二台机组不同的置信区间。证明了LSTM方法具有更高的精确度和更快的收敛速度，GMM方法对于风电调度具有实际应用价值。

摘要： 本发明公开了一种基于小波长短期记忆网络的超短期风电功率预测方法，根据历史数据生成输入变量，以所对应的风功率历史数据作为输出，得到训练样本；采用小波分析方法对训练样本进行三级小波分解，得到四个小波样本，利用长短期记忆网络模型对四个小波样本分别进行训练，得到训练后的小波长短期记忆网络预测模型；根据四个小波样本的待预测时刻的实际数据生成测试输入数据，并输入到预测模型，其输出即为待预测的时刻的超短期风电功率预测值。本发明将小波分析方法与长短期记忆深度网络结合，可以同时实现数据的平稳化处理与深度学习，提高了预测的精度，增强了模型的泛化能力。

摘要： 本发明公开了一种基于长短期记忆网络的短期负荷预测方法，采集短期负荷数据，将所采集的短期负荷数据作为训练样本进行VMD分解，得到n个随机分量IMF；对于分解出的n个分量，每个分量构建对应的WOA‑LSTM模型，利用WOA对模型中的LSTM参数寻优，找出最合适的参数；采用最优参数的LSTM分别对分量数据IMF进行训练，得到各个分量的预测结果；基于分别寻优后构建的LSTM模型，分别利用LSTM模型对短期负荷数据进行测，每个LSTM模型输出相应的预测结果；通过将所有预测结果进行相加得到最终的负荷预测结果。

摘要： 本发明公开了一种改进双向长短期记忆网络的风电功率超短期预测方法，包括如下步骤：对训练样本进行数据预处理；采集风电场的历史风功率数据向量，选取数值天气预报中与风电功率数据相关性最大的数据，并进行归一化处理；在双向长短期记忆网络和全连接层之间融入注意力机制模型，利用训练集对改进双向长短期记忆网络算法模型进行训练和参数优化；将测试集输入改进双向长短期记忆网络模型建立风电功率超短期预测模型，计算风电功率一小时后输出值Ppre。本发明利用双向长短期记忆网络对历史功率数据以及数字天气预报的双向记忆性能，融入注意力机制，对双向长短期记忆网络的隐藏层输出进行加权，有效的提高了预测精度。

摘要： 本发明公开了一种基于深度长短期记忆网络的短期负荷预测方法，解决了现有技术的不足，该方法包括以下步骤：步骤10)，获取样本特征变量历史数据，建立历史样本数据集；步骤20)，建立预测模型嵌入维输入数据集；步骤30)，建立深度长短期记忆神经网络预测模型并初始化网络权重；步骤40)，更新训练步骤30)建立的深度长短期记忆神经网络预测模型内部状态参数；步骤50)，计算输出本轮负荷预测值；步骤60)，引入本轮负荷真实值，计算损失函数；步骤70)，更新深度长短期记忆神经网络网络权重；步骤80)，根据判别函数判别迭代是否结束；步骤90)，迭代结束，输出深度长短期记忆神经网络预测模型。

摘要： 本发明涉及一种基于长短期记忆网络的光伏发电功率短期预测方法，包括:使用Pearson相关系数确定与发电功率高度相关的天气数据特征，使用LSTM网络模型建立了输入天气数据特征与输出发电功率之间的非线性关系，并捕捉了时间序列的相关性，针对季节和天气类型划分原始输入数据集，提高模型预测精度，对基于季节和天气类型的LSTM模型预测结果进行线性拟合处理，进一步提高模型预测的准确度。