长短期记忆神经网络

摘要： 分析了目前对域名系统(Domain Name System,DNS)隐蔽信道的各种检测方法和DNS隐蔽信道报文与DNS常规报文之间的区别,针对目前的检测方法需要手动设定大量特征和需要区分查询与应答报文的不足,提出了基于卷积神经网络和基于长短期记忆神经网络的两种检测方法。通过对真实校园网DNS流量与黑客工具产生的DNS隐蔽信道流量进行实验,结果表明,两种神经网络方法都能自动对DNS隐蔽信道数据进行提取特征并判别,且检测性能的全面性和准确率相比传统方法有所提升。

摘要： 针对电离层总电子含量(TEC)时间序列具有高噪声、非线性和非平稳的特性,在奇异谱分析基础上,融合长短期记忆神经网络模型构建短期电离层组合预报改进模型,并对磁暴期、磁平静期的电离层TEC预报精度进行分析。结果表明,在磁暴期和磁平静期,该模型预报3 d的TEC相对精度分别为91.17%和95.46%,比单一LSTM模型分别提高4.92百分点和3.17百分点。

摘要： 为了实现容器配额设置自动化和集群资源利用最大化,本文设计了一种容器配额优化算法.本文在长短期记忆(Long Short-Term Memory,LSTM)神经网络和广义回归神经网络(Generalized Regression Neural Network,GRNN)的基础上设计了深度神经网络(Long short-term memory and GRNN Network,LGN),并使用改进量子粒子群算法优选网络结构超参数,以实现自动调参和更快的收敛速度.容器配额优化算法步骤如下:首先根据历史数据使用LGN训练资源容量模型,然后使用改进的量子粒子群算法优化模型参数,最后使用资源容量模型计算容器配额.通过与谷歌容器垂直自动扩展器(Vertical Pod Autoscaler,VPA)和水平自动扩展器(Horizontal Pod Autoscaler,HPA)生成的配额进行对比发现,本文提出的优化算法较VPA和HPA降低了至少10%的资源分配总量,同时提升了至少6%的资源利用率.

摘要： 引入长短期记忆神经网络(LSTM)深度学习先进算法,通过3折滑动时间序列交叉验证结合网格搜索方法确定最佳参数,构建了吴淞口潮位预报订正深度学习模型。结合风、压气象参数,对调和分析的预报潮位进行订正,得到更为准确的订正潮位,并与非线性自回归动态神经网络(NARX)浅层学习预报订正结果对比。结果表明:120 h预报潮位经LSTM模型订正后的均方根误差为0.102 m,平均绝对误差为0.084 m,订正后误差降低了52.8%;前72 h预报潮位经LSTM模型订正后误差降低了57.3%。对比发现,LSTM模型在短期和中长期潮位预报订正中均有较好表现,NARX模型在短期预报订正中表现出色。“海神”台风风暴潮过程期间,120 h、前72 h和“主振”48 h特征时段预报潮位经LSTM模型订正后,均方根误差为0.114~0.119 m,平均绝对误差为0.100~0.102 m。

摘要： 太阳能是未来清洁能源的关键,由于各种气象因素的影响,光伏发电通常不稳定。准确预测光伏发电功率的方法已成为解决光伏发电规划和建模问题的重要工具,可以减轻电力系统的负面影响,提高系统的稳定性。提出了一种基于离散小波变换(discrete wavelet transform,DWT)、卷积神经网络(convolutional neural network,CNN)和长短期记忆神经网络(long short-term memory,LSTM)的新型域融合深度模型(DWT-CNN-LSTM),以准确地完成预测。提出的模型具有两个通道:原始通道和DWT通道。CNN分别从原始通道和DWT通道提取时域和频域特征,LSTM则用以挖掘具有长期依赖性的特征,从而形成具有长期依赖性的时域和频域的融合特征,可用于功率预测。

摘要： 语音情感识别在人机交互中有重要的作用。在语音情感识别领域中,通常使用迁移学习解决语音情感数据难获取的问题,但忽略了语音数据的时序信息和空间信息。考虑到AlexNet网络中的参数来自图像数据集,不能完全表现语音数据的空间信息,并且不包含时序信息,因此提出通过膨胀卷积网络提取语音频谱图的空间信息,添加双向长短期记忆神经网络提取时序信息,并进行时空特征融合;针对语音中含有大量与情感无关的特征,通过将对数梅尔频谱图的三个通道作为输入,减少情感无关因素的影响,并添加注意力机制,选取情感权重大的时域信号。用公开数据集实验证明了方法的有效性,在WAR和UAR上都有提升。

摘要： 本文针对传统LSTM预测模型存在的精度和可靠性的问题,基于深度学习网络模型对不同季节性下典型场景风电功率的短期预测。采用智能算法对LSTM模型进行优化并对比分析了LSTM、PSO-LSTM和IPSO-LSTM预测模型在准确性和可靠性方面差别。结果表明:IPSO-LSTM预测模型具有最小的预测误差和最高的可靠性,且采用深度学习网络预测处理模型有利于负荷增减决策以及经济负荷调度计划的制定。

摘要： 准确可靠的径流预报在水资源的优化管理中发挥着越来越重要的作用。为了提高预测精度,提出了一种神经网络模型,来进行日径流预报。此模型将经验模态分解(EMD)方法、注意力机制、BiLSTM神经网络相结合,并且对输入数据采用了插值方法来提升精确度。EMD方法能够将非稳态非线性的径流时间序列分解成多组本征模态分量和趋势项,实现输入时间序列的稳态化,再经过注意力机制赋予时间序列不同关注度,然后通过BiLSTM分别预测再重构。将该模型应用于四川省宣汉县的清溪河站点的每日径流数据上,与另外三种神经网络模型即LSTM、ATT-LSTM和ATT-BiLSTM模型进行对比,其结果证实了该模型的优越性。结果表明,提出的组合模型具有更好的性能,其纳什效率系数为0.957,平均绝对误差为1.73,均方根误差为2.88。因此,EMD-ATT-BiLSTM模型是一种可行的日径流预报方法。

摘要： 针对基于动力学模型的轨道预报方法对卫星自主轨道预报与大量非合作目标轨道预报中存在建模成本过高和缺少目标空间环境信息的问题,提出一种基于误差数据驱动的神经网络轨道预报方法。该方法在解析法动力学模型的基础上,使用长短期记忆神经网络对历史轨道预报的误差进行学习,预测未来短期动力学模型的预报误差,以此对预报结果进行修正。选用Ajisai卫星轨道数据和SGP4(simplified general perturbations)动力学模型对所提模型的有效性和性能进行仿真验证。实验结果表明,所提方法对地心惯性坐标系下3个轴一天的预报误差分别下降到原来的16.87%、17.66%、19.58%,显著提升了轨道预报精度。

摘要： 风力发电的随机性和不可控性,给发电控制环节造成控制负担,利用不同高度的风速、风向等气候因素对风力发电数据进行准确预测,有利于制定合理的调度计划。本文使用LSTM循环神经网络算法,实现了单变量预测未来一个时间点、多变量预测未来一个时间点的风电预测实例验证,实验结果发现算法在两种情况下均保持着高的预测精度。且由于单变量和多变量两种情况下预测误差相差不大,表明在实际风电预测中在多变量数据里风速本身仍起决定性作用。

摘要： 本研究旨在通过长短期记忆神经网络(LSTM)对地下水位进行模拟和预测.使用了气温、降水量、蒸发量作为变量,采用了保定市境内21个测站逐月的地下水位数据进行建模.此外,对于每一个测站,把邻近测站的地下水位也作为变量输入,以体现空间上的相互影响.结果表明,一半以上测站的R2都达到了0.8以上,并且R2值的大小与测站的分布相关.并且所有数据的R2值达到了0.988.这表明LSTM网络可以准确地模拟出地下水位的时间分布,并且可以表达出其在空间上的相互影响.

摘要： 为适应泛在电力物联网建设的需要,数据的深度感知成为当前亟需解决的问题.负荷预测作为电网企业的基础问题,对负荷进行精准预测成为建设泛在电力物联网的依托.随着现代电力设备的普及和深度学习算法的研究深入,电网对于负荷相关数据的获取和掌握更加方便,可借助深度学习算法进行更加准确的预测.提出采用经验模态分解算法对负荷数据进行分解,随后基于长短期记忆神经网络对分解后的各分量进行预测并加和,最后对提出的模型进行了实验验证.

摘要： 城市道路旅行时间预测是城市智能交通系统的重要支撑.选择深度学习中的四种长短期记忆神经网络(Long Short-Term Memory,LSTM)架构进行道路旅行时间的预测.固定LSTM隐藏层的节点数以确定模型的最佳输入长度;固定模型的输入长度,分别测试在不同的隐藏层节点数和考虑空间相关性的条件下四种LSTM模型的预测性能;将空间LSTM模型与传统BP(Back Propagation)神经网络等四种模型进行了对比和分析.结果表明相对于其他四种模型,考虑空间相关性的LSTM模型具有更好的拟合和训练能力.

摘要： 中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向.针对多粒度中文分词任务,提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息.与传统模型相比,本文所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准.实验表明,本文提出的方法在多粒度中文分词方向取得了目前最好的结果.

摘要： 中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向.针对多粒度中文分词任务,提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息.与传统模型相比,本文所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准.实验表明,本文提出的方法在多粒度中文分词方向取得了目前最好的结果.

摘要： 中文分词是中文信息处理领域中的一项关键基础技术,而多粒度分词是中文分词领域较新的研究方向.针对多粒度中文分词任务,提出一种基于Lattice-LSTM的多粒度中文分词模型,在传统基于字的多粒度中文分词模型基础上,加入了多分词粒度的词典信息.与传统模型相比,本文所提出的模型在网格结构的辅助下,对不同粒度的分词标准都有较强的捕捉能力,且不局限于单一的分词标准.实验表明,本文提出的方法在多粒度中文分词方向取得了目前最好的结果.

摘要： 针对电商销量预测中,小样本时间序列预测准确度低等问题,综合考虑历史交易、用户搜索行为及用户评论对销量的影响,提出将长短期记忆深度神经网络引入到电商销量预测中,构建基于LSTM的电商销量预测模型,深入挖掘电商销量时间序列中的规律,提高短期时间序列预测的精度.实证结果表明与传统的机器学习预测模型相比,该模型具有较好的预测效果,为电商销量短期预测提供了方法思路,同时验证深度学习在电商效率预测方面的可行性.

摘要： 针对电商销量预测中,小样本时间序列预测准确度低等问题,综合考虑历史交易、用户搜索行为及用户评论对销量的影响,提出将长短期记忆深度神经网络引入到电商销量预测中,构建基于LSTM的电商销量预测模型,深入挖掘电商销量时间序列中的规律,提高短期时间序列预测的精度.实证结果表明与传统的机器学习预测模型相比,该模型具有较好的预测效果,为电商销量短期预测提供了方法思路,同时验证深度学习在电商效率预测方面的可行性.

摘要： 针对电商销量预测中,小样本时间序列预测准确度低等问题,综合考虑历史交易、用户搜索行为及用户评论对销量的影响,提出将长短期记忆深度神经网络引入到电商销量预测中,构建基于LSTM的电商销量预测模型,深入挖掘电商销量时间序列中的规律,提高短期时间序列预测的精度.实证结果表明与传统的机器学习预测模型相比,该模型具有较好的预测效果,为电商销量短期预测提供了方法思路,同时验证深度学习在电商效率预测方面的可行性.

摘要： 针对电商销量预测中,小样本时间序列预测准确度低等问题,综合考虑历史交易、用户搜索行为及用户评论对销量的影响,提出将长短期记忆深度神经网络引入到电商销量预测中,构建基于LSTM的电商销量预测模型,深入挖掘电商销量时间序列中的规律,提高短期时间序列预测的精度.实证结果表明与传统的机器学习预测模型相比,该模型具有较好的预测效果,为电商销量短期预测提供了方法思路,同时验证深度学习在电商效率预测方面的可行性.

摘要： 输出缓冲器装载N个文字分配至N/J个互斥输出缓冲文字群组内。N个处理单元分配至N/J个相对应的互斥处理单元群组。处理单元包括第一与第二多任务缓存器，累加器与算术单元。多任务缓存器包括J+1个输入，其中的第一输入从存储器接收操作数，其它输入接收相对应输出缓冲文字群组的文字。累加器提供其输出至相对应输出缓冲文字群组。算术单元对各个多任务缓存器与累加器输出执行运算以产生结果累加至累加器。输出缓冲器包括屏蔽输入控制其中那些文字维持其原本数值或以其相对应累加器输出更新。处理单元群组作为时间递归神经网络的长短期记忆胞运作。

摘要： 本发明公开了一种基于双向长短期记忆循环神经网络的网络流量预测方法，属于计算机网络领域，包括采集网络流量原始数据；利用滑动窗口技术对采集到的网络流量原始数据进行处理，再进行归一化处理；对双向长短期记忆循环神经网络预测模型参数进行初始化；将归一化处理后的网络流量数据输入到初始化后的双向长短期记忆循环神经网络模型中，训练双向长短期记忆循环神经网络进行双向学习，挖掘和记忆网络流量的整体特征，判断训练计数值是否达到训练次数，训练目标是否达到设定的误差要求，将双向长短期记忆循环神经网络进行双向学习的结果分别乘以加权矩阵融合得到网络流量的预测结果，该方法对网络流量序列进行双向学习，避免单向学习导致较早学习部分特征提取和记忆效果差的问题。

摘要： 一种基于卷积神经网络和长短期记忆网络的心电图分类方法，通过多导联心电图数据和卷积神经网络和长短期记忆网络（CNN‑LSTM）组合模型实现心律失常自动分类的方法。一方面多导联心电图较单导联心电图蕴含更多信息，另一方面CNN‑LSTM组合模型结合CNN和LSTM的优点，在学习空间数据结构和时间序列结构方面有着独特优势，利用多导联心电图数据训练CNN‑LSTM能够提高网络的学习效率和心电图识别的精度。

摘要： 输出缓冲器装载N个文字分配至N/J个互斥输出缓冲文字群组内。N个处理单元分配至N/J个相对应的互斥处理单元群组。处理单元包括第一与第二多任务缓存器，累加器与算术单元。多任务缓存器包括J+1个输入，其中的第一输入从存储器接收操作数，其它输入接收相对应输出缓冲文字群组的文字。累加器提供其输出至相对应输出缓冲文字群组。算术单元对各个多任务缓存器与累加器输出执行运算以产生结果累加至累加器。输出缓冲器包括屏蔽输入控制其中那些文字维持其原本数值或以其相对应累加器输出更新。处理单元群组作为时间递归神经网络的长短期记忆胞运作。

摘要： 电力工业是国民经济的基础产业，在整个国民经济的发展起着举足轻重的作用。负荷预测是电力系统规划建设的依据。负荷预测的准确程度将直接影响到投资、网络布局和运行的合理性，因此，负荷预测在规划中显得尤其重要。然而电力负荷预测问题的解决已经成为电力行业人员面临的重要而艰巨的任务。本发明提出了一种基于历史天气数据和预测数据,和历史电力负荷数据进而预测短期电力负荷的系统和方法。本方法基于一种基于递归神经网络的长短期记忆模型来预测短期电力负荷的系统模型可以极大的提高预测准确度。

摘要： 本发明提供一种基于长短期记忆神经网络(Long Short‑TermMemory，LSTM)的规模风电超短期功率预测误差修正方法，包括：首先利用改进的核密度估计得出误差的概率密度曲线；其次，采用LSTM对预测误差数据进行深度学习，以风电的预测误差为输入，以下一时刻的误差为输出，得到误差的预测值；最后，根据粒子群算法得到合适的置信区间对误差进行合理分层，根据分层区间和误差预测值，结合风电预测误差的时序特征，制订预测误差的分层补偿策略，得到一种具有较强泛化性的预测误差补偿模型。

摘要： 本发明公开了一种基于改进长短期记忆神经网络的短期光伏发电预测方法，该方法对短期光伏发电预测需要数据进行数据分析得到训练数据集；构建长短期记忆神经网络，并将训练数据集输入长短期记忆神经网络进行训练；采用麻雀算法优化长短期记忆神经网络参数，得到优化后的长短期记忆神经网络，优化后的长短期记忆神经网络输出短期光伏发电功率预测值。即通过历史多维度、多时间尺度、高关联的数据进行短期光伏发电功率预测，从而缓解配电网中光伏发电的不确定性；采用麻雀算法优化长短期记忆神经网络参数，进一步提高预测效果。通过本发明的实施，能够较好的利用气象数据并提高短期光伏功率的预测精度，实现电网的经济和稳定运行。

摘要： 本发明专利公开一种基于长短期记忆神经网络的燃气短期负荷预测方法，该方法运用主成分相关分析(PCCA)算法、小波阈值去噪(LMD)算法及局部均值分解优化(WTD)算法优化长短期记忆神经(LSTM)网络模型，并运用该种新的燃气负荷组合预测方法，对城市燃气负荷量进行预测分析，PCCA‑LMD‑WT D‑LSTM预测模型在城市燃气负荷预测中，采用该种模型获得的最终MAPE精度均属于高精度水平，该模型预测结果优于单一的LSTM模型、BPNN模型和GRU模型。本发明解决了传统循环神经网络中的长时期依赖问题，适用于数据长度大的时间序列预测，且稳定性更高，可靠性更强。

摘要： 一种基于长短期记忆神经网络的短期光伏发电量预测方法，利用长短期记忆神经网络(LSTMNN)预测太阳辐射量间接计算出光伏发电量，包括以下步骤：获取相关地区光伏系统所接收的太阳辐射量数据及相应的历史气象数据信息；将获取的数据归一化处理，分为测试样本和训练样本两部分，建立LSTMNN进行训练；以预测日之前30天的光伏数据作为输入数据，预测当日的太阳辐射量；将预测结果反归一化处理即可得到当日的太阳辐射量数据。本发明建立的预测模型能够保存较长时间太阳辐射量序列所包含的季节性、波动性和趋势性的信息，克服传统递归神经网络训练过程中梯度消失(爆炸)的问题，进一步提高了预测精度。

摘要： 一种基于长短期记忆神经网络的短期光伏发电量预测方法，利用长短期记忆神经网络(LSTMNN)预测太阳辐射量间接计算出光伏发电量，包括以下步骤：获取相关地区光伏系统所接收的太阳辐射量数据及相应的历史气象数据信息；将获取的数据归一化处理，分为测试样本和训练样本两部分，建立LSTMNN进行训练；以预测日之前30天的光伏数据作为输入数据，预测当日的太阳辐射量；将预测结果反归一化处理即可得到当日的太阳辐射量数据。本发明建立的预测模型能够保存较长时间太阳辐射量序列所包含的季节性、波动性和趋势性的信息，克服传统递归神经网络训练过程中梯度消失(爆炸)的问题，进一步提高了预测精度。