长短时记忆网络

摘要： 股票数据具有非线性和复杂性等特点,单一模型预测效果不佳,针对此问题,提出一种RF-LSTM组合模型,用于预测股票的收盘价.首先,利用Tushare财经数据包获取股票数据,构建特征集,并对数据进行归一化处理;其次,考虑到多特征之间存在高度的非线性和信息冗余问题,利用随机森林(RF)选择最优特征集,降低数据维度和训练复杂度;最后,利用深度学习中适合处理时间序列的长短期记忆网络(LSTM)对股票价格进行预测,并对预测模型进行参数调优.结果表明,与单一结构的LSTM神经网络模型预测相比,本文提出的RF-LSTM组合模型预测的平均绝对误差(MAE)、均方误差(MSE)和均方根误差(RMSE)分别减小了13.11％,6.70％和12.54％.该组合模型可提高股票价格预测的准确性.

摘要： 针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示(Enhanced Representation through Knowledge Integration,ERNIE)和双重注意力机制(Dual Attention Mechanism,DAM)的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo_senti_100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.

摘要： 现有土石坝渗压预测模型缺乏对渗压效应量中各影响因子影响程度的定量分析,难以探究渗压效应量变化的内在影响机制。针对此问题,本文从时间维度和特征维度两个层面出发,提出一种耦合ALO-LSTM和特征注意力机制的土石坝渗压预测模型。该模型首先采用主成分分析方法对各个影响因子进行降维处理;然后,提出基于蚁狮优化算法(Ant Lion Optimizer,ALO)的长短时记忆网络(Long Short-Term Memory,LSTM),利用ALO中的随机游走以及轮盘赌等策略优化LSTM中的神经元数量,以捕捉渗压数据在时间维度上的深层信息;进一步地,在特征维度上引入特征注意力机制计算各影响因子对渗压效应量的贡献率,以自适应挖掘渗压效应量变化的内在原因。案例分析表明,本文所提模型具有较高的精度,其在测试样本上的MAPE、RMSE和MAE分别为0.28%、0.022 m和0.17 m;此外,水位分量对渗压效应量的贡献率最大,为47.9%;其次是降雨、温度和时效分量,其贡献率分别为33.5%、9.8%和8.8%。

摘要： 在低压交流配电系统中,当多支路并联的复杂系统的某1支路中出现串联电弧故障时,识别难度大幅提升。为了预防此类情况引发的电气火灾,提出1种卷积神经网络(CNN)与长短时记忆网络(LSTM)结合的串联故障电弧检测方法。首先,搭建实验平台用以采集不同负载在不同支路下发生故障时和正常工作时的干路电流数据;然后,构建CNN_LSTM模型并做出相应改进,将电流数据直接输入到模型中,由模型自主提取波形特征并进行分类。研究结果表明:该方法可以快速、准确地识别出电弧故障,准确率达99.04%以上,且能够较为准确地检测出是哪类负载所在的支路发生电弧故障,准确率达97.90%,可为复杂支路下的电弧故障识别研究提供参考。

摘要： 针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.

摘要： 针对太赫兹时域光谱数据匮乏导致基于深度学习算法的太赫兹时域光谱识别准确率较低的问题,提出了一种基于改进ACGAN样本增强的太赫兹时域光谱隐匿危险品识别方法。改进ACGAN在生成器中引入残差单元,以提高生成高保真的数据。在判别器中加入长短时记忆网络提高判别数据真伪的能力。实验首先采用反射型太赫兹光谱仪系统测量酒精、煤油、食用油、乳香油、松节油、松香油、樟脑油等7类易燃易爆液体的太赫兹时域光谱数据共1260条并喂入深度学习分类模型进行训练;随后将增强后的数据集分别注入训练好的分类模型,对识别精度指标进行分析测试,并与ACGAN和Mixup进行实验对比。使用改进ACGAN对原始样本增强扩充后ResNet、CNN、FCN和MLP分类模型的识别准确率分别提高了1.4%、1.63%、0.96%、1.07%,比ACGAN、Mixup提升的幅度更高。结果表明,改进ACGAN能够有效改善训练样本不足的问题,提高模型识别精度。

摘要： 针对现有网络异常流量检测算法鲜少关注网络流量这类时间序列数据在时间上的依赖关系以及没有从时间周期角度对网络异常流量进行检测的问题,提出一种基于CGAN-LSTM的无监督网络异常流量检测算法。首先使用LSTM结构的生成器和判别器学习正常样本的数据分布,其次使用时间周期信息指导生成器G生成样本,最后同时使用生成器的重构误差和判别器的判别结果判别测试样本。实验结果显示,该算法在IS⁃CX2012数据集和CICIDS2017数据集上的F1值分别达到89.38%、85.62%,与现有无监督异常流量检测算法相比具有更好的检测性能。

摘要： 准确的负荷预测是电力系统安全稳定运行的重要保障,为了进一步提高电力负荷的短期预测精度,依托信号处理和深度学习技术,针对电力负荷数据的特征降维方法以及组合模型的构建进行深入研究。首先利用随机森林的平均不纯度减少法(MDI)实现多维负荷数据的特征降维,实验结果证明上述方法能有效筛选出影响负荷的主要因素,提高模型学习效率。在此基础上,提出融合多种算法优点的CEEMDAN-ARIMA-LSTM组合模型,通过设置上述组合模型与单一LSTM模型以及AutoEncode-VMD-BP的对比实验,有力论证了所提模型在负荷预测方面具有更高的精确度和适用性。

摘要： 针对脑电信号情感识别中情感特征信息挖掘不充分、识别准确率低的问题,提出深度自编码方法提取脑电信号情感特征,并结合长短时记忆(LSTM)循环神经网络实现维度情感分类.首先,基于DEAP维度情感生理数据集,分别在唤醒度和效价维度选取情感标签阈值,划分不同情感状态;然后,通过时间窗对脑电信号分段,设计栈式自编码网络挖掘脑电数据蕴含的情感信息,并依照时间顺序生成情感特征序列;最后,建立LSTM循环神经网络进行模型训练、交叉验证和测试,并通过正确率、精确度、召回率和F1-Score评价情感分类效果.仿真实验结果表明:在效价维度上,脑电信号情感识别平均正确率达到77.4%,F1-Score为80.4%;在唤醒度上,平均识别正确率达到73.7%,F1-Score为77.5%.该方法使维度情感模型获得了较好的情绪识别结果,可以为情感计算和人机情感交互提供借鉴.

摘要： 燃气负荷预测对于燃气资源的优化调度至关重要.燃气负荷预测除了具有趋势性、周期性等时间特性外,相邻燃气调压站的负荷数据与温湿度数据之间也存在空间特性,导致燃气负荷预测机理建模困难且模型预测精度较低.针对以上问题,提出了一种基于自回归移动平均模型(ARIMA)与卷积长短时神经网络(ConvLSTM)结合的燃气负荷预测模型.首先,选取皮尔逊相关系数对燃气负荷数据进行分析,筛选与燃气负荷相关性强的变量作为模型的输入.其次,采用ARIMA模型去除数据的趋势性使其平稳化,利用ConvLSTM模型提取数据中的时空特征,并对ARIMA-ConvLSTM模型的参数进行寻优.最后,通过燃气负荷数据对模型进行训练和验证.实验结果表明,ARIMA-ConvLSTM模型的预测准确率为98.65%,在均方根误差、平均绝对误差、绝对误差百分比方面均优于ARIMA模型、ConvLSTM模型和CNN-LSTM并行组合模型.

摘要： 本课题设计了自主设计表面肌电信号传感系统，通过拾取人体腿部肌肉肌电信号，经由前置差分放大电路、陷波电路、滤波电路、有效值转换等调理电路处理后，由单片机采集，以蓝牙传输的方式将数据传输至智能终端显示并绘图，终端将数据通过互联网上传至云端服务器进行保存。云端用这些数据训练基于长短时记忆网络(LSTM)的肌肉疲劳度分类模型，训练完成后，在云端加载模型，处理实时接收的数据流，将识别的疲劳信息反馈给智能终端显示，达到实时监测使用者腿部疲劳状况的目的。智能终端负责显示和数据转发，云端负责数据分析和保存。

摘要： 针对传统的趋势预测方法大多没有考虑整个轴承运行时间累积和连续变化的影响,并且特征提取方法多为浅层训练方法,难以充分挖掘反映轴承性能变化的有效特征问题.提出了一种基于深度瓶颈特征与长短时记忆网络(LSTM)的轴承性能退化趋势预测方法.通过提取多个统计特征组成原始高维特征集,输入到堆叠自编码网络(SAE)来获得一种深度瓶颈特征,挖掘更利于趋势预测的深层次特征表达.将深度瓶颈特征作为长短时记忆网络的输入,建立轴承性能退化趋势预测模型.轴承加速退化实验验证了该方法在轴承趋势预测上的有效性.

摘要： 在大规模兵棋仿真推演中,空中任务是指挥员关注的重点.对空中任务的快速、准确和自动识别,是智能决策的前提和基础.深度学习技术的迅速发展,为复杂战场态势特征提取提供了现实可行的解决方法,为研究空中任务识别提供了技术支持.概述了传统任务识别研究方法和基于深度学习的任务识别方法研究进展,分别对卷积神经网络(Convolutional Neural Networks,CNN),长短时记忆网络(Long Short Term Memory,LSTM)、生成对抗网络(Generate Adversarial Network,GAN)3种深度学习方法在空中任务识别问题中的应用进行了论述,提出了解决思路.

摘要： 对于燃气管网运维系统而言,精准的短期负荷预测可以为规划燃气供应、实现管网维护和优化调度提供根本依据,能有效减少能源损耗,提升管网运行安全和效率.现有的负荷预测方法很少考虑到数据内部的时序相关性,本文通过研究历史数据潜在的时序性特征,采用长短时记忆网络,建立了一种基于深度学习PCA-LSTM网络的城市燃气日负荷预测模型.将6个影响因素引入混合预测模型的输入数据集,对三种不同用气结构城市A区,B市和C市的历史负荷数据进行了验证.结果表明,混合模型PCA-LSTM的性能优于单一LSTM模型、反向传播神经网络模型(BPNN)和自回归积分滑动平均模型(ARIMA),三个城市日负荷预测平均相对百分误差均为最小,分别为3.07％,2.39％,2.14％.

摘要： 提出一种基于家庭本体知识库的服务决策机制的设计方法.首先,围绕网络中存储的家庭服务相关的半结构化文本信息初步构建训练数据集.其次,基于家庭服务相关的本体知识库构建信息提取机制,针对初步数据集包含的物品信息提取知识库中对应的服务物品属性信息;基于长短时记忆网络(LSTM)设计一种学习模型并命名为服务决策机制,该机制利用知识库作为常识部分进行辅助推理,生成与服务请求对应的决策信息.最后,针对决策信息进行对比实验.实验表明:将本体知识库作为常识部分辅助推理,能够提高决策信息的准确性.

摘要： 现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识.针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示.首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;然后Bi-LSTM-CRF深度神经网络模型进行命名实体标注.实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13％.

摘要： 现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识.针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示.首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;然后Bi-LSTM-CRF深度神经网络模型进行命名实体标注.实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13％.

摘要： 现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识.针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示.首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;然后Bi-LSTM-CRF深度神经网络模型进行命名实体标注.实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13％.

摘要： 现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识.针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示.首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;然后Bi-LSTM-CRF深度神经网络模型进行命名实体标注.实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13％.

摘要： 现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识.针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示.首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;然后Bi-LSTM-CRF深度神经网络模型进行命名实体标注.实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13％.

摘要： 本发明公开了一种基于长短时记忆递归神经网络的短时交通流预测方法。该方法包括以下步骤：根据短时交通流的预测时间间隔，对输入的历史交通流数据进行聚合；对聚合后的历史交通流进行预处理；对长短时记忆递归神经网络设置合理的参数；使用预处理后的数据训练该神经网络预测模型；调用预测模型预测指定时间间隔的交通流量并评估预测误差。本发明利用了长短时记忆递归神经网络能够长时记忆输入历史数据的优势，可以得到更高的预测精度，且对不同的预测间隔有较好的扩展性。

摘要： 本发明公开了一种基于胶囊网络和嵌套式长短时记忆神经网络的路网状态预测方法，涉及交通信息预测技术领域。首先将目标路网划分为n个路段，将时间等间隔划分，建立空间对应关系；然后将所在的空间地理区域划分网格，对网格进行取值；将取值作为像素产生对应的图片作为输入样本集，建立胶囊网络模型提取空间特征。搭建嵌套式长短时记忆神经网络模型，并将胶囊网络模型和嵌套式长短时记忆神经网络模型顺序连接，构成组合预测模型。利用输入样本集对组合预测模型进行训练及验证，构成最准确的预测模型。最后将测试集图片作为输入进行准确预测，得到未来某一时间段内路网的状态。本发明进行更为精准的预测，表现稳定，效率更高。

摘要： 本发明公开了一种基于卷积神经网络和长短时记忆神经网络联合模型的刀具磨损状态辨识方法。将测力仪和加速度传感器安装于数控机床工作台夹具及工件上，采集三向力信号和振动加速度信号，并将收集到的数据进行数据预处理，对同一列数据进行归一化处理、统一分段，将一维数据转化为二维数据作为输入，再由联合模型中的卷积神经网络提取抽象特征，由联合模型中的长短时记忆神经网络寻找数据之间的关联性，最后输出刀具的磨损状态。本发明所建立的双网络结构串行设置，能够将两种信号之间的内部联系建立起来，并且通过卷积来提取更抽象的特征，再由长短时记忆确立其时序特性，从而达到建立数据与模型更深层次联系的目的，在各类机床上都具有适用性。

摘要： 本发明公开了一种基于长短时记忆递归神经网络的短时交通流预测方法。该方法包括以下步骤：根据短时交通流的预测时间间隔，对输入的历史交通流数据进行聚合；对聚合后的历史交通流进行预处理；对长短时记忆递归神经网络设置合理的参数；使用预处理后的数据训练该神经网络预测模型；调用预测模型预测指定时间间隔的交通流量并评估预测误差。本发明利用了长短时记忆递归神经网络能够长时记忆输入历史数据的优势，可以得到更高的预测精度，且对不同的预测间隔有较好的扩展性。

摘要： 本发明公开了一种基于长短时记忆网络模型的短时数据流预测方法，步骤为：首先获取观测点中的多个训练样本，然后提取练样本的特征，根据训练样本的特征对训练样本进行分类，分别为数据流量值变化趋势剧烈和平缓两个类型、或变化趋势上升和下降两个类型；采用所有训练样本针对LSTM模型进行训练，得到训练后的主模型，再分别采用两种类型的训练样本分别对主模型进行训练，分别得到第一类子模型和第二类子模型。获取观测点测试样本，通过分类器对测试样本进行分类，然后根据分类结果将测试样本输入到第一类子模型或第二类子模型中，通过第一类子模型或第二类子模型预测出观测点下一时间点的数量流量值。本发明方法提高了短时数据流预测的准确度。

摘要： 本发明公开了一种联合动态脑网络和长短时记忆网络的癫痫识别装置，属于生物医学图像模式识别技术领域。本发明首先计算癫痫患者和正常对照组的功能磁共振成像的脑网络和动态脑网络。然后对于脑网络，使用F‑score特征选择算法计算脑网络中每一个功能连接的F值，取出F值大于0.06对应的动态脑网络的特征作为长短时记忆网络的输入。接下来建立长短时记忆网络结构，输入为选出的动态脑网络特征，输出为样本标签，其中癫痫患者标签为1，正常人标签为0。最后使用随机梯度下降算法来优化网络中的参数，经过不断的训练，最终完成癫痫患者于正常人之间的识别任务。本发明首次结合动态脑网络和长短时记忆网络来进行癫痫医疗辅助诊断任务。

摘要： 本发明公开了一种基于长短时记忆网络的动态网络结构预测方法，包括：(1)收集动态网络数据，确定时间间隔Δ，将数据分割成N个时刻的静态网络G1,G2,…,GN；(2)设定训练时间步长t，根据训练时间步长t将静态网络划分为一系列的数据样本，组成训练集用于模型的训练；(3)根据动态网络中的节点数量，确定模型中的隐藏层层数和每一个隐藏层的单元数量，并搭建模型；(4)将训练集中的数据样本输入模型进行训练，当达到最大训练步数或模型收敛后，模型训练完毕；(5)输入待测试的序列，进行网络结构预测。利用本发明，能够同时学习网络的非线性特征和时间上的结构演化特征，从而准确预测下一时刻网络的整体结构。

摘要： 本发明公开了一种基于长短时记忆网络模型的短时数据流预测方法，步骤为：首先获取观测点中的多个训练样本，然后提取练样本的特征，根据训练样本的特征对训练样本进行分类，分别为数据流量值变化趋势剧烈和平缓两个类型、或变化趋势上升和下降两个类型；采用所有训练样本针对LSTM模型进行训练，得到训练后的主模型，再分别采用两种类型的训练样本分别对主模型进行训练，分别得到第一类子模型和第二类子模型。获取观测点测试样本，通过分类器对测试样本进行分类，然后根据分类结果将测试样本输入到第一类子模型或第二类子模型中，通过第一类子模型或第二类子模型预测出观测点下一时间点的数量流量值。本发明方法提高了短时数据流预测的准确度。

摘要： 本发明公开了一种采用卷积神经网络和双向长短时记忆网络的交流电机轴承故障诊断方法。该方法充分利用卷积神经网络的参数共享、局部感知和降采样等优点，有效的从原始电流数据中提取到相应地空间特征，避免了复杂的特征提取过程。然后将提取的电流数据空间特征输入双向长短时记忆网络，捕获电流数据空间特征的时序信息，进一步提高滚动轴承故障诊断准确率。本发明利用电机驱动过程获取定子电流作为故障信号，具有非侵入式且易于形成闭环“驱动—诊断”的融合系统，可有效降低监控成本；所提轴承故障诊断方法结合卷积神经网络和双向长短时记忆神经网络特性，在特征提取的深度和复杂程度上都具有良好的性能，能够实现故障特征的精准有效提取。

摘要： 本发明涉及一种基于深度置信网络和长短时记忆网络的入侵检测方法，属于网络中的入侵检测技术领域。本发明首先对数据集进行字符型数据转换成数值型数据、数据标准化、数据归一化操作；然后将数据集放入深度置信网络中进行降维处理，并将降维后的数据集分为训练集和测试集；最后将训练集放入长短时记忆网络中进行训练，再将测试集放入训练好的网络模型中得到分类结果。当出现入侵行为时，利用训练好的模型就可以区分出正常数据和攻击数据。该发明利用深度置信网络对数据做降维处理解决了长短时记忆网络梯度爆炸的问题，提高了入侵检测的效率。