门控循环单元

摘要： 目前多数文本分类方法无法有效反映句子中不同单词的重要程度,且在神经网络训练过程中获得的词向量忽略了汉字本身的结构信息。构建一种GRU-ATT-Capsule混合模型,并结合CW2Vec模型训练中文词向量。对文本数据进行预处理,使用传统的词向量方法训练的词向量作为模型的第1种输入,通过CW2Vec模型训练得到的包含汉字笔画特征的中文词向量作为第2种输入,完成文本表示。利用门控循环单元分别提取2种不同输入的上下文特征并结合注意力机制学习文本中单词的重要性,将2种不同输入提取出的上下文特征进行融合,通过胶囊网络学习文本局部与全局之间的关系特征实现文本分类。在搜狗新闻数据集上的实验结果表明,GRU-ATT-Capsule混合模型相比TextCNN、BiGRU-ATT模型在测试集分类准确率上分别提高2.35和4.70个百分点,融合笔画特征的双通道输入混合模型相比单通道输入混合模型在测试集分类准确率上提高0.45个百分点,证明了GRU-ATTCapsule混合模型能有效提取包括汉字结构在内的更多文本特征,提升文本分类效果。

摘要： 负荷数据的高度随机性和不确定性,导致短期负荷预测的精度很难提升。为了提高短期负荷预测的准确度,提出了一种基于完全自适应噪声集合经验模态分解(CEEMDAN)与卷积神经网络(CNN)和门控循环单元(GRU)组合模型的短期负荷预测方法。首先,利用CEEMDAN模型将复杂的原始负荷序列分解为几个相对简单的子序列;其次,利用卷积神经网络(CNN)和门控循环单元(GRU)建立各分量预测模型,将归一化后的分量输入训练模型,得到预测子序列;最后,将所有分量的结果汇总,得到最终预测结果。结果表明,与LSTM模型、GRU模型、CNN-GRU及CEEMDAN-GRU组合模型相比,CEEMDAN-CNN-GRU组合模型所测精度有了明显提升,平均提升了25.08%,23.59%,20.41%和13.53%。CEEMDAN-CNN-GRU组合模型能够提取历史负荷数据中的非线性特征,有效提升短期负荷预测精度,可为电力系统建设提供有力支撑。

摘要： 为了解决时序性和非线性瓦斯浓度序列预测误差较大的问题,提出融合注意力机制的门控循环单元神经网络对瓦斯预测进行研究。该算法首先对数据集进行预处理,接着引入更新门和重置门设计门控循环单元神经网络的算法结构,并加入注意力机制调整网络隐藏层参数,以误差损失最小化为目标预测瓦斯浓度。以吉林板石瓦斯灾害风险管控平台的监控数据为例,通过该算法预测得到结果与实际值之间的最小均方根误差为3.95%,最小平均绝对误差为0.71%,并将其与卷积神经网络、循环神经网络和多层感知机进行比较,实验表明该算法相较于传统方法,预测精度更高。

摘要： 以中国典型黄土滑坡域甘肃黑方台党川6#滑坡体为例,基于滑坡体北斗和位移计时序监测数据,首先利用深度学习框架Tensorflow分别构建3种循环神经网络滑坡位移预测模型:简单循环神经网络(simple recurrent neural network,SimpleRNN)、长短期记忆网络(long short-term memory,LSTM)和门控循环单元(gated recurrent unit,GRU),并进一步针对循环神经网络在参数设置时多采用经验手动调参或采用网格搜索法,易造成人为主观影响较大和计算效率低下的突出问题,引入遗传算法(genetic algorithm,GA)优化循环神经网络参数的自动最佳化选取,分别构建3种基于遗传算法改进的循环神经网络滑坡位移高精度预测模型:GA-SimpleRNN、GA-LSTM、GA-GRU。研究结果表明,改进参数自动寻优后的3种循环神经网络预测模型具有更优的预测性能,特别是GA-GRU模型预测精度最高,更适用于滑坡体长时序位移的高精度预测。

摘要： 随着移动设备和社交软件的普遍应用,下一个兴趣点推荐(next POI recommendation)变成了基于位置的社交网络(LBSN)的一个非常重要的任务。现实生活中用户访问的下一个兴趣点通常受到用户签到序列信息、用户关系和该地点的上下文信息等诸多方面的影响。基于循环神经网络(RNN)的方法已经被广泛的应用到下一个兴趣点推荐中,但是这些基于RNN的方法缺乏对用户关系进行深入建模。为了解决上述问题,提出了一种整合用户关系和门控循环单元(GRU)进行下一个兴趣点推荐的模型(GRU-R),同时该模型能够考虑用户签到序列信息、用户关系、兴趣点的时空信息和类别信息等进行下一个兴趣点推荐。在两个真实公开的数据集上进行实验,结果表明提出的模型比现有主流的下一个兴趣点推荐算法具有更高的推荐准确性。

摘要： 针对传统故障诊断方法需要人工提取特征的不足,以及大数据下滚动轴承故障振动信号自适应特征提取与智能诊断问题,利用空洞卷积神经网络(DCNN)可以在不增加计算量的基础上兼顾不同尺度空间特征的能力、门控循环单元(GRU)善于从动态变化的序列数据中学习到时间上的关联性的能力,提出了一种将DCNN、注意力机制和GRU多路径融合的端到端故障诊断方法。首先利用DCNN从原始数据中自动提取时序信号特征,然后将注意力机制(Attention)的GRU通路和DCNN通路进行融合,最后将提取到的特征融合之后送入分类层进行分类。试验结果表明,所提方法的诊断准确率平均为98.75%,高于比较方法,更加适用于滚动轴承故障诊断。

摘要： 为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network,GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(gated recurrent neural network,GRU)充分捕获相邻路网图的时间相关性并降低模型冗余,提升了对道路拥堵和异常情况的预测准确率。采用PEMSD数据集进行实验。结果表明,所提方法与对比模型相比准确率与召回率均优于现有方法,有效提升了交通异常预测精度。

摘要： Transformer作为一种建立在自注意力机制上的新颖神经网络模型,其所具有的高度并行化计算结构和有效捕捉序列长期依赖性的能力为短期电力负荷预测带来了新的发展空间。舍弃递归与卷积结构为提取序列关联性提供便利,同时也导致信息碎片化。为充分挖掘注意力模型潜力,提出了一种基于循环扩张机制的卷积门控循环单元(Convolutional Gated Recurrent Unit,ConvGRU)-Transformer短期电力负荷预测方法。针对输入序列分割影响长期特征提取的问题,提出一种循环扩张注意力机制,在提高计算效率的同时扩大了学习视野。为保证注意力视野扩大后信息位置的一致性,建立了一种基于ConvGRU的全局位置编码方法。实验结果表明与常规方法相比,所提方法有更高的预测精度和良好的可解释性。

摘要： 方面级情感分析目前是基于图卷积神经网络(GCN)来整合句子的语法结构,它能够有效地解决长范围词汇依赖不准确的问题,但GCN却拥有不必要的复杂性和冗余计算。此外,它忽略了属性与上下文之间相对位置的关系。为此,提出了一种新的模型来解决上述问题。首先建立双向GRU层,接着使用位置感知转换增加靠近方面词的上下文词的重要程度,然后通过移除非线性和折叠连续层之间的权重矩阵来降低复杂性;再与特定屏蔽层进行融合实现单层MASGC结构,生成一种新的基于检索上下文的注意力机制;最后通过全连接层给出分类结果。该模型在五个数据集上进行了大量实验,实验结果表明其具有更高的准确率和更少的训练时间。

摘要： COVID-19的世界性大流行对整个社会产生了严重的影响,通过数学建模对确诊病例数进行预测将有助于为公共卫生决策提供依据。在复杂多变的外部环境下,基于深度学习的传染病预测模型成为研究热点。然而,现有模型对数据量要求较高,在进行监督学习时不能很好地适应低数据量的场景,导致预测精度降低。构建结合预训练-微调策略的COVID-19预测模型P-GRU。通过在源地区数据集上采用预训练策略,使模型提前获得更多的疫情数据,从而学习到COVID-19的隐式演变规律,为模型预测提供更充分的先验知识,同时使用包含最近历史信息的固定长度序列预测后续时间点的确诊病例数,并在预测过程中考虑本地人为限制政策因素对疫情趋势的影响,实现针对目标地区数据集的精准预测。实验结果表明,预训练策略能够有效提高预测性能,相比于卷积神经网络、循环神经网络、长短期记忆网络和门控循环单元模型,P-GRU模型在平均绝对百分比误差和均方根误差评价指标上表现优异,更适合用于预测COVID-19传播趋势。

摘要： 随着遥感技术的快速发展,高分辨率遥感图像数据急剧增加,如何从海量的遥感图像数据中提取有效的语义描述信息具有重要的研究价值.然而,现有方法通常忽略遥感图像中的细节特征,从而导致图像的重要内容不能被语义信息准确描述.针对上述问题,本文提出了一种基于注意力机制的门控循环单元(Attention based Gated Recurrent Unit,Att-GRU)模型,并将该模型应用于高分辨率遥感图像的语义描述.首先,利用卷积神经网络提取高分辨率遥感图像的全局特征;然后在门控循环单元网络中引入注意力机制,以捕捉遥感图像中的细节视觉特征;最后,将图像视觉特征和描述文本特征共同作为Att-GRU模型的输入,以保证描述文本和图像内容的语义一致性,最终生成具有丰富语义内容的高分辨率遥感图像描述文本.实验结果表明,本文提出的模型在高分辨率遥感图像语义描述方面取得了较好的效果.

摘要： 本发明提供一种门控单元供电电压检测电路、门控单元监控系统及方法，在本发明所提供的门控单元供电电压检测电路、门控单元监控系统及方法中，通过门控单元供电电压检测电路能实时检测门控单元的供电电压，再根据实时供电电压相应地调整电机输出功率，尤其是在供电电压偏低但满足运营开关门时间时适当降低电机输出功率，降低了误判概率，能有效保障门控单元的正常工作运营；同时，将故障信号反馈给外界，能清楚地查看具体的故障信息，节约了故障排查的时间成本和人力成本，便于维修保护。

摘要： 本实用新型提供一种门控单元供电电压检测电路及门控单元监控系统，在本实用新型所提供的门控单元供电电压检测电路及门控单元监控系统中，通过门控单元供电电压检测电路能实时检测门控单元的供电电压，根据实时供电电压相应地调整电机输出功率，尤其是在供电电压偏低但满足运营开关门时间时适当降低电机输出功率，降低了误判概率，能有效保障门控单元的正常工作运营；同时，将故障信号反馈给外界，能清楚地查看具体的故障信息，节约了故障排查的时间成本和人力成本，便于维修保护。

摘要： 本发明提供一种基于循环帧序列的门控循环单元网络的语音超分辨率方法，包括如下步骤：(1)对原始语音信号进行预处理；(2)提出构建CFS‑GRU模型；(3)完成基于循环帧序列网络的语音超分辨率。本发明基于GRU搭建的循环结构模型，直接将语音信号序列作为输入，很大程度上减小了计算代价，并且相比于传统方法有着较好的超分辨率效果；相比于LSTM，GRU模型有着较少的模型参数，通过GRU搭建的CFS‑GRU模型能够更快的训练和收敛。使用SegSNRLoss作为损失函数训练的CFS‑GRU模型能够更快的收敛，并且能够使输出帧序列有着较高的信噪比，提高超分辨率语音信号的质量。

摘要： 本发明提供一种基于循环帧序列的门控循环单元网络的语音超分辨率方法，包括如下步骤：(1)对原始语音信号进行预处理；(2)提出构建CFS‑GRU模型；(3)完成基于循环帧序列网络的语音超分辨率。本发明基于GRU搭建的循环结构模型，直接将语音信号序列作为输入，很大程度上减小了计算代价，并且相比于传统方法有着较好的超分辨率效果；相比于LSTM，GRU模型有着较少的模型参数，通过GRU搭建的CFS‑GRU模型能够更快的训练和收敛。使用SegSNRLoss作为损失函数训练的CFS‑GRU模型能够更快的收敛，并且能够使输出帧序列有着较高的信噪比，提高超分辨率语音信号的质量。

摘要： 本发明公开一种基于分时门控循环单元的光伏发电功率预测方法，方法包括以下步骤：获取光伏发电功率原始数据；对数据做归一化处理，得到归一化后的数据；接着采用极限学习提升算法对归一化后的数据进行处理，得到不同因素对光伏发电功率影响的权重因子并对权重因子进行排序；根据排序结果，选择若干个对光伏发电功率的影响较大的因素进行组合；按照一定时间长度，如每两个小时，将归一化后的数据划分N组，与之相对应采用人工鱼群算法来优化N个门控循环单元的超参数；最后将每一组数据输入至相对应的门控循环单元预测模型中，得到N个时间段光伏发电功率预测结果。本发明有益效果是：提高非平稳时期光伏发电功率的预测精度和发电企业经济效益。

摘要： 本发明公开一种基于门控循环单元的光伏发电功率预测方法，方法包括以下步骤：获取光伏发电厂原始数据；对数据做归一化处理，得到归一化后的数据；接着采用极限学习提升XGBoost算法对归一化后的数据进行处理，得到不同参数对光伏发电功率影响的权重因子并对权重因子进行排序；根据排序结果，选择若干个对光伏发电功率的影响较大的参数进行组合；最后将组合好的数据输入至基于人工鱼群算法优化的门控循环单元GRU预测模型中，得到光伏发电功率预测结果。本发明有益效果是：提高非平稳时期光伏发电功率的预测精度，精准有效的光伏发电功率预测有助于提升电网实时调度水平、电力系统稳定运行能力以及光伏电能消纳能力，提高光伏发电企业的经济效益。

摘要： 本发明公开一种基于复数门控循环单元的波束形成方法，包括以下步骤：(1)进行复数掩蔽预测；预测的复数掩蔽数量和说话人的个数对应；(2)将复数掩蔽和复数混合音频特征做元素乘积得到说话人复数音频特征，将所述说话人复数音频特征与自身的共轭转置做矩阵乘，标准化后沿着时间维度求和得到复数功率谱密度矩阵；(3)复数功率谱密度矩阵有若干个，分别与每个说话人的音频对应；(4)构建复数门控循环单元网络，将拼接好的复数矩阵特征输入到复数门控循环单元网络中，充分利用复数网络的特点，预测波束形成的加权系数；波束形成的加权系数和复数混合音频特征做矩阵乘后，即可得到更精确的说话人复数音频特征。

摘要： 本发明公开了一种基于门控循环单元神经网络的SiC MOSFET器件寿命预测方法，其包括以下步骤：S1、获取SiC MOSFET器件的历史老化数据；S2、建立门控循环单元神经网络模型；S3、建立模型评价机制并训练神经网络模型；S4、预测SiC MOSFET器件的剩余使用寿命。本发明采用门控循环单元神经网络来进行寿命预测，该神经网络对时间序列有很好的预测效果，且网络结构简单，模型参数少，收敛速度快，具有很好的预测精度，对于提高电力电子器件乃至整个系统的可靠性具非常重要意义。

摘要： 本发明提供一种基于门控循环单元的探地雷达地下空洞目标自动识别方法。所述门控循环神经网络的GRU有两个门：重置门和更新门；重置门主要决定了到底有多少过去的信息需要遗忘，根据输入xt，当前重置门的输出rt和上一时间步隐藏状态ht‑1得到候选隐藏状态如果重置门近似0，上一个隐藏状态将被丢弃；而更新门帮助模型决定到底要将多少信息传递到未来，或到底前一时间步和当前时间步的信息有多少是需要继续传递的，更新门zt根据上一时间步的隐藏状态ht‑1和当前时间步的候选隐藏状态得到当前的隐藏状态ht；重置门和更新门的激活函数σ是sigmoid函数。本发明解决现有方法难以检测识别地下空洞目标的问题。

摘要： 本发明提出了一种基于自注意力卷积双向门控循环单元网络的事件检测方法，解决现有技术在事件检测时文本特征提取不充分以及模型收敛速度慢的问题。本发明的实现步骤为：(1)生成训练集；(2)构建自注意力卷积双向门控循环单元网络；(3)训练自注意力卷积双向门控循环单元网络；(4)检测自然语言文本中的事件。本发明构建了自注意力卷积双向门控循环单元网络，使网络同时利用文本中的词汇级特征和句子级特征，并使用自注意力捕捉词汇级特征的全局信息，关注对事件检测更有效的句子级特征，提高了事件检测的准确率和效率。