循环神经网络

摘要： 为了促进智能新零售在线下业务场景的发展,提高作为销售关键信息价格牌的识别精度.本文对价格牌识别问题进行研究,有效地提高了价格牌的识别精度,并解决小数点定位不准确的难题.通过深度卷积神经网络提取价格牌的深度语义表达特征,将提取到的特征图送入多任务循环网络层进行编码,然后根据解码网络设计的注意力机制解码出价格数字,最后将多个分支的结果整合并输出完整价格.本文所提出的方法能够非常有效地提高线下零售场景价格牌的识别精度,并解决了一些领域难题如小数点的定位问题,此外,为了验证本文方法的普适性,在其他场景数据集上进行了对比实验,相关结果也验证了本文方法的有效性.

摘要： 对时间复杂度信息的学习和处理是人脑的一大优势,而储备池计算是一种低训练代价、低硬件开销的循环神经网络,在时序信息处理方面具有广泛的应用。近日,北京大学科研团队在《Advanced Materials》杂志发表了题为“Multilayer Reservoir Computing Based on Ferro⁃electricα-In2Se3 for Hierarchical Information Processing”的论文,该团队首次采用忆阻器单元构建了深度储备池计算硬件。

摘要： 图像在采集和传输过程中往往受到噪声污染,去噪任务是图像预处理中的重要步骤.现有的基于深度学习的图像去噪方法往往只进行单次的去噪,容易产生过于平滑或者太多噪点未去除的结果且无法恢复.因此,本文提出了一种基于循环神经网络的多阶段图像去噪方法.该方法包括两个去噪阶段,通过调整两个阶段的训练权重可以使得第1阶段的去噪结果包含部分未去除干净的噪点和更多细节信息,然后将第1阶段提取的特征通过门控循环单元传递到第2阶段,再进行第2个阶段的去噪.同时,为了使深度网络的训练更稳定,本文还设计了一个估计噪声分布的子网络,用于从噪声图像中估计噪声的分布.最后,将噪声分布和噪声图像拼接,作为网络的输入来训练去噪网络.实验结果表明,本文的基于循环神经网络的多阶段图像去噪方法具有先进的去噪性能.

摘要： 提前24 h准确预测PM_(2.5)浓度可以有效的避免严重污染天气对人体带来的不利影响.为了提高深度学习模型PM_(2.5)浓度24 h预测的性能和泛化能力,在传统循环神经网络(RNN)模型上添加支持向量回归(SVR)作为下采样层提取非线性特征并降维;然后添加多核卷积神经网络(CNN)提升特征表达能力;最后利用门控循环网络(GRU)可记忆时间序列中长期信息的优势进行时序预测以保证结果的稳定性.对集成SVR-CNN-GRU模型,以2015年1月1日至2020年4月10日武汉及其周边13城市的空气质量数据和地面气象数据为样本进行实例验证,结果表明,SVR-CNN-GRU在武汉市PM_(2.5)24 h预测上的表现明显优于集成之前的RNN、SVR和随机森林回归方法,而且泛化能力更强,拟合优度达到0.97,能够实现高准确度预测,达到提前24 h预警的目的.

摘要： 海水中的声速剖面具有明显的时间演化特性,其预测问题可以看作一个非线性的时间序列预测问题。解决此类问题的常用方法大多使用预定义的非线性形式,无法捕捉真正潜在的非线性关系。循环神经网络作为一种为序列建模特别设计的深度神经网络,在捕捉非线性关系上具有极大的灵活性,在非线性自回归的时间序列预测这一问题上展现了它的有效性;注意力机制能够从众多信息中选择出对当前任务目标最关键的信息,对多变量时间序列在时空维度上的非线性关系进行捕捉。该文利用深度学习中的循环神经网络,添加双层注意力机制构建多变量时间序列预测模型,对浅海环境下时变的全海深声速剖面进行预测。多个模型的预测结果表明,该模型相对于单纯的编码-解码模型有着明显的预测性能提升,并且注意力权重的分布能够与实际物理现象相关联,为水声学中物理模型与机器学习的结合提供了新的思路。

摘要： 随着移动设备和社交软件的普遍应用,下一个兴趣点推荐(next POI recommendation)变成了基于位置的社交网络(LBSN)的一个非常重要的任务。现实生活中用户访问的下一个兴趣点通常受到用户签到序列信息、用户关系和该地点的上下文信息等诸多方面的影响。基于循环神经网络(RNN)的方法已经被广泛的应用到下一个兴趣点推荐中,但是这些基于RNN的方法缺乏对用户关系进行深入建模。为了解决上述问题,提出了一种整合用户关系和门控循环单元(GRU)进行下一个兴趣点推荐的模型(GRU-R),同时该模型能够考虑用户签到序列信息、用户关系、兴趣点的时空信息和类别信息等进行下一个兴趣点推荐。在两个真实公开的数据集上进行实验,结果表明提出的模型比现有主流的下一个兴趣点推荐算法具有更高的推荐准确性。

摘要： 对优化问题的研究一直以来深受科研工作者的关注。非光滑伪凸优化作为非凸优化中的一类特殊问题,频繁出现在机器学习、信号处理、生物信息学以及各类科学与工程领域中,成为学者们研究的重点。基于罚函数以及微分包含的思想,提出了一种解决带有不等式约束条件和等式约束条件的非光滑伪凸优化问题的新型神经网络方法。在给定的假设条件下,该神经网络的解可以在有限时间内进入可行域并永驻其中,最终收敛到优化问题的最优解集。相比其他神经网络模型,该模型具有以下优点:1)结构简单,为单层模型;2)不需要事先计算精确的惩罚因子;3)初始点可任意选取。在MATLAB环境下,通过数值实验得出,所提网络都能在有限时间内收敛到一个最优解;而用现有的神经网络模型解决同样的优化问题时,若初始点选取不恰当,则会导致状态解不能在有效时间内收敛甚至不能收敛。这不仅进一步地验证了所提神经网络的有效性,同时也说明其具有更广泛的应用范围。

摘要： 针对基于RNN的神经网络语音合成模型训练和预测效率低下以及长距离信息丢失的问题,提出了一种基于BERT的端到端语音合成方法,在语音合成的Seq2Seq架构中使用自注意力机制(Self-Attention Mechanism)取代RNN作为编码器。该方法使用预训练好的BERT作为模型的编码器(Encoder)从输入的文本内容中提取上下文信息,解码器(Decoder)采用与语音合成模型Tacotron2相同的架构输出梅尔频谱,最后使用训练好的WaveGlow网络将梅尔频谱转化为最终的音频结果。该方法在预训练BERT的基础上通过微调适配下游任务来大幅度减少训练参数和训练时间。同时,借助其自注意力(Self-Attention)机制还可以并行计算编码器中的隐藏状态,从而充分利用GPU的并行计算能力以提高训练效率,并能有效缓解远程依赖问题。与Tacotron2模型的对比实验表明,文中提出的模型能够在得到与Tacotron2模型相近效果的基础上,把训练速度提升1倍左右。

摘要： 研究了基于凸包型脉冲的时标上多重循环神经网络系统(multiple recurrent neural networks,MRNNs)的全局同步问题.利用序列连通、时标理论和凸包型脉冲控制策略得到了混合时域上保证全局同步的充分条件.主要结果不仅有一般性,也推广了已有文献的相关结论,其中时标理论确保了得到的充分条件不仅可应用于连续时域和离散时域,还可应用在混合时域上.最后用一个例子验证了结论的正确性.

摘要： 在传统的推荐算法中,往往缺乏对用户长短期兴趣偏好问题的考虑,而随着深度学习在推荐算法中应用的不断深入,这一问题能够得到很好的解决.本文针对该问题提出一种融合隐语义模型与门控循环单元的长短期推荐算法(recommendation algorithm based on long short-term,RA_LST),以实现对用户长短期偏好的分别捕捉,有效解决了因用户兴趣随时间变化而导致推荐效果下降的问题.最终的实验结果表明,本文提出的算法在不同的数据集上都表现出了推荐准确性的提升.

摘要： 为了解决无线网络入侵检测中的数据隐私问题,文中提出了一种基于联邦学习和循环神经网络的无线网络入侵检测模型,准确率可达到97.34％,训练时间为2136s.与传统的入侵检测相比,能够在缩短耗时的前提下达到一定的准确率.与分布式训练相比,所提方法的数据传送更简单且保障了用户隐私.

摘要： 在高分遥感影像城区建筑物变化检测中,如何充分利用丰富的空间信息和时序信息仍是目前亟待解决的问题.本文基于2015年和2017年分别获取的广东省某地区0.65米分辨率的卫星遥感影像,进行新增建筑物识别的研究,利用卷积神经网络和循环神经网络分别提取空间特征和时序特征以提高变化检测精度,并对比了卷积神经网络与不同循环神经网络的两种组合方式.在本文实验中,使用循环神经网络融合高层时间特征相比于原始变化检测网络节省了26.5％的时间成本,相比于融合底层时间特征节省了75.2％的时间成本,使用长短期记忆网络进行高层特征融合使得建筑物变化检测的F1得分提高了0.19,并将总体精度提高至95.0％.结果表明,在卷积神经网络中引入循环神经网络实现了时间序列高层特征融合,提高了高分遥感影像中建筑物变化检测的速度和精度.

摘要： 随着信息技术的迅猛发展,入侵检测系统越来越受到关注.文中针对在入侵检测中单一应用卷积神经网络(CNN)和循环神经网络(RNN)无法同时学习时序和空间特征的问题,提出了一种基于CNN和RNN的混合模型,将CNN和RNN模块的输出线性连接形成中间混合层.通过在NSL-KDD数据集上的实验结果可知,该模型有效提高了入侵检测识别的精度和分类准确性.

摘要： 语音识别已经在服务、医疗、家电等行业中得到广泛的应用.智能设备中,语音交互系统的能耗较高,往往处于关闭状态.而唤醒词识别功能能耗相对较低,可以在后台保持开启状态,便于进行实时监测.当识别出唤醒词之后,设备才会开启智能交互系统.因此,唤醒词识别是语音识别技术的重要因素.论文融合残差网络、语音端到端网络、循环神经网络,引入注意力机制,并尝试多种损失函数,构造了一种有效的应用于唤醒词识别的网络结构.在企业内部数据集上,经过大量实验,并与多种不同网络结构对比,取得了良好的效果.其召回率达到90％以上,误唤醒率1％,效果明显优于传统的方法.

摘要： 随着科学技术的不断发展,人工智能领域成为当今的研究热点,尤其是深度学习备受各界瞩目.围绕目标追踪的深度学习方法,探索当今较为成熟的基本模型,具体包括卷积神经网络、循环神经网络、生成对抗网络和深度强化网络.针对每一个基本模型,文中均结合通俗易懂的经典例子来阐述其基本结构和操作流程.然后基于上述4个基本模型展开更为系统的分析和讨论,揭示各种方法的优势和不足.最后,立足于当今的科技发展形势,对深度学习的发展进行了简要的总结,并进一步强调了深度学习所面临的机遇与挑战.

摘要： 文章阐述了课题研究背景，自动语法纠错研究简述，iWriite自动语法纠错的总体原则，双引擎自动语法纠错方法简介以及将来工作等内容。

摘要： 随着社会的快速发展,无论是在国防领域还是在日常生活各个方面中,导航技术都有着越来越重要的意义.在室外环境中,定位导航技术日渐成熟,近年来,随着智慧城市建设的不断推进,在一些人口密集的商场、停车场等室内公共场所,基于位置信息服务的位置导航、环境感知和对人或物的实时监控的需求不断增加,高精度的室内定位技术也因此成为研究热点.针对现有的室内定位方法存在高成本、低精度、鲁棒性低等问题.一些学者尝试将机器学习引入室内指纹定位中,机器学习作为一种数据分析的智能工具,具有强大的自学习能力,通过机器学习的思想解决上述问题,能够提高室内定位精度、增强系统鲁棒性,同时降低成本,提高室内定位方法的性能.本文首先详细综述了基于K-最近邻、支持向量回归、随机森林、卷积神经网络、循环神经网络五种机器学习方法在室内定位中的应用,然后分析了这些方法的应用到室内定位研究中的优缺点,总结了基于机器学习的室内定位方法面临的困难与挑战,最后展望了基于机器学习的室内定位方法未来的一些发展方向.

摘要： 中国古典诗歌是中国古典文学的代表之一,是中华传统文化的宝藏,源远流长.中国古典诗歌的研究是自然语言处理方向的一项重要且富有意义的工作.随着人工智能的发展,人工神经网络在图像、文本等领域得到广泛的应用,取得了显著的突破,给人工智能与中国古典诗歌相结合提供了新的思路和方法.让机器去理解中国古典诗歌的韵律和意境是一件极具挑战的工作,其中,通过研究诗歌的相似性来提升机器对诗歌的理解这一研究课题被赋予了更为重要的意义.诗歌检索是对诗歌之间内容作对比,查找出在语义和意境上相接近的诗歌,这要求对整首诗歌的内容和意境有深入的理解.本文模型以数十万首古人诗作为基础,利用循环神经网络(RNN)自动学习古诗句的语义表示,并设计了多种方法自动计算两首诗之间关联性来计算两首诗歌之间的语义距离,实现诗歌的推荐.自动评测和人工评测的实验结果都表明,本文模型能够生成质量较好的诗歌检索结果.

摘要： 文本分类是自然语言处理的基本任务之一.该文在原型网络基础上,提出了按时序移动平均集成历史原型向量的均值原型网络,并将均值原型网络与循环神经网络相结合提出了一种新的文本分类模型.该模型利用单层循环神经网络学习文本的向量表示,通过均值原型网络学习文本类别的向量表示,并利用文本向量与原型向量的距离训练模型并预测文本类别.与己有的神经网络文本分类方法相比,模型在训练和预测过程中有效利用了样本间的特征相似关系,并具有网络深度浅,参数少的特点.提出的方法在多个公开的文本分类数据集上取得了最先进的分类准率.

摘要： 基于毫米波雷达的手势识别是利用电磁波获取人体动态手势的运动特征,实现手势的自动识别.本文提出一种调频连续波(FMCW)毫米波雷达的手势识别技术,对雷达回波进行分析处理,经过雷达信号检测,在复杂环境中对手势与雷达距离、速度等特征进行提取,得到雷达与目标的距离加权多普勒、方位角、俯仰角、方位角俯仰角协方差、方位角加权多普勒相关性、俯仰角加权多普勒相关性这六种特征,根据特征使用浅层人工神经网络对6种手势进行识别分类.通过实验证明,此方法可以快速有效的识别出不同类别手势,对于未训练的测试集有很好的泛化性.

摘要： 本发明公开了一种基于卷积神经网络和循环神经网络的人体行为识别方法，使用传感器跟踪人体行为，收集该时间段内人体关节的3维坐标向量组以及RGB视频。然后使用循环神经网络RNN对人体关节的3维坐标进行训练，得出时间特征向量。使用卷积神经网络CNN对RGB视频训练，得到时空特征向量，最后结合时间特征向量和时空特征向量并归一化，并馈送到线性SVM的分类器，使用验证数据集，找到线性支持向量机SVM的参数C，最终得到一个综合识别模型。本发明能够解决模型在模型训练过程中对动作分类的过拟合问题，同时还能有效提高人体行为识别效率及精确度。

摘要： 本发明公开了一种融合卷积神经网络和循环神经网络的问答方法及系统，方法包括：根据用户输入的问句，获取问句的实体以及实体的查询ID；根据实体将问句简化成问句模式；根据查询ID收集实体的相关属性，生成候选属性列表；将问句模式以及候选属性列表输入预先训练好的属性判别器中，获取每个候选属性与问句的得分；根据得分判定与问句最相近的属性关系，取出最相近的属性关系的属性值完成回答。本发明利用字典树的方法实现快速的实体定位，可以满足高并发的商业系统，且可以减少无谓的字符串比较，提高查询效率，通过基于神经网络的方法进行属性推断，利用向量化的数值计算不需要人工整理模板，能够有效解决人工整理的操作繁杂以及不完备等问题。

摘要： 本发明公开了一种基于卷积网和循环神经网络的高光谱图像分类方法，主要解决现有技术中高光谱图像分类精度低的问题。本发明具体步骤如下：(1)构造三维的卷积神经网络；(2)构造循环神经网络；(3)对待分类的高光谱图像矩阵进行预处理；(4)生成训练数据集和测试数据集；(5)利用训练数据集训练网络；(6)提取测试数据集空间特征和光谱特征；(7)融合空间特征和光谱特征；(8)对测试数据集进行分类。本发明引入三维卷积神经网络和循环神经网络提取高光谱图像的空间特征和光谱特征，融合两种特征进行分类，具有针对高光谱图像分类问题精度高的优点。

摘要： 本发明公开了一种基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法，主要包括下述步骤：S1.训练基于循环神经网络的语言模型；S2.训练基于深度神经网络的声学模型；S3.基于循环神经网络语言模型和深度神经网络声学模型的中文语音识别方法的解码器采用维特比搜索方案。本发明结合循环神经网络的准确性和深度神经网络的低时延性，解决了现有n‑gram语言模型准确度低和长短时记忆网络声学模型高时延性的缺点，实现低时延较高准确度的中文语音识别。

摘要： 本发明公开了一种基于循环神经网络变体和卷积神经网络的文本分类算法，具体为：步骤1，对数据集SogouC和数据集THUCNews进行预处理，并将两个数据集均分为训练集和测试集，并将各自训练集和测试集中的文本数据均训练为句向量；步骤2，利用步骤1中两个数据集中的训练集中文本建立BGRU‑CNN混合模型，步骤3，建立目标函数，采用随机梯度下降方法训练经步骤2建立好的BGRU‑CNN混合模型；步骤4，将两个数据集中将测试集的文本句向量输入经步骤3训练好的BGRU‑CNN混合模型中，得到分类结果。本发明解决了现有技术中存在的长文本在文本分类时提取语义关键特征难度大，分类效果差的问题。

摘要： 本发明公开了一种基于多角度卷积神经网络与循环神经网络的文本分类算法，包括步骤：1)对文本进行多角度的卷积神经网络的建模，包括不同的滑窗宽度、过滤器和池化类型，得到一种特征表达；2)对文本进行双向LSTM循环神经网络的建模，得到另一种特征表达；3)对文本的两种特征表达进行特征融合，利用SVM分类器，得到文本的分类。本发明将多粒度、多种卷积、多种池化融入到卷积神经网络中，将双向传播引进LSTM循环神经网络，得到两种文本高层特征表达，通过特征融合方式，建立SVM分类模型，得到文本分类结果。本发明能够捕获不同的文本高层特征表达，通过特征融合，得到文本更丰富的特征表达，建立SVM分类模型，提高分类效果。

摘要： 用于强化学习的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。方法之一包括使用慢速更新循环神经网络和快速更新循环神经网络两者来选择要由代理执行的动作，该快速更新循环神经网络接收包括慢速更新循环神经网络的隐藏状态的快速更新输入。

摘要： 本发明属于图像处理、机器学习技术领域，公开了一种结合卷积神经网络与循环神经网络的血管中心线追踪方法，在原始图像中，将中心线等距采样，提取图像块并组成序列，给定序列的方向类别；选取非中心线点，提取图像块并生成扩充序列，给定扩充序列的方向类别；将序列与方向类别作为输入训练卷积‑循环神经网络；在测试图像中分割血管中心线并拟合，获取用于追踪的起始序列；从起始序列开始，通过卷积‑循环神经网络预测方向实现追踪。本发明通过自动确定追踪的起点与终点，解决了传统方法需要人工干预的问题，有效利用了血管的全局与局部信息；实现中心线的自动追踪，具有不需要预分割血管、准确率高的特点。

摘要： 本发明公开了一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法。该方法的具体实施步骤如下：（1）获取互联网文本信息；（2）对获取的文本信息进行预处理；（3）训练融合卷积神经网络和循环神经网络的文本因果关系自动抽取模型；（4）将预处理后的文本信息输入到因果关系自动抽取模型，输出句子因果关系抽取结果，其组成部分为｛因部分，因果连接词，果部分｝。该方法通过使用神经网络的方法，采用向量化数值计算来进行因果关系自动抽取，有效的解决人工制定模板操作繁杂和因果关系语义特征提取难的问题。

摘要： 本发明涉及心电信号处理技术领域，具体涉及基于卷积神经网络和循环神经网络结合的心电诊断方法。包括：S1、采集心电信号训练数据，并分别附上标签进行数据预处理；S2、将预处理后的训练数据进行数据增强；S3、构建联合神经网络模型，利用增强后的训练数据对联合神经网络模型进行训练，得到训练模型；S4、获取目标心电信号，将目标心电信号输入训练模型进行计算，输出概率值；S5、根据输出的概率值进行正负例判断，得出分类判断结果。本发明可以有效提高心电诊断的效率和准确率，且提供的训练模型可以涵盖各种复杂心电特征，便于进行数据的迁移学习。