强化学习

摘要： 基于强化学习的方法在知识图谱补全任务中虽然具有较好的表现,但存在智能体得到的指导奖励质量偏低、关系路径判定易错等问题.为此,提出一种融合软奖励和退出机制的对抗学习推理方法(WGAN reward and exit,WGAN-RE),在生成式对抗网络中引入软奖励和动作退出机制.利用知识嵌入模型构建外部软奖励机制,增强强化学习过程中的奖励机制;利用动作退出机制对路径上的中间实体随机掩盖外向边,并强制搜索路径集,稀释无意义路径的影响.在FB15K-237和NELL-995数据集上与多种强化学习方法进行对比实验,结果表明,所提方法的路径搜索成功率最高,在事实预测和链接预测任务上其性能均有显著提升.

摘要： 为进一步提升基于值函数强化学习的智能干扰决策算法的收敛速度,增强战场决策的有效性,设计了一种融合有效方差置信上界思想的改进Q学习智能通信干扰决策算法.该算法在Q学习算法的框架基础上,利用有效干扰动作的价值方差设置置信区间,从干扰动作空间中剔除置信度较低的干扰动作,减少干扰方在未知环境中不必要的探索成本,加快其在干扰动作空间的搜索速度,并同步更新所有干扰动作的价值,进而加速学习最优干扰策略.通过将干扰决策场景建模为马尔科夫决策过程进行仿真实验,所构造的干扰实验结果表明:当通信方使用干扰方未知的干扰躲避策略变更通信波道时,与现有基于强化学习的干扰决策算法相比,该算法在无通信方的先验信息条件下,收敛速度更快,可达到更高的干扰成功率,获得更大的干扰总收益.此外,该算法还适用于"多对多"协同对抗环境,可利用动作剔除方法降低联合干扰动作的空间维度,相同实验条件下,其干扰成功率比传统Q学习决策算法高50％以上.

摘要： 传统的约束马尔可夫决策过程(constrained Markov decision process,CMDP)模型用来解决多目标决策的困难,但该模型缺乏通用性并且只适用于离散环境.为了解决这一问题,提出一种基于CMDP的改进算法CRODP,与强化学习(reinforcement learning,RL)算法结合,将带约束问题建模为拉格朗日公式,其中包含着深度强化学习的策略参数.然后进一步推导出模型参数的更新公式,并将其作为深度强化学习神经网络的损失函数.模型在学习过程中动态调整约束与主要目标之间的权重以确保最终策略符合给定的约束.在若干机器人平台上与基准的深度强化学习算法进行比较,显示本算法得出的最优策略能够更好地满足相应约束.

摘要： 技术旨在凝练给定文本,以篇幅较短的摘要有效反映出原文核心内容。现阶段,生成型文本摘要技术因能够以更加灵活丰富的词汇对原文进行转述,已成为文本摘要领域的研究热点。然而,现有生成型文本摘要模型在产生摘要语句时涉及对原有词汇的重组与新词的添加,易造成摘要语句不连贯、可读性低。此外,通过传统基于已标注数据的有监督训练提升摘要语句连贯性,需投入较高的数据成本,致使实际应用受限。为此,提出了一种面向连贯性强化的无真值依赖文本摘要(生成)模型(ATS;G)。该模型在仅给定原文本的限制条件下,一方面,基于原文本的编码结果,产生语句抽取标识,刻画对原文关键信息的筛选过程,由解码器对筛选后的语句编码进行解码;另一方面,基于解码器输出的原始词汇分布,分别按"概率选择"与按"Softmax-贪婪选择"产生两类摘要文本。综合语句连贯性与语句内容两方面,构建两类摘要文本的总体收益后,利用自评判策略梯度,引导模型学习关键语句筛选以及对所筛选关键语句进行解码,生成语句连贯性高、内容质量好的摘要文本。实验表明,即便不给定任何事先标注的摘要真值,所提出模型的摘要内容指标总体上仍优于现有文本摘要方法;与此同时,ATS;G生成的摘要文本在语句连贯性、内容重要性、信息冗余性、词汇新颖度和摘要困惑度方面亦优于现有方法。

摘要： 针对进攻战斗火线伤员收拢前接时效救治需要,综合考虑战场装甲救护车数量、营救护站到火线伤员集伤点距离、不同伤势伤员人数等复杂环境条件,以伤员平均等待救治时间最短为优化目标,建立基于强化学习的装甲救护车火线伤员收拢前接策略模型,并进行优化求解计算。实验结果表明,将强化学习应用于装甲救护车火线伤员收拢前接中,有助于提升火线伤员救治效率。

摘要： 针对软件定义网络(SDN)链路故障发生时的路由收敛问题,提出了Q-Learning子拓扑收敛技术(QL-STCT)实现软件定义网络链路故障时的路由智能收敛。首先,选取网络中的部分节点作为枢纽节点,依据枢纽节点进行枢纽域的划分。然后,以枢纽域为单位构建区域特征,利用特征提出强化学习智能体探索策略来加快强化学习收敛。最后,通过强化学习构建子拓扑网络用于规划备用路径,并保证在周期窗口内备用路径的性能。实验仿真结果表明,所提方法能够有效提高链路故障网络的收敛速度与性能。

摘要： 冲压发动机飞行器爬升过程中发动机性能随飞行状态时变,且易受动力性能偏差、气动偏差和风干扰的耦合影响,传统的方法难以给出能量最优的爬升段轨迹解。针对该问题,提出了一种基于强化学习的轨迹优化控制方法。首先构建了基于近端策略优化(PPO)的强化学习任务模型,将轨迹优化问题转化为基于状态给出最优动作策略的强化学习问题,提出了对未到达目标区域样本赋予广义距离奖励的方法来解决奖励稀疏性问题;通过在控制器训练中引入初值采样来降低初值敏感性;提出了将线性扩张状态观测器(LESO)与强化学习相结合的方法,通过对干扰进行观测和补偿提升控制器抗干扰能力。仿真结果表明,采用所提出的算法后,终端约束误差缩小了60%,可为复杂环境下的冲压发动机轨迹优化控制提供参考。

摘要： 目的针对因行李随旅客无序抵达而无法提前得知行李尺寸信息的机场行李装箱问题,以行李车的装箱空间利用率为优化目标,提出基于强化学习的行李在线装箱方法。方法首先,根据机场行李装箱的实际情况,建立行李装箱的数学模型;接着,针对行李在行李车内寻找合适装箱位置和姿态的问题,设计行李装箱位置选择方法和装箱姿态评价方法;最后,借助强化学习的"试错"学习模式,通过训练行李装箱模型获得行李在线装箱策略。结果在仿真实验中文中算法的行李车空间利用率能够达到82.9%,计算耗时0.39 s,这2项指标均优于机器学习算法。结论在求解机场行李在线装箱问题上具有较好的实用性。

摘要： 为了解决频谱资源利用率低的问题,引入了认知无线网络的概念。在认知无线网络中,次要用户可以在不影响主要用户正常工作的前提下机会性地接入授权频段,故精确地感知频谱的状态并快速准确地接入授权频段就显得尤为重要。由于网络中存在干扰和阴影衰落等因素,传统的频谱感知效果不理想。本文引入了协作频谱感知技术,通过强化学习算法选择参与协作的次要用户,综合各协作用户的感知信息来最小化信道中的干扰,同时也减少次要用户的信令损耗,最后通过深度神经网络对感知结果的分类问题进行改进;提出了一种基于协作频谱感知的深度强化学习算法。仿真结果表明,该算法相比传统的SVM、K-out-of-N和深度学习算法具有更好的感知性能。

摘要： 采用电推力器实现自主轨道转移是全电推进卫星领域的关键技术之一。针对地球同步轨道(geostationary orbit,GEO)全电推进卫星的轨道提升问题,将广义优势估计(generalized advantage estimator,GAE)和近端策略优化(proximal policy optimization,PPO)方法相结合,在考虑多种轨道摄动影响以及地球阴影约束的情况下,提出了基于强化学习的时间最优小推力变轨策略优化方法。针对状态空间过大、奖励稀疏导致训练困难这一关键问题,提出了动作输出映射和分层奖励等训练加速方法,有效提升了训练效率,加快了收敛速度。数值仿真和结果对比表明,所提方法更加简单、灵活、高效,与传统的直接法、间接法以及反馈控制法相比,能够保证轨道转移时间的最优性。

摘要： 高能物理计算是典型的数据密集型计算,文件访问模式以跳读为主,并发度高.吞吐率、响应时间等性能对整个系统至关重要,往往是重点关注的性能优化目标.分布式存储系统存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.而参数调节和系统的反馈之间是有延时的,如果采取了连续多个调节动作,很难确定究竟是哪个动作起了作用,或者每个动作对结果的影响是多少.因此,人工调节不免存在偏差,况且庞大的参数搜索空间、负载的连续性、负载和设备的多样性等因素也决定了传统方法是非常低效的.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明,在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30％左右.

摘要： 为保证转台能够获得较好的精度及动态性能,需要对其控制参数进行调节.为了避免传统上转台控制参数需要专业人员长时间调节的不足,提出一种基于强化学习的转台控制参数自整定方法.该方法通过引入强化学习自整定回路对控制参数进行调节,根据转台性能指标建立评价函数,依照评价函数结果指导参数调节的方式.该方法通过离线方式对转台控制参数进行调节,避免了强化学习调节实时性不足对转台运行造成的影响,同时具有能够自动调节转台控制参数的优势,有效提高了生产效率.

摘要： 无人水面艇(Unmanned Surface Vehicle,USV)是一种自主式海洋无人航行运载器,在无人控制领域中被广泛研究,但复杂环境下传统的控制方法建模困难且不具有很好泛化性.本文以深度强化学习算法为基础,建立无人艇在复杂海况下的环境,分析并设计环境的状态空间、动作空间和奖励等,通过经验池回放技术提供训练样本,训练网络以实现对航线的跟踪.通过实验仿真验证,训练后的网络能够很好地对无人艇进行控制,并具有对不同航线和无人艇模型具有良好的泛化性.

摘要： 医学问题诉求分类属于文本分类,是自然语言处理中的基础任务.该文提出一种基于强化学习的方法对医学问题进行诉求分类.该方法首先通过强化学习自动识别出医学问题中的关键词,并且对医学问题中的关键词和非关键词赋予不同的值构成一个向量;其次,利用该向量作为attention机制的权重向量,对Bi-LSTM模型生成的隐含层状态序列加权求和得到问题表示;最后通过softmax分类器对问题表示进行分类.实验结果表明,该方法比基于Bi-LSTM模型的分类结果准确率提高1.49％.

摘要： 为了解决制造型企业面临的订单变更后生产再决策问题,提出了一种基于强化学习(Reinforcement learning)的生产再决策方案.对订单变更问题使用半马尔可夫决策模型建模,综合考虑企业实际生产环节中的设备使用情况、产品的收益、库存开销以及订单的违约赔偿等因素,将企业收益最大化和变更前后生产决策差异最小化作为优化目标,采用动态改变探索速率和学习速率的Q-learning算法对生产再决策问题进行优化.数值实验证明,所提出的方法可以快速获得生产再决策方案.

摘要： 交叉口是城市路网的核心和枢纽,也是城市通行能力的瓶颈.合理优化交通道口的信号控制可以极大地提高城市交通体系的运行效率,减少交通堵塞,是一个非常重要的研究课题.由于大范围交通信号控制属于模糊决策问题,非常适合利用强化学习方法来解决.随着深度学习技术的发展,结合深度学习和强化学习的技术——深度强化学习也在近些年出现了一种井喷的态势.本文主要介绍了主流的强化学习方法,并列举了近些年来利用强化学习进行交通信号控制的一些研究成果,阐述了这些方法是如何用于解决交通控制问题的.

摘要： 空调系统运行优化是建筑节能的重要组成部分.本文将强化学习算法应用在空调系统运行优化中.首先建立空调系统运行优化任务的马尔科夫决策过程模型,接下来确立规则对探索空间进行进一步缩减,使探索过程尽可能满足系统设备运行和被控区域舒适度的约束,最后应用QLearning算法探索学习不断改进控制策略.通过仿真案例对算法进行了测试.采用动态仿真软件TRNSYS和MATLAB进行联合仿真,对被控区域送风量进行了优化,仿真结果显示,与基于固定规则的控制策略和PID控制相比,本文提出的基于强化学习的控制方法可以在小幅提升被控区域舒适度的同时可将运行费用分别降低超过7％和4.5％.

摘要： 六足机器人在结构上具有多冗余自由度,具有较高的地形环境适应能力,如何提高六足机器人在非结构环境下的移动能力一直是个具有挑战性的课题.本文将六足机器人在非结构环境中的行走问题建模为受约束条件下的离散落脚点选取和路径优化问题,利用强化学习对未知环境的学习能力,解决未知非结构复杂路况下的步态规划和路径优化问题,并通过MATLAB-ADAMAS联合仿真进行了实验验证.

摘要： Types of RL algorithms:Value Based,Learnt Value Function,Implicit policy(e.g.∈一greedy);Policy Based,No Value Function,Learnt Policy;Actor-Critic,Learnt Value Function,Learnt Policy.Other(multiagent)RL application scenarios:Auto-driving scenarios,Software Testing(e.g.,Fuzzing,code summarization),Data Mining(Feature Engineering),Cyber-Physical Systems(security check),NLP(image to caption,dialogue generation),Multi-robotic systems,Mililitary Scenarios.

摘要： 传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此传统的关键词抽取算法在抽取法律问题(短文本)的关键词任务上效果不佳.本文提出了一种基于强化学习的序列到序列(seq2seq)模型从法律问题中抽取关键词.首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词.因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练我们的模型.所提出的模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,带有强化学习的序列到序列模型在关键词抽取任务上有较好的实验效果.

摘要： 本发明提供一种强化学习训练方法及基于强化学习的决策方法，其中，强化学习模型训练方法，包括如下步骤：获取多组历史状态数据；将每一组历史状态数据输入至强化学习模型，得到初步决策数据；将所述每一组历史状态数据和所述初步决策数据输入至预先建立的贝叶斯神经网络模型，得到状态变化量以及奖励值，所述状态量变化值为当前状态数据与下一状态数据的差值；根据所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数。通过实施本发明，能够增加强化学习模型训练样本量，提高强化学习效果，提高动态决策规划结果的准确性。

摘要： 本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。

摘要： 本发明提出一种基于因果关系驱动的分层强化学习框架，包括：因果关系发现模块，用于获取智能体的强化学习环境中各环境变量之间的因果关系，并构建为因果关系图；子目标分层结构构造模块，用于根据该环境变量的变化函数，构建分层强化学习的子目标集合，选取该环境变量中的可控变量，通过该因果关系图从该子目标集合中选出与该可控变量关联的子目标为可达子目标，以所有该可达子目标的逻辑关系为该分层强化学习的分层关系。还提出一种基于因果关系驱动的分层强化学习方法，以及一种数据处理装置。

摘要： 本发明公开了一种基于强化学习的神经网络控制方法及强化学习系统。本发明中，动作网络根据被控对象或其机理模型的阶次和迟延来确定状态控制量，被控对象接收动作网络发送的状态控制量输出动作值；由估值网络基于输出动作值对当前控制效果与预定目标对比进行评价，在对被控对象或其机理模型探索过程中加入随机扰动和模型变化，并同时对动作网络和估值网络进行更新，获得控制律。通过动作网络和估值网络对被控对象或其机理模型的探索，不断更新和优化控制策略，在一定程度上模拟人对环境的探索和学习过程，最终得到一个快速准确且具有一定鲁棒性的神经网络控制器，能用于解决许多控制领域的难题。

摘要： 本发明公开了一种基于进化学习和深度强化学习的电压调节方法及系统，属于人工智能与控制系统交叉技术领域，包括：获取实时检测到的环境状态，将其输入已训练的策略网络，得到电压调节策略；根据电压调节策略调动调压资源完成电压调节；所述策略网络通过以下方法训练：对策略网络进行多阶段递进式多节点深度强化学习的训练，每阶段训练中应用进化学习，通过已训练的策略网络之间的交叉使已训练的策略网络数量翻倍，在进行交叉操作的下一个阶段中对已训练的策略网络进行变异操作，直至已训练的策略网络数量达到预设目标；每个节点对应一个策略网络；适用于多节点的配电网协同电压调节，促进网络训练过程的多样性，具有强大的可拓展性。

摘要： 本发明涉及学习系统技术领域，公开了基于深度强化学习的个性化学习系统及方法，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块，优点在于：通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。

摘要： 本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。

摘要： 公开了能够使用模仿学习以及强化学习来训练元学习模型以用在使机器人执行任务中的技术。一些实施方式涉及使用基于任务的一个或多个人工引导的演示的模仿学习来训练元学习模型。附加的或替代的实施方式涉及使用基于尝试执行任务的机器人的试验的强化学习来训练元学习模型。进一步的实施方式涉及使用经过训练的元学习模型来基于新任务的人工引导的演示来小样本(或单样本)学习新任务。

摘要： 本发明公开了一种基于强化学习和无监督学习的机器人技能学习方法及系统，在执行某一指定任务时，机器人控制器控制执行机构作出动作，图像采集子系统采集执行机构在任务环境下的实时状态图像，无监督学习子系统的编码器将实时状态图像转换成实时状态编码，以及以设定的执行机构执行完成指定任务时的状态图像作为目标图像，将其转换成目标编码；深度强化学习子系统再根据实时状态编码和目标编码，输出下一时刻执行机构的动作值；机器人控制器根据执行机构的动作值，实时控制执行机构作出相应动作，直至执行机构执行完成任务。本发明系统相比于普通的端到端网络，更加具有通用性，不仅可以应用于不同的目标以及任务，也可以压缩训练时间。

摘要： 一种基于强化学习的深度学习算子测试数据生成方法，其特征是基于提前定义的基本变异方法组构造一个基于变异方法及跳转的QTable，进行带关联的强化学习训练，并最终在复杂场景下采用变异方法链生成深度学习算子测试数据。数据变异方法组合可灵活进行增、删、改，本方法提供的基本变异方法包括：字节、多项式和高斯变异。其中，字节变异是对测试数据的浮点数二进制编码进行字节操作的变异，包括二进制编码各字节的增加、删除、取反、移位、随机重置；高斯变异指利用以测试数据为均值的高斯分布采样得到新的测试数据；多项式变异指对测试数据到边界的距离进行不同比例的放缩。上述变异基于不同的基本思想，兼顾有效性与多样性。