深度强化学习

摘要： 针对现有智能路由算法收敛速度慢、平均时延高、带宽利用率低等问题,提出了一种基于深度强化学习(DRL)的多路径智能路由算法RDPG-Route。该算法采用循环确定性策略梯度(RDPG)作为训练框架,引入长短期记忆网络(LSTM)作为神经网络,基于RDPG处理高纬度问题的算法优势,以及LSTM循环核中记忆体的存储能力,将动态变化的网络状态输入神经网络进行训练。算法训练收敛后,将神经网络输出的动作值作为网络链路权重,基于多路径路由策略进行流量划分,以实现网络路由的智能动态调整。最后,将RDPG-Route路由算法分别与ECMP、DRL-TE和DRL-R-DDPG路由算法进行对比。结果表明,RDPG-Route具有较好的收敛性和有效性,相比于其他智能路由算法至少降低了7.2%平均端到端时延,提高了6.5%吞吐量,减少了8.9%丢包率和6.3%的最大链路利用率。

摘要： 插电式柴电混合动力汽车具有多种工作模式,发动机频繁启停过程中会导致油耗增加和SCR催化器的效率降低,导致排放恶劣.以P2型插电式柴电混合动力汽车为研究对象,建立所需动力系统模型,将深度强化学习(Deep Reinforcement Learning,DRL)应用到插电式混合动力汽车能量管理中.采用TD3算法对PHEV油耗和排放进行综合优化,并将结果与动态规划算法(Dynamic Programming,DP)进行对比分析,结果表明:基于TD3算法的控制策略的油耗和NO_(X)排放量分别为2.477 L/km、0.2023 g/km,分别达到DP控制策略的94.1%和89.4%的控制效果,证明了提出的控制策略的有效性.

摘要： 针对现有的AGV在大规模未知复杂环境中进行自主导航配送的问题,基于深度强化学习完成了AGV智能导航系统设计。首先,结合传感器对周围的障碍物进行探测感知,利用DDPG(deep deterministic policy gradient)算法实现AGV小车从环境的感知输入到动作的直接输出控制,帮助AGV完成自主导航和避障任务。此外,针对训练样本易受环境干扰的问题,提出了一种新颖的DL(disturb learning)-DDPG算法,通过对学习样本中相关数据进行高斯噪声预处理,帮助智能体适应噪声状态下的训练环境,提升了AGV在真实环境中的鲁棒性。仿真实验表明,经改进后的DL-DDPG算法能够为AGV导航系统提供更高效的在线决策能力,使AGV小车完成自主导航与智能控制。

摘要： 利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点。现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题。文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率。首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率。然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭的8字型场景中训练好的策略作为暖启动,在无信号灯交叉路口场景继续训练,提升了训练效率。最后,提出了一种可以适应所有自动驾驶车辆比例的策略,此策略在任意比例自动驾驶车辆的场景中均可提升交叉路口的通行效率。在仿真平台Flow上对TD3强化学习算法进行了验证,实验结果表明,改进后的算法训练收敛快,能适应自动驾驶车辆比例的动态变化,能有效提升路口的通行效率。

摘要： 在中国北方,冬季楼宇集中供暖采用的策略通常为气候补偿器,但是该策略严重依赖人工经验,调节相对粗放,如何优化供热控制策略对于保持楼宇室温的稳定舒适十分重要。对此,提出了一种基于深度学习的供热策略优化方法,通过学习历史真实数据信息从而对原始控制策略进行优化。首先以学习室内温度变化的热力学规律为目标,提出了一种深度多时差分网络MTDN(Multiple Time Difference Network)来对下一时刻的室温进行预测,该网络不仅准确率高,而且符合物理规律;然后将MTDN当成模拟器,以表征人体热反应的评价指标作为相关奖励项,使用基于最大熵强化学习思想的SAC(Soft Actor Critic)算法作为策略优化器与之交互训练,从而学习到一个稳定优秀的供热控制策略;最后基于天津某个换热站的真实数据,设计相关实验分别对模拟器预测能力和策略优化器策略控制能力进行评估。验证得出:相比其他类型的预测模拟器,该模拟器不仅预测精度高,并且符合物理规律;同时,相比原始策略,该策略优化器所学的策略在随机采样的多个时段内均可以保证室内温度更加稳定舒适。

摘要： 针对无线网络多用户互相干扰的问题,通过对发射功率进行智能控制,实现干扰管理,保证多用户通信服务质量。首先,考虑复杂动态无线信道环境,建立以无线通信系统加权数据速率最大化为目标的发射功率控制模型。其次,设计以深度强化学习"行动器-评判器"为基本架构的智能发射功率控制算法,缩短功率控制决策时间。仿真验证表明,所提算法收敛速度快,在10对收发机场景下,计算时间缩短到传统最优算法的1/4。

摘要： 交通拥堵已成为很多大中城市普遍存在的社会问题。信号控制作为缓堵保畅的重要措施之一,愈发受到社会关注。信号优化手段可分为模型驱动和数据驱动两类,且随着交通大数据的不断充实,基于强化学习的数据驱动方法日益成为新兴发展方向。然而,现有数据驱动类研究主要偏重于决策模型设计,缺乏对智能体结构的探讨;同时,在多路口协同方面多采用分布式策略,忽略了智能体之间信息交互,无法保障区域层面的整体最优性。为此,本文以干线信号为对象,构建一种多智能体混合式协同决策的信号优化方法。首先,针对交通状态的多样性、异构性及数据不均衡性,设计分布训练-分区记忆的单智能体决策模型,并优化状态空间和回报函数,界定单路口控制的最佳方案;其次,融合分布式和集中式学习的模型优势设计多智能体交互方法,在单路口分布式控制的基础上,设置中心智能体评价局部智能体的决策行为并反馈附加回报以调整局部智能体的决策模型,实现干线多信号的协同运行。最后,搭建仿真平台完成效果测试与算法对比。结果表明:新方法与独立优化和分布式协同相比,在支路交通流基本不受影响的前提下,干线停车次数分别降低了14.8%和13.6%,具有更好的控制效果。

摘要： 机器学习广泛应用于股票交易决策中。如何在交易过程中获得有效的市场信息,实现利益最大化和风险最小化,是一个值得长期研究的话题。基于深度强化学习的传统交易模型无法提前识别剧烈的股价波动,导致投资收益不稳定。本文提出了一种结合趋势的深度强化学习股票交易模型,选取根据趋势指标RSI指数调整后特定条件下的利润作为奖励函数,模型能有效识别股价波动风险,获得稳定收益增长。实验选取中国股市的3只股票进行模拟交易,与对照组相比,本文结合趋势的深度强化学习模型训练良好,在实验期间的平均年回报更高,年波动率更低,且夏普比率更好。通过实验数据验证了模型的稳定性和有效性。

摘要： 随着城镇化建设的快速推进,园林工程项目的规模以及复杂程度也在日益增长,然而传统计算工程项目关键路线的方法由于自身的局限性,很难在规模大的项目中找出最优路线。因此,在工程网络图的基础上,提出基于DQN(Deep Q Network)的工程进度管理方法,通过构建神经网络,将大量的历史数据输入进去,让计算机来计算关键线路,进而预测施工周期,并以某公园为例进行实验仿真分析。实验表明此算法在应对规模较大的项目时,计算关键线路更加准确,效率也更高,可以帮助施工单位快速找到最优策略,有效减少由于不确定性因素造成的工期延误以及资金的损失。

摘要： 针对基于深度强化学习(deep reinforcement learning, DRL)的激光导航系统的安全性进行研究,首次提出了对抗地图的概念,并在此基础上提出了一种物理对抗攻击方法.该方法使用对抗样本生成算法计算激光测距传感器上的对抗扰动,然后修改原始地图实现这些扰动,得到对抗地图.对抗地图可以在某个特定区域诱导智能体偏离最优路径,最终使机器人导航失败.在物理仿真实验中,对比了智能体在多个原始地图和对抗地图的导航结果,证明了对抗地图攻击方法的有效性,指出了目前DRL技术应用在导航系统上存在的安全隐患.

摘要： 近年来人工智能正在取得的重大进展,特别是由于擅长发现高维数据中的复杂结构,深度学习技术正成为目前发展的前沿和研究热点,国内外对这一领域越来越重视.深度学习的理论研究基本处于起步阶段,应用领域已显现出巨大能量,正被应用于科学、商业和政府等领域.本报告围绕深度学习密切相关的卷积神经网络、循环神经网络和深度强化学习三个主要方面,介绍了近年来国内外的主要研究进展,分析了国际学科发展趋势和研究特色,可以预见未来深度学习模型将广泛地应用于各个领域,并将产生更深远的影响.

摘要： 本发明提供一种强化学习训练方法及基于强化学习的决策方法，其中，强化学习模型训练方法，包括如下步骤：获取多组历史状态数据；将每一组历史状态数据输入至强化学习模型，得到初步决策数据；将所述每一组历史状态数据和所述初步决策数据输入至预先建立的贝叶斯神经网络模型，得到状态变化量以及奖励值，所述状态量变化值为当前状态数据与下一状态数据的差值；根据所述每一组历史状态数据以及对应的初步决策数据、状态变化量以及奖励值更新所述强化学习模型的模型参数。通过实施本发明，能够增加强化学习模型训练样本量，提高强化学习效果，提高动态决策规划结果的准确性。

摘要： 本发明提出一种基于因果关系驱动的分层强化学习框架，包括：因果关系发现模块，用于获取智能体的强化学习环境中各环境变量之间的因果关系，并构建为因果关系图；子目标分层结构构造模块，用于根据该环境变量的变化函数，构建分层强化学习的子目标集合，选取该环境变量中的可控变量，通过该因果关系图从该子目标集合中选出与该可控变量关联的子目标为可达子目标，以所有该可达子目标的逻辑关系为该分层强化学习的分层关系。还提出一种基于因果关系驱动的分层强化学习方法，以及一种数据处理装置。

摘要： 本发明公开了一种基于强化学习的神经网络控制方法及强化学习系统。本发明中，动作网络根据被控对象或其机理模型的阶次和迟延来确定状态控制量，被控对象接收动作网络发送的状态控制量输出动作值；由估值网络基于输出动作值对当前控制效果与预定目标对比进行评价，在对被控对象或其机理模型探索过程中加入随机扰动和模型变化，并同时对动作网络和估值网络进行更新，获得控制律。通过动作网络和估值网络对被控对象或其机理模型的探索，不断更新和优化控制策略，在一定程度上模拟人对环境的探索和学习过程，最终得到一个快速准确且具有一定鲁棒性的神经网络控制器，能用于解决许多控制领域的难题。

摘要： 一种基于强化学习的深度学习算子测试数据生成方法，其特征是基于提前定义的基本变异方法组构造一个基于变异方法及跳转的QTable，进行带关联的强化学习训练，并最终在复杂场景下采用变异方法链生成深度学习算子测试数据。数据变异方法组合可灵活进行增、删、改，本方法提供的基本变异方法包括：字节、多项式和高斯变异。其中，字节变异是对测试数据的浮点数二进制编码进行字节操作的变异，包括二进制编码各字节的增加、删除、取反、移位、随机重置；高斯变异指利用以测试数据为均值的高斯分布采样得到新的测试数据；多项式变异指对测试数据到边界的距离进行不同比例的放缩。上述变异基于不同的基本思想，兼顾有效性与多样性。

摘要： 本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。

摘要： 本发明提供一种基于深度强化学习的深度学习漏洞检测模型对抗样本生成方法和系统。该方法包括：获取基于深度学习的目标漏洞检测模型信息以及用于生成对抗样本的原型漏洞代码集合；构建面向目标漏洞检测模型的有效对抗代码变换；构建面向最优对抗样本生成的深度强化学习框架；使用有效对抗代码变换和面向最优对抗样本生成的深度强化学习框架，生成目标漏洞检测模型的最优对抗样本。本发明利用目标漏洞检测模型的代码表征中对模型决策有重要影响的特征构造有效对抗代码变换，并采用深度强化学习算法生成面向目标漏洞检测模型的最优对抗样本，能更为高效、有针对性地生成基于深度学习的目标漏洞检测模型的对抗样本。

摘要： 本发明公开了一种基于进化学习和深度强化学习的电压调节方法及系统，属于人工智能与控制系统交叉技术领域，包括：获取实时检测到的环境状态，将其输入已训练的策略网络，得到电压调节策略；根据电压调节策略调动调压资源完成电压调节；所述策略网络通过以下方法训练：对策略网络进行多阶段递进式多节点深度强化学习的训练，每阶段训练中应用进化学习，通过已训练的策略网络之间的交叉使已训练的策略网络数量翻倍，在进行交叉操作的下一个阶段中对已训练的策略网络进行变异操作，直至已训练的策略网络数量达到预设目标；每个节点对应一个策略网络；适用于多节点的配电网协同电压调节，促进网络训练过程的多样性，具有强大的可拓展性。

摘要： 本发明涉及学习系统技术领域，公开了基于深度强化学习的个性化学习系统及方法，包括个性化学习终端、个性化数据分析处理端以及个性化学习服务端，所述个性化学习终端还包括电子教材交互模块、作业与考试模块、个人学习档案管理模块、疑难问题互动交流模块与资源查询模块，所述个性化数据分析处理端包括个性化学情数据预处理模块、学习内容个性化推荐模块和学习结果智能测评模型构建模块，优点在于：通过整合了学习交互活动终端、个性化模型分析端、个性化学习服务端等多环节的系统资源，支撑学习者依据学习目标，应用个性化学习服务中心提供的服务，快速获取合适的学习资源和学习策略，完成学习目标并进行自我评价，实现自我导向学习。

摘要： 本发明公开了一种基于深度强化学习的个性化学习推荐方法，包括以下步骤：定义知识点及题目的难度属性，根据知识点之间的关系构建知识点网络图；根据知识点之间的关系确定知识点下题目之间的关系，构建题目网络图；根据用户行为数据，在题目网络图中得到针对指定用户当前状态下的子图，作为学习边界；进而使用深度强化学习算法，利用用户历史记录建模，训练得到在用户当前状态下的子图中如何选取割集策略。本发明方法可智能化地为用户推荐最佳题目，节省用户学习时间，使其学习效率提高，学习体验提升。

摘要： 本发明揭示了一种基于深度强化学习和深度残差收缩网络的投资方法及智能体，通过构建策略神经网络，以实现下一个交易周期的收益率最高；用训练完的策略函数获取下一个交易周期的资产分配权重，并调整资产在加密货币市场中的分配，以此实现最优策略。本发明强化学习的策略函数在使用资产价格输入神经网络的基础上，通过引入额外的特征，帮助策略神经网络完善了对市场环境的分析，并采用了深度的残差收缩结构，极大的提高的智能体的学习能力和对于最优投资组合策略的探索能力，并且避免了训练时候的梯度消失问题的出现，使得策略网络可以进行有效的训练，并找出每一个状态下的最有效动作。