强化学习

摘要： 高能物理计算是典型的数据密集型计算,文件访问模式以跳读为主,并发度高.吞吐率、响应时间等性能对整个系统至关重要,往往是重点关注的性能优化目标.分布式存储系统存在大量可供调节的参数,这些参数的设置对系统的性能有着很大的影响.而参数调节和系统的反馈之间是有延时的,如果采取了连续多个调节动作,很难确定究竟是哪个动作起了作用,或者每个动作对结果的影响是多少.因此,人工调节不免存在偏差,况且庞大的参数搜索空间、负载的连续性、负载和设备的多样性等因素也决定了传统方法是非常低效的.实际上,如果把调节引擎看作是智能体,把存储系统看作是环境,存储系统的参数调节问题是典型的顺序决策问题.因此,基于高能物理计算的数据访问特点,提出了用强化学习的方法来进行自动化的参数调优.实验表明,在相同的测试环境下,以Lustre文件系统默认参数为基准,该方法可使其吞吐率提升30％左右.

摘要： 六足机器人在结构上具有多冗余自由度,具有较高的地形环境适应能力,如何提高六足机器人在非结构环境下的移动能力一直是个具有挑战性的课题.本文将六足机器人在非结构环境中的行走问题建模为受约束条件下的离散落脚点选取和路径优化问题,利用强化学习对未知环境的学习能力,解决未知非结构复杂路况下的步态规划和路径优化问题,并通过MATLAB-ADAMAS联合仿真进行了实验验证.

摘要： 空调系统运行优化是建筑节能的重要组成部分.本文将强化学习算法应用在空调系统运行优化中.首先建立空调系统运行优化任务的马尔科夫决策过程模型,接下来确立规则对探索空间进行进一步缩减,使探索过程尽可能满足系统设备运行和被控区域舒适度的约束,最后应用QLearning算法探索学习不断改进控制策略.通过仿真案例对算法进行了测试.采用动态仿真软件TRNSYS和MATLAB进行联合仿真,对被控区域送风量进行了优化,仿真结果显示,与基于固定规则的控制策略和PID控制相比,本文提出的基于强化学习的控制方法可以在小幅提升被控区域舒适度的同时可将运行费用分别降低超过7％和4.5％.

摘要： 交叉口是城市路网的核心和枢纽,也是城市通行能力的瓶颈.合理优化交通道口的信号控制可以极大地提高城市交通体系的运行效率,减少交通堵塞,是一个非常重要的研究课题.由于大范围交通信号控制属于模糊决策问题,非常适合利用强化学习方法来解决.随着深度学习技术的发展,结合深度学习和强化学习的技术——深度强化学习也在近些年出现了一种井喷的态势.本文主要介绍了主流的强化学习方法,并列举了近些年来利用强化学习进行交通信号控制的一些研究成果,阐述了这些方法是如何用于解决交通控制问题的.

摘要： 在取得电脑围棋突破的AlphaGo系统中,强化学习起到了重要作用.本报告简要介绍国内外强化学习的研究进展,重点关注强化学习中的状态表示、奖赏设计、策略搜索、终身学习以及在电脑围棋上的应用,并展望未来的发展趋势.

摘要： 为了充分利用各种无线网络的资源,需要实现异构网络的融合,而异构网络的融合又面临接入控制与资源分配的问题,提出一种基于强化学习的异构无线网络资源管理算法,该算法引入D2D(device-to-device)通信模式,并可以根据终端不同的业务类型、终端移动性及网络负载条件等状态,选择合适的网络接入方式.仿真结果表明,该算法具有高效的在线学习能力,能够有效地提升网络的频谱效用,降低阻塞率,从而实现自主的无线资源管理.

摘要： 服务组合已经成为web服务研究领域的热点。在服务组合中潜在着诸多问题，如服务组合方法、组合的正确性验证、Web服务间的协作、事务处理，以及服务质量(QoS)等等，这些问题都有待于解决或完善。本文将基于强化学习对服务组合方法进行深入的研究，并最终得到RLA算法。同时还有实验数据为佐证，充分显示了RLA的性能。

摘要： 以灰色定性为理论基础，以灰色强化学习为推理工具，提出了一种单交叉口交通信号自适应控制模型。本文的控制目标是将交叉口各阶段饱和度控制在某个区间内，概率灰数及其相似性函数巧妙地表达了这种控制思想。在此基础上，给出了灰色定性Q学习的算法流程和参数训练方法，并通过仿真实验验证了算法的有效性。

摘要： 本文主要讨论的内容，则基于现在汉语教育的方向，为了能够把古代书法美学审美地讲授，讨论怎样学习该书法的美学，并且怎样把它审美的讲授。因此，将把它分为其目标及内容，又讨论其方法与评价。这样通过中国古代书法审美的教育，我们能够理解古代的文化，并且能够审美地欣赏，又能够生动地了解汉字的起源与其演变的情况。

摘要： 本文主要讨论的内容，则基于现在汉语教育的方向，为了能够把古代书法美学审美地讲授，讨论怎样学习该书法的美学，并且怎样把它审美的讲授。因此，将把它分为其目标及内容，又讨论其方法与评价。这样通过中国古代书法审美的教育，我们能够理解古代的文化，并且能够审美地欣赏，又能够生动地了解汉字的起源与其演变的情况。

摘要： 本发明公开了一种基于有先验知识强化学习的动态频谱接入方法，属于电磁频谱技术领域。首先次用户获取频谱接入环境信息；然后确定网络的频谱接入评估模型，采用MOS模型作为接入评估模型；然后构建先验知识，获取系统中已有次用户的环境知识，并利用所获取的环境知识构建先验知识；然后根据先验知识进行Q学习，得到次用户的Q表信息；最后根据学习得到的Q表信息进行动态频谱接入。并且，本发明利用贪婪算法，对Q学习时的动作选择过程进行了优化，避免Q学习时陷入局部最优。本发明通过构建和利用先验知识，有效提升学习效率和系统动态频谱接入性能。

摘要： 本发明公开了一种基于强化学习的视频编码分布式方法。所述方法包括以下步骤：对于批量视频输入，首先利用机器学习对输入视频进行分类、提取特征；根据提取的特征，利用机器学习，决策视频多任务处理的分片；在上述特征提取和分片基础上，决策每一个分片的编码速度；最后，在云资源分配的基础上，对于视频做分片编码/转码处理。通过采用可用资源与视频内容最为匹配的优化方案，将对源视频编码主任务切分为可并行的子任务，分配到相应的可用资源，从而最大可能的利用可用资源，以最优编码速度/编码质量完成对源视频的编码/转码。

摘要： 本发明提出一种基于深度强化学习的机械臂物品主动拾取方法，属于人工智能和机器人应用领域。该方法首先搭建机器臂和物品拾取场景的仿真环境；搭建一个基于多个并行的U‑Net的深度Q学习网络N_Q；在仿真环境中进行多次机器人抓取动作策略试验对N_Q进行训练，得到训练完毕的深度学习网络；实际拾取使用中，搭建物品拾取系统，利用训练完毕的深度学习网络，以深度彩色图像为输入，根据定义在置信图像上的度量来决定采用主动改变场景的动作策略或直接通过机械手进行物品拾取。本发明可以通过机械臂主动改变物品拾取环境，适应不同的拾取条件，实现较高成功率的拾取。

摘要： 本发明公开了一种基于深度强化学习的配电网过流保护方法，包括步骤：启动保护，判断一周波内电流速断保护是否动作：若电流速断保护未动作，则无需进行定值优化；若电流速断保护动作，则进行定值优化；根据训练完成的MA‑DDPG算法确定最优定值；判断当前电流有效值与最优定值的大小关系：若当前定流有效值大于最优定值，则保护出口动作；若当前电流有效值小于等于最优定值，则判断电流与启动值的大小关系：若电流小于启动值，则保护返回；否则返回判断一周波内电流速断保护是否动作的步骤进行循环。本发明首次将深度强化学习的内容应用于继电保护领域，将人工智能技术与传统继电保护技术相结合提高保护的效率。

摘要： 本发明提供了一种基于深度强化学习的智能反射面调控方法及装置，其中方法包括：策略网络根据第一状态生成第一动作；将幅值固定并输入优化模块，更新第一动作得到第二动作，同时得到第一目标值；将第二动作作用于无线环境得到第二状态，得到一个新样本并存入经验池；策略网络和价值网络根据样本进行深度确定性策略梯度训练，执行者利用深度确定性策略梯度方法更新其参数；根据第一目标值和目标Q网络产生的第二目标值确定第三目标值，根据第三目标值训练在线Q网络的DNN并更新其参数；重复执行上述步骤直至得到最小化AP发射功率的网络参数并输出。本发明能在更短的时间内实现稳定且高效地学习，可以更快地收敛到最优目标。

摘要： 本发明涉及一种基于深度强化学习的多交叉口信号灯协同控制方法，其包括以下步骤：1)根据多交叉口交通网络的实际情况，建立能够反映该交通网络原始交通状态的多通道张量；2)根据得到的多交叉口交通网络的多通道张量，建立多交叉口协同控制神经网络模型；3)采用模仿学习和强化学习相结合的方法，对建立的多交叉口协同控制神经网络模型进行训练，得到训练好的多交叉口协同控制神经网络模型；4)将当前多交叉口的相位信息输入训练好的多交叉口协同控制神经网络模型，得到当前多交叉口信号灯的协同控制输出结果。本发明可以广泛应用于多交叉口信号灯协同控制领域。

摘要： 本发明涉及一种基于强化学习粒子群算法的污水处理优化控制方法，包括下述步骤：(1)构建基于强化学习的污水处理过程智能体四要素：状态、环境、奖励及行动；(2)建立基于强化学习粒子群算法的污水处理优化控制流程：首先由神经网络模型预测浓度设定值调整趋势，加权至标准粒子群算法位置与速度更新公式，迭代更新，将全局最优作为硝态氮及溶解氧浓度设定值；然后获取进步粒子，记录其浓度设定值及调整趋势，训练神经网络模型；最后对神经网络模型进行评估与更新。本发明依据优化周期重复进行，通过策略评估与不断改进，有助于优化污水处理过程。

摘要： 本发明公开一种基于无模型强化学习的多阶段灵巧噪声干扰方法，应用于雷达技术领域，为了解决干扰机在针对敌方火控雷达干扰识别方法、抗干扰措施和工作模式转换规律等环境模型未知情况下的最优干扰功率分配问题，本发明首先将多阶段干扰功率分配问题建模成一个未知环境模型的马尔可夫决策过程；为了评估多阶段噪声干扰的性能，选择火控雷达的平均搜索‑锁定时间作为评价指标；其次分析了噪声干扰功率分配的原理，并针对未知环境模型的挑战，建立了多阶段干扰功率分配问题的强化学习框架；最后提出了一种基于Q‑learning算法的多阶段干扰功率分配方法；本发明方法有效解决了在实际应用中干扰功率的最优分配问题，提高了干扰成功率。

摘要： 本公开提供了一种基于深度强化学习的零超调量无人机位置控制方法，包括：S1，基于近端策略优化算法构建针对无人机速度控制的强化学习训练框架，结合特征提取网络，对无人机控制模型进行训练，获取无人机速度控制的控制模型；S2，对无人机进行控制，在所述无人机控制模型外侧添加PID控制环，对PID参数进行最优搜索，利用PID控制算法将无人机速度控制的控制模型转化为无人机位置控制的控制模型，并消除位置控制中的超调量。本公开可实现允许静差范围内无人机的有效速度控制，并且根据无人机的有效速度控制，可进一步实现零超调量无人机位置控制。

摘要： 本发明公开了一种基于强化学习的神经网络控制方法及强化学习系统。本发明中，动作网络根据被控对象或其机理模型的阶次和迟延来确定状态控制量，被控对象接收动作网络发送的状态控制量输出动作值；由估值网络基于输出动作值对当前控制效果与预定目标对比进行评价，在对被控对象或其机理模型探索过程中加入随机扰动和模型变化，并同时对动作网络和估值网络进行更新，获得控制律。通过动作网络和估值网络对被控对象或其机理模型的探索，不断更新和优化控制策略，在一定程度上模拟人对环境的探索和学习过程，最终得到一个快速准确且具有一定鲁棒性的神经网络控制器，能用于解决许多控制领域的难题。