自适应动态规划

摘要： 含多类型分布式电源的微电网已经成为了未来电力系统的重要发展方向,其中风能和光能在降低化石能源消耗和二氧化碳排放等方面有着极大优势,考虑二者之间强互补性的协同调度已被广泛研究.但风/光协同调度的微电网多关注分钟级的调度或优化问题而非风/光波动下秒级的实时电流按容量比例精准分担,简称电流均衡,而精准电流均衡有助于可再生能源的高比例消纳.因此,本文提出了基于自适应动态规划的微电网电流均衡和电压恢复控制策略.首先,构建包含风电整流型电能变换器和光电升压型电能变换器的广义风光拓扑同胚升压变换器模型,其提供了后续控制器设计的模型基础.其次,本文将电流均衡和电压恢复问题转化为最优控制问题,基于此,每个能源主体的目标函数转化为获取最优控制变量和最小电压/电流控制偏差,进而转化为求解哈密顿−雅克比−贝尔曼(Hamilton-Jacobi-Bellman,HJB)方程问题.基于此,提出了基于贝尔曼准则的分布式自适应动态规划控制策略以求取HJB方程的数值解,最终实现电流均衡和电压恢复.最后仿真结果验证了所提分布式自适应动态规划控制策略的有效性.

摘要： 针对某款双行星排混合动力客车,提出基于自适应动态规划算法的能量管理策略。通过Matlab软件搭建整车仿真模型;在C-WTVC工况下将该控制策略与基于DP算法控制策略、A_ECMS控制策略进行对比仿真分析。仿真结果表明:基于ADP的能量管理策略经过训练可快速收敛到全局最优解,具有良好的适应性;ADP工作模式与基于DP全局优化算法控制策略的工作模式接近,混动模式在驱动模式的占比在48%左右;ADP达到维持SOC平衡的目标的同时,百公里油耗与DP算法控制策略的差距仅为10.77%,具有较好的经济性。

摘要： 研究了连续非线性系统的最优采样控制问题.首先,结合零阶保持器的思想设计了采样控制机制;然后,利用评价神经网络逼近未知的最优成本函数,进而设计出一种最优采样控制器,在此控制器下得到系统是一致最终有界的;此外,还通过仿真验证了所提方法的可行性以及较传统方法的优越性.

摘要： 针对导弹纵向通道存在干扰影响的问题,设计了一种复合控制方案。首先,选取超螺旋干扰观测器估计未知干扰,并设计积分滑模控制器补偿输入干扰产生的影响;其次,基于微分对策理论,结合自适应动态规划算法,设计单评价神经网络在线求解自适应最优控制器来抑制非匹配干扰,利用Lyapunov稳定性理论证明了闭环系统的稳定性和评价网络权值的收敛性;最后,对导弹纵向动力学进行建模仿真,验证了所提复合控制策略的有效性。

摘要： 针对多对一追逃博弈(PE)问题,提出了显性协同框架下的最优追逃控制策略。首先,利用图论工具将多对一追逃博弈问题转化为多智能体系统一致性控制问题;然后,结合自适应动态规划(ADP)技术,设计评价网络对追逃双方控制策略进行在线求解,并利用Lyapunov法证明稳定性。考虑到追逃策略总是成对出现,单个逃逸者面对多方追击时存在多个逃逸策略难以选择的问题,提出整体逃逸策略是各单一逃逸策略的动态加权的控制算法;最后,通过对导弹协同攻防过程建模并进行对比仿真,证明了所提博弈策略的有效性。

摘要： 自适应动态规划(Adaptive Dynamic Programming, ADP)作为最优控制领域的研究热点,其在能量管理系统(Energy Management System, EMS)领域中有着广泛的应用。ADP算法是通过系统输入输出数据自适应调整控制策略实现优化控制,尤其在解决复杂非线性系统最优控制问题方面具有强大优势。本文介绍了ADP算法的研究进展及其在EMS领域的应用,分析了该算法在离散EMS和连续EMS的研究现状和算法实现方式,并介绍了实时自适应动态规划(Real-time Adaptive Dynamic Programming, RT-ADP)算法及其应用的可行性。

摘要： 针对导弹导引头存在的天线罩误差,提出了一种基于自适应动态规划(ADP)的制导策略。不同于传统处理天线罩误差的估计与补偿方式,避免了估计过程中产生的误差影响。在导弹拦截机动目标的场景下,将拦截问题转化为鲁棒最优控制问题。设计了一种既可以消除天线罩误差和目标机动影响,又可以保证控制能量最小的代价函数。通过构造评价网络,利用自适应动态规划来求解近似鲁棒最优制导策略,并附加鲁棒控制项得到最终的机动目标拦截制导策略。采用李雅普诺夫稳定性理论证明了权值误差的一致最终有界和闭环系统的渐近稳定。仿真结果验证了所提出制导策略对天线罩误差下拦截机动目标的有效性。

摘要： 考虑可重构机器人系统发生执行器突变故障情形,提出一种基于改进代价函数的容错优化控制。利用观测器在线估计技术,设计一种显含故障信息的代价函数。构建评价神经网络获取近似最优反馈控制律,并结合标称控制律构成容错控制律,实现系统的安全优化控制。利用稳定性理论分析了故障观测误差、评价网络权值误差、闭环系统的稳定性。仿真实验表明所提方法的容错性能与跟踪性能较好,能够有效解决可重构机器人系统发生执行器突变故障,保证系统的安全可靠性。

摘要： 当电动汽车(electric vehicles,EVs)切入或切出充电桩时,会引起配电网功率急剧变化,进而增加配电网频率的波动性。提出一种通过引入大容量超导磁储能(superconducting magnetic energy storage,SMES)系统来提高配电网频率稳定性的方法。在传统PID控制的基础上,建立一种无模型的自适应动态规划控制方法,使SMES在EVs切入充电桩时放电,EVs处于稳态充电阶段时存储电能,EVs切出充电桩时进行充电。分别对2种控制方法进行仿真验证,得出配电网输入功率和配电网频率实时特征曲线,结果表明,基于自适应动态规划的控制方法更有利于提高配电网频率的稳定性。

摘要： 针对再入飞行器的姿态跟踪问题,基于递归神经网络提出最优跟踪控制.采用反步法和递归神经网络,设计自适应前馈控制,将再入飞行器的最优姿态跟踪问题转化为等价的姿态角误差/角速率误差最优调节问题.采用自适应动态规划技术,解决最优调节问题.引入神经网络估计最优控制中的代价函数,推导最优反馈控制律,同时保证Hamilton–Jacobi–Isaacs(HJI)方程估计误差最小化.采用Lyapunov理论,保证闭环系统中所有信号,包括姿态角跟踪误差是一致最终有界的.在MATLAB/Simulink中仿真验证了所提出控制策略的有效性.

摘要： 针对航空发动机传统控制方法适应性与自整定能力有限等问题,提出了一种自适应动态规划转速控制方法.本文探索了面向控制的Actor网络设计、面向学习的Critic网络设计、面向性能的效用函数设计、网络单步更新时间序列设计、归一化参数配置、面向模型的交互与更新设计等关键技术.通过模拟仿真使控制器积累大量控制经验,自发探索、主动交互、自我学习,逐步修正和完善控制策略,实现较高水平控制性能的发挥.最后,基于某航空发动机仿真平台,验证了所设计的自适应动态规划转速控制器的合理性与有效性.

摘要： 针对日益受到重视的自适应动态规划(Adaptive dynamic programming,ADP)的方法和应用进行了概述.详细分析了自适应动态规划的关键问题,如收敛性、稳定性和协调性的研究现状和趋势.介绍了城市交通信号控制问题的特点和目前采用的控制方法,以及自适应动态规划方法在街区路口和快速路入口匝道的交通信号优化控制的应用现状和前景.

摘要： 随着中国经济的高速增长以及城市化的稳步推进,交通设施兴建和改善的速度远远赶不上人们日益增长的交通需求,交通拥堵问题日益突出.本文研究了一种基于执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)的交通信号控制方法,并详细描述了ADHDP的算法原理,对基于ADHDP的交通信号控制器进行了设计,阐述了控制器的离线训练和在线学习的方法.在此基础上,本文对一个有4个入口通道,每个通道有2个车道,每个入口车道均放置有车辆检测器的两相位交叉口进行了仿真实验.实验结果表明,该方法与传统的定时控制方法相比,具备在线学习的能力,能够有效提高车辆平均速度,缓解交通拥堵.

摘要： 随着中国经济的高速增长以及城市化的稳步推进,交通设施兴建和改善的速度远远赶不上人们日益增长的交通需求,交通拥堵问题日益突出.本文研究了一种基于执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)的交通信号控制方法,并详细描述了ADHDP的算法原理,对基于ADHDP的交通信号控制器进行了设计,阐述了控制器的离线训练和在线学习的方法.在此基础上,本文对一个有4个入口通道,每个通道有2个车道,每个入口车道均放置有车辆检测器的两相位交叉口进行了仿真实验.实验结果表明,该方法与传统的定时控制方法相比,具备在线学习的能力,能够有效提高车辆平均速度,缓解交通拥堵.

摘要： 随着中国经济的高速增长以及城市化的稳步推进,交通设施兴建和改善的速度远远赶不上人们日益增长的交通需求,交通拥堵问题日益突出.本文研究了一种基于执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)的交通信号控制方法,并详细描述了ADHDP的算法原理,对基于ADHDP的交通信号控制器进行了设计,阐述了控制器的离线训练和在线学习的方法.在此基础上,本文对一个有4个入口通道,每个通道有2个车道,每个入口车道均放置有车辆检测器的两相位交叉口进行了仿真实验.实验结果表明,该方法与传统的定时控制方法相比,具备在线学习的能力,能够有效提高车辆平均速度,缓解交通拥堵.

摘要： 随着中国经济的高速增长以及城市化的稳步推进,交通设施兴建和改善的速度远远赶不上人们日益增长的交通需求,交通拥堵问题日益突出.本文研究了一种基于执行依赖启发式动态规划(Action-Dependent Heuristic Dynamic Programming,ADHDP)的交通信号控制方法,并详细描述了ADHDP的算法原理,对基于ADHDP的交通信号控制器进行了设计,阐述了控制器的离线训练和在线学习的方法.在此基础上,本文对一个有4个入口通道,每个通道有2个车道,每个入口车道均放置有车辆检测器的两相位交叉口进行了仿真实验.实验结果表明,该方法与传统的定时控制方法相比,具备在线学习的能力,能够有效提高车辆平均速度,缓解交通拥堵.

摘要： 针对静止同步补偿器(Static Synchronous Compensator，STATCOM)的传统PI控制中存在的快速性与稳定性之间的矛盾，以及对精确数学模型的依赖性、适应性及鲁棒性较差的问题，本文设计了一种基于执行依赖型的启发式动态规划(Action Dependant Heuristic Dynamic Programming)方法的新型优化神经控制器。该控制器采用BP神经网络构建其控制网络和评价网络模块，利用系统的电压变化量和无功功率等信号对控制网络与评价网络进行交替训练，以达到优化控制器的目的。该控制器不但具有结构简单、不依赖于系统数学模型的优点，而且能够在线学习。最后，以单机无穷大系统为例，在Matlab/Simulink环境中对系统进行了变负载等仿真实验，并和传统PI控制器的控制效果进行对比。结果显示前者在超调量、响应速度以及稳态误差方面都优于后者，前者具有更好的自适应性以及鲁棒性。

摘要： 针对静止同步补偿器(Static Synchronous Compensator，STATCOM)的传统PI控制中存在的快速性与稳定性之间的矛盾，以及对精确数学模型的依赖性、适应性及鲁棒性较差的问题，本文设计了一种基于执行依赖型的启发式动态规划(Action Dependant Heuristic Dynamic Programming)方法的新型优化神经控制器。该控制器采用BP神经网络构建其控制网络和评价网络模块，利用系统的电压变化量和无功功率等信号对控制网络与评价网络进行交替训练，以达到优化控制器的目的。该控制器不但具有结构简单、不依赖于系统数学模型的优点，而且能够在线学习。最后，以单机无穷大系统为例，在Matlab/Simulink环境中对系统进行了变负载等仿真实验，并和传统PI控制器的控制效果进行对比。结果显示前者在超调量、响应速度以及稳态误差方面都优于后者，前者具有更好的自适应性以及鲁棒性。

摘要： 针对静止同步补偿器(Static Synchronous Compensator，STATCOM)的传统PI控制中存在的快速性与稳定性之间的矛盾，以及对精确数学模型的依赖性、适应性及鲁棒性较差的问题，本文设计了一种基于执行依赖型的启发式动态规划(Action Dependant Heuristic Dynamic Programming)方法的新型优化神经控制器。该控制器采用BP神经网络构建其控制网络和评价网络模块，利用系统的电压变化量和无功功率等信号对控制网络与评价网络进行交替训练，以达到优化控制器的目的。该控制器不但具有结构简单、不依赖于系统数学模型的优点，而且能够在线学习。最后，以单机无穷大系统为例，在Matlab/Simulink环境中对系统进行了变负载等仿真实验，并和传统PI控制器的控制效果进行对比。结果显示前者在超调量、响应速度以及稳态误差方面都优于后者，前者具有更好的自适应性以及鲁棒性。

摘要： 针对静止同步补偿器(Static Synchronous Compensator，STATCOM)的传统PI控制中存在的快速性与稳定性之间的矛盾，以及对精确数学模型的依赖性、适应性及鲁棒性较差的问题，本文设计了一种基于执行依赖型的启发式动态规划(Action Dependant Heuristic Dynamic Programming)方法的新型优化神经控制器。该控制器采用BP神经网络构建其控制网络和评价网络模块，利用系统的电压变化量和无功功率等信号对控制网络与评价网络进行交替训练，以达到优化控制器的目的。该控制器不但具有结构简单、不依赖于系统数学模型的优点，而且能够在线学习。最后，以单机无穷大系统为例，在Matlab/Simulink环境中对系统进行了变负载等仿真实验，并和传统PI控制器的控制效果进行对比。结果显示前者在超调量、响应速度以及稳态误差方面都优于后者，前者具有更好的自适应性以及鲁棒性。

摘要： 本发明公开了基于改进自适应杂交退火粒子群‑动态规划的裁剪路径优化方法，包括以下步骤：步骤一，获取裁剪文件，限定裁剪路径范围和样片数；步骤二，解析裁剪文件，获取独立样片点坐标并且计算相应样片的中心点坐标；步骤三，利用中心点坐标使用改进自适应杂交退火粒子群算法搜索最优裁剪顺序；步骤四，利用样片点坐标和动态规划方式确定每个样片的入刀点；步骤五，转化为G代码输出至裁剪机进行相应运动；本发明通过采用改进自适应杂交退火粒子群算法对排布好的裁剪图进行裁剪序列搜索，利用动态规划的方式确定每个样片的入刀点，可以提升裁剪效率，降低加工成本和裁剪走刀时间，解决了传统粒子群算法存在的早熟收敛问题，避免产生停滞状态。

摘要： 本发明提供一种基于动态规划的漫画自适应排版方法及装置，通过得到的目标绘制字号和最终绘制的文本列划分，将译文分词列表中的译文分词逐列绘制到所述译文排版区域内。本发明能够通过机器实现漫画横向排版向竖直排版的转换，解决了漫画翻译过程中需要强人工参与的三个过程，即通过机器处理对文本区域对应气泡进行调节绘制、最佳字号的确定与排版逻辑的统一、以及基于动态规划的排版优化，实现漫画翻译的流程统一，规范了排版标准，减少翻译过程中的主观因素影响，减少人工参与，节省人力。

摘要： 本发明公开了一种基于自适应动态规划的智能转台控制系统设计方法。本发明的方法包括如下步骤：步骤一、确定并选取转台的角速度偏差量ΔθL(t)为系统状态量，即实际转台角速度与控制要求角速度的偏差，及其两个延时角速度偏差量ΔθL(t‑1)、ΔθL(t‑2)，选取电机端电压Ua(t)为控制量；步骤二、构建两个多层前馈神经网络，分别为执行网络和评价网络，且每一个网络都只有一个隐藏层；步骤三：编辑智能控制器算法；步骤四：连接硬件系统，形成由上位机智能算法控制器控制，变频器驱动，转台系统自由转动并反馈给上位机角速度量的闭环控制系统在线学习。本发明能够有效地改善转台系统的低速性能和增大转台系统的动态范围。

摘要： 本发明公开了一种基于自适应动态规则的自主式水下机器人控制方法和系统，该方法包括：步骤1，构建自主式水下机器人控制中的状态量、控制变量、转移环境、效用函数和代价函数；步骤2，通过构建自适应动态规划的执行网络对策略进行提升以及通过构建自适应动态规划的评价网络对策略进行评估；步骤3，预设控制律u(sk)，对策略进行评估；步骤4，预设控制律u(sk)，对策略进行提升，使得J(sk，u(sk))值更小；步骤5，重复步骤3至步骤4，直至循环迭代次数j大于规定次数或相邻两次循环迭代之后的代价函数差值小于设定值时，迭代循环过程终止。

摘要： 本发明提供一种抗干扰的CACC系统的自适应动态规划方法，涉及异构车队控制技术领域。本发明通过构建模型以及提出的基于数据驱动的ADP车队协同控制方法，解决了执行器延迟、外部干扰以及前车干扰同时存在下的车队稳定性问题，并且本方法可以使车队快速达到稳定状态。在车辆稳定性分析上，通过分析在控制器更新后的代价函数大小，来证明车辆的稳定性。通过分析得到，代价函数有界，并且小于极小值，证明车辆的状态以及控制输入达到了稳定状态。

摘要： 本发明公开了一种基于自适应动态规划的无人机三维动态路径规划方法，首先建立无人机位置外环的数学模型，并对无人机位置外环模型进行线性化处理；针对突发障碍物进行规则化处理；接着基于线性化处理后的模型，设计自适应动态规划方法；所述自适应动态规划方法包括设计效用函数、代价函数、执行网络和评价网络；最后基于MATLAB/SIMULINK仿真平台进行测试，得到多无人机在三维空间中的规划路径以及控制输入；本发明提供的无人机三维动态路径规划方法解决了无人机飞往指定位置的路径规划问题，并且可以有效解决无人机在飞行过程中检测到未知障碍物时的避障问题。

摘要： 本发明提供了一种基于自适应动态规划的锻造工艺参数在线规划方法。该方法包括如下步骤：(1)初始化自适应动态规划方法的执行网络和评价网络的权值；(2)根据锻造系统当前时刻和上一时刻金属锻件的微观组织状态，由执行网络给出下一时刻的锻造工艺参数；(3)将锻造工艺参数输入到锻造系统，获得下一时刻金属锻件的微观组织状态；(4)根据当前时刻的锻造工艺参数和金属锻件的微观组织状态，由评价网络给出性能指标函数的估计值，对执行网络和评价网络的权值进行更新；(5)转入步骤(2)，进行下一时刻的锻造工艺参数规划。本发明方法可以快速地规划出合理的锻造工艺参数，为精确调控金属锻件的微观组织提供技术支持。

摘要： 本发明公开了基于自适应动态规划的移动机器人视觉伺服跟踪控制方法，通过移动机器人上的摄像机拍摄共面特征点的当前图像、期望图像以及参考图像，并利用单应性技术计算移动机器人当前的位姿信息与期望的位姿信息，并结合机器人运动学获得跟踪误差模型；将跟踪误差模型的最优控制问题转化为求解哈密顿‑雅可比‑贝尔曼方程；利用移动机器人的实际状态信息，使用自适应在线学习算法求解哈密顿‑雅可比‑贝尔曼方程，得到最优值函数，以最优值函数对应的最优控制输入控制移动机器人，本发明能够实现移动机器人利用视觉信息完成轨迹跟踪任务和保证系统稳定性，能实现期望的最优性能指标，降低控制成本，还能提高移动机器人跟踪效果，改善控制器性能。

摘要： 本发明公开了一种基于自适应动态规划的高速列车优化运行控制方法，建立了高速列车的多质点耦合运动模型，主要明确了耦合车钩力对相邻车辆运行的影响规律，同时利用具有全局寻优能力的粒子群算法实时辨识模型中运行阻力与车钩缓冲器装置的动态参数，根据建立列车模型动力或制动力的分散特征，由列车的跟踪精度、运行正点、运行稳定和运行节能四个指标构成约束变量，根据列车运行状态与运行目标自适应调整决策变量的权重，在优化目标函数的约束下，将广义跟踪误差值重新输入到设计的分散鲁棒自适应控制器中，得到控制力输出，以实现高速列车的优化高效运行。

摘要： 本发明公开了一种基于自适应动态规划的四旋翼视觉伺服控制方法，涉及智能控制技术领域，包括以下步骤：构建图像动力学模型；四旋翼视觉伺服模型的构建与处理；基于反步法的高度子系统和偏航子系统控制；基于自适应动态规划算法的横向子系统控制。本发明针对四旋翼视觉伺服模型的建立和处理问题，提出了图像动力学模型和四旋翼动力学模型的构建方法，并进行结合和子系统拆分处理；针对四旋翼视觉伺服系统的控制问题，研究了高度子系统、偏航子系统和横向子系统的控制律设计问题，分别给出了相应的控制律；基于所提出的三个子系统控制律，进行了实验仿真，验证了所提出的基于自适应动态规划的四旋翼视觉伺服控制方法的有效性。