随机动态规划

摘要： 为了吸引更多顾客,许多电子商务零售商允许顾客在一定时间内退货,导致其利润明显减少。同时,在补货时不仅产生依赖补货量的变动成本,而且会产生与补货量无关的固定成本。基于此,以最大化电子商务零售商的利润为目标,建立考虑顾客退货和固定成本的联合补货与定价模型,其中顾客的退货量与满足的需求呈正比。在一般需求情形下,部分刻画多期问题的最优策略;在特殊需求情形下,证明(s,S,p)策略对单期问题最优,并对多期问题的最优策略进行严格刻画。根据已有刻画为多期问题构造启发式策略。数值结果表明启发式策略近似最优;当初始库存水平足够高/低时,最优补货水平和定价随退货率与固定成本单调变化。

摘要： 基于车位共享用户未按约定时间离开而导致车位使用时间冲突的问题,构建了随机动态规划模型。通过模型,研究了平台的预订控制策略,并针对平台能否拒绝延时需求的情形,设计两种算法对模型进行求解,最后通过数值仿真验证了算法的有效性。研究结果表明:(1)随着预订周期的增加,平台的边际收益会先增加后减少,因此存在最优预订周期;(2)若平台可以决策延时需求是否被接受,则随着延时概率的增加,机会成本将减少,而平台服务率和车位利用率将增加;(3)若平台只能被动接受延时需求,则随着延时概率的增加,平台服务率将减少,而机会成本和车位利用率将增加。

摘要： 水库中长期生态调度需要考虑天然入库径流的不确定性.首先描述径流的随机过程,接着以修正全年流量偏差(AAPFD)最小为目标函数,建立AAPFD最小且考虑发电量的水库中长期随机生态调度数学模型,并采用随机动态规划进行求解.实例计算表明,水库中长期生态随机调度模型与确定性调度模型相比,随机调度水位变化更平缓,更有利于保证水库生态流量,提高生态效益.

摘要： 针对现实中难以获取未来驾驶工况信息的问题,提出了平均意义上的驾驶工况模型及随机动态规划的控制方法.首先,采用基于马尔可夫链的驾驶循环生成器获得驾驶员需求加速度的期望值;然后,设计随机动态规划(SDP)控制器获得对于一簇统计特性相近的驾驶工况均适用的近似最优控制策略;最后,通过与确定型动态规划(DDP)和单步模型预测控制(SS-MPC)对比,验证了本文方法在计算时间及控制效果上的优越性.

摘要： 当前我国大中城市面临停车难的困境,车位共享一定程度上缓解了该问题.本文基于共享车位的异质性导致顾客体验存在差异的问题,构建了跨区域分配的随机动态规划模型,证明了车位最优分配机制满足的基本原则,并设计了近似算法对模型进行求解.最后,通过数值仿真验证了近似算法解的有效性以及相关参数的灵敏性.本文的结果表明,车位异质性对车位分配决策存在显著影响;在车位异质的情况下,采用跨区域分配将有效的提高共享平台的收益及车位利用率,但当异质性较强时,平台将不愿意采用跨区域分配策略.本文的研究结果为共享车位的分配决策提供了理论支持.

摘要： 为了同时降低插电式混合动力汽车的能量消耗和电池寿命衰减速率,提出了随机动态规划和粒子群嵌套寻优的能量管理方法.建立了车辆的传动系统模型和电池模型,在电池寿命模型中引入寿命影响因子,使电池累计电量由理想情况转化为实际情况;为了描述车辆状态,建立了具有概率统计模型的驾驶循环模型;根据以上模型,将混合动力汽车能量控制问题转化为带约束优化问题;提出了随机动态规划和粒子群嵌套寻优的求解方法,使用粒子群搜索最优权重,达到能量消耗和寿命衰减速率最佳平衡.经仿真验证,相比于固定权重系数,嵌套寻优方法具有更优的控制结果;与文献[10]控制方法相比,等价燃油消耗减少了43.74％,电池寿命衰减率减少了35.53％,充分证明了嵌套寻优方的优越性.

摘要： 在迅速发展的通信技术和泛在电力物联网建设的背景下,结合多种信息交互方式和人工智能技术可为提高家庭能量管理的智能化程度提供新的思路.提出一种结合实时信息交互的家庭能量管理智能优化策略.首先,给出了以用户用能费用为基础的马尔科夫决策过程模型,采用动态规划方法求解模型,重点在家庭用电设备调度过程中考虑实时电价信息和用户的随机行为等不确定因素的影响;在此基础上,结合事件触发机制有效提高家庭能量管理系统的运行效率,进而给出从家庭能量管理控制中心到用电设备的智能优化调度方法;最后,通过仿真算例证实了所提方法的有效性,结果表明其能在减少用户用电费用的同时给出满足用户用电需求的优化用电策略.

摘要： 借鉴随机动态规划的思想,将新欧洲标准行驶循环NEDC下的驾驶员需求功率抽象为随车速变化的随机过程.根据需求功率的转移概率矩阵,将整车的能量管理策略求解问题简化为对发动机输出扭矩的优化问题,并利用离散粒子群算法对挡位选择进行优化.在维持动力电池组荷电状态(SOC)平衡和挡位效率最佳的约束下,以等效燃油消耗量最小为目标,通过策略迭代法得出当前发动机的最优输出扭矩.利用Matlab建模仿真,试验表明,与基于规则的能量管理策略相比,提出的控制策略在满足标准循环工况NEDC车速要求的前提下,燃油消耗量降低了9.42％.

摘要： 提出了一种用于纯电动拖拉机的双电机多模动力耦合驱动系统(DMCDS),通过对两电机与制动器的协调控制可以实现4种驱动模式:电机EM_S独立驱动、电机EM_R独立驱动、双电机耦合驱动和双电机独立驱动,多种驱动模式有利于提高电机负荷率和运行效率,从而提高整机驱动效率。为实现双电机动力耦合驱动系统的高效运行,增强能量管理策略对电动拖拉机不同作业工况的适应性,设计了一种基于随机动态规划+极值搜索算法(SDP_PESA)的实时自适应能量管理策略,该策略利用随机动态规划离线生成的状态反馈控制表作为控制输入参考,以保证近似全局最优,在此基础上,引入自适应寻优算法极值搜索算法动态搜索系统输出的局部极大值,以反馈校正SDP的控制输入,并生成能耗更低、效率更高的工作点。基于SDP_PESA的能量管理策略综合考虑了全局优化算法的良好优化性能和瞬时优化算法的实时性、鲁棒性,利用两种算法的优势,实现更加优异的控制性能。基于Matlab/Simulink建立了带有SDP状态反馈控制表的双电机驱动电动拖拉机(DMET)整机仿真模型,利用真实作业工况数据分别对基于SDP和SDP_PESA的能量管理策略进行仿真实验。仿真结果表明,DMET实际车速可以实时跟踪目标车速的变化,控制策略能够快速响应作业负载的变化;基于SDP的能量管理策略,DMET在犁耕和运输工况的每千米平均耗电量分别为1.77、1.17 kW·h/km,整机驱动效率分别为0.80和0.81。引入PESA输出反馈控制器后,整机驱动效率分别提高了2.13%和1.97%,平均耗电量分别降低了10.17%和16.2%,这表明基于SDP_PESA的能量管理策略可以有效增加纯电动拖拉机的作业里程,并且SDP_PESA完全具备实时应用能力。

摘要： 本文研究服务水平约束下的动态定价与库存管理问题.企业在有限期内销售某种产品,产品的需求为随机需求,且期望需求依赖于产品价格.在每一期期初,企业需要在满足服务水平约束的条件下同时决定订货量和产品价格.本文首先构建了动态定价和订购联合决策的随机动态规划模型,并证明了最优解的存在性.进一步,通过对最优解的结构进行刻画,将原问题的求解转化为若干子问题的求解,降低了问题求解的难度.通过对最优解的分析发现,当期初库存增大时,产品最优价格降低.通过分析目标服务水平对利润的影响,证明了服务水平与利润之间存在权衡,实现高的服务水平需要承受利润损失.数值模拟表明,相对于传统的静态定价策略,采用动态定价策略可以降低追求服务水平所带来的利润损失,验证了动态定价策略的有效性.

摘要： 本文针对黑河中游地区区域水资源配置比例不合理、农业用水比例多重等问题,基于Matlab的平台,采用随机动态规划的算法,根据黑河中游地区存在的水资源管理问题和实际的水资源供需状况,构建可实现人机交互的黑河中游地区水资源管理决策支撑系统.本水资源管理决策支撑系统综合考虑黑河中游地区各地市及区县的农业、工业、生活、生态等各领域的水资源配置问题,并且可根据实际情景设定决策支撑系统的区域节水管理措施、上下游配水方案及黑河干流的水库建设和管理方案.黑河中游地区的水资源管理决策支撑系统通过模拟计算,可以得到优化的区域各领域水资源配置和供需状况、区域水资源经济效益评估、区域水资源用水比例结构以及各分区各领域的月尺度水资源优化管理方案.本文构建的黑河中游地区水资源管理决策支撑系统为评估黑河中游地区的水资源管理状况、区域水资源的优化管理和规划、相关水资源管理制度及法规的制定等提供辅助支撑,进一步促进区域的水资源合理开发利用.

摘要： 水库优化调度是实现水资源优化配置的一个重要途径.本文把遗传算法与随机动态规划相结合,建立优化调度模型,解决串联水库群的优化调度问题.把该模型方法应用于黄河上游龙羊峡、刘家峡两水库的联合调度,结果表明模型具有一定的应用价值和现实意义.

摘要： 本文首先运用平均法将具有时滞状态反馈控制的拟可积哈密顿进行平均，得到关于哈密顿函数的部分平均方程；再根据随机动态规划原理，建立值函数为待定形式的动态规划方程，并通过当前状态与过去状态之间的关系，得到时滞状态反馈控制力形式；通过求解受控系统的最大Lyapunov指数值并使其值减小，确定成本函数和建立最优时滞控制策略使系统稳定化；最后通过例子来详细说明了所提出的时滞状态反馈控制使系统稳定化的方法。

摘要： 本文研究了时滞状态反馈控制的拟可积哈密顿系统时滞补偿方法。首先将具有时滞状态反馈控制的拟可积哈密顿系统转化为非时滞状态反馈控制的系统；再运用随机动态规划方法，得到非时滞状态反馈控制系统的最优控制力形式；将时滞状态反馈控制力等价代替原最优耗散控制力，得到原时滞控制系统的时滞补偿方法；通过最后给出的一个时滞状态反馈控制系统的例子，说明了所提时滞补偿方法的有效性。

摘要： 本文研究Preisach滞迟系统的随机平均法与随机最优控制。首先，应用广义谐波平衡法得到具有幅值依赖阻尼和刚度的等价非滞迟非线性系统；再建立幅值和能量的关系，将等价阻尼和刚度系数表示为系统能量的函数；然后，应用能量包络随机平均法得到关于系统能量的平均伊藤随机微分方程，求解与之相应的FPK 方程得到系统能量和幅值的稳态概率密度，从而发展了Preisach 滞迟系统的随机平均法。数值模拟结果验证了其随机响应的估计精度。另一方面，结合上述随机平均法与随机动态规划原理，建立Preisach 滞迟系统随机最优控制的动态规划方程，并求解之确定最优控制力。数值结果表明该控制策略具有高的控制效果与效率。

摘要： 基于系统参数不确定性与激励随机性相互的独立性，先对具有平均参数的名义系统，应用随机平均法与随机动态规划原理得到拟哈密顿系统的非线性随机最优控制律，然后根据受控系统不确定参数的概率特征，用随机平均法与概率分析估算系统均方响应与均方控制力的均值和标准差，以及平均控制效果与控制效率，进而评价拟哈密顿系统非线性随机最优控制的鲁棒性。

摘要： 对于具有高斯分布的不确定参数的n 层剪切型结构、承受有理渐进谱密度的宽带随机基础激励与切向控制作用的系统,基于系统参数不确定性与激励随机性相互的独立性,建立其平均参数的名义系统;通过模态变换解耦,并转化为2 n 维的受控的、随机激励的、耗散的可积哈密顿系统;然后,运用拟可积哈密顿系统的随机平均法与随机动态规划原理,得到其非线性随机最优控制律;再根据受控结构系统不确定参数的概率特征,运用随机平均法与概率分析估算系统均方响应与均方控制力的均值和标准差,以及平均控制效果与平均控制效率,进而评价拟哈密顿系统非线性随机最优控制的鲁棒性;最后,通过大量的数值计算分析,说明不确定参数的标准差对于受控结构系统均方响应的标准差、以及平均控制效果与平均控制效率等的影响,从而展示上述非线性随机最优控制具有很好的鲁棒性.

摘要： 文章基于收益管理的思想对不确定环境下集装箱班轮的动态舱位分配问题进行了定量研究.考虑了班轮运输业中的团体预订行为,建立了离散时间、离散状态的随机动态规划模型,并分别对考虑团体需求和不考虑团体需求模型的性质进行了分析,提出了在不考虑团体需求情况下的阈值控制策略并指出了在考虑团体需求情况下该策略不成立的情况,最后,用数值仿真对以上性质和策略进行了验证.

摘要： 文章基于收益管理的思想对不确定环境下集装箱班轮的动态舱位分配问题进行了定量研究.考虑了班轮运输业中的团体预订行为，建立了离散时间、离散状态的随机动态规划模型，并分别对考虑团体需求和不考虑团体需求模型的性质进行了分析，提出了在不考虑团体需求情况下的阀值控制策略，并指出了在考虑团体需求情况下该策略不成立的情况，最后，用数值仿真对以上性质和策略进行了验证.

摘要： 提出一种部分可观测非线性系统的随机最优控制新策略.将控制力划分为两部分,一部分控制力根据将部分可观测非线性系统的随机最优控制问题转化为完全可观测线性系统的随机最优控制问题来确定;另一部分根据经随机平均的完全可观测线性系统的最优控制问题的动态规划方程确定.通过单自由度Duffing振子的随机最优控制说明该策略的应用,数值结果表明该策略具有很好的控制效果,并对观测噪声及激励强度具有一定的鲁棒性.

摘要： 本发明提供一种基于动态规划与最小图像熵的机动弱目标检测方法，首先利用动态规划法快速搜索弱目标最有可能，即回波能量最大的运动轨迹；然后提取目标信号并做FFT获得其频谱，以图像熵为代价函数，利用牛顿法迭代快速搜索目标的高阶分量以使频谱的图像熵最小，最后利用CA‑CFAR确定门限，将补偿后的频谱最大值与检测门限比对以判断目标是否存在，为雷达中的机动弱目标检测提供了一种有效的手段；由此可见，本发明使用DP技术寻找目标的可能轨迹，运行速度更快，且能校正目标机动导致的距离徙动，实现了信号的相参积累，运行速度快且能补偿任意阶次的运动分量，在雷达中的机动弱目标检测方面，检测效率和正确率更高。

摘要： 本发明公开了一种基于离散随机性动态规划的空载出租车路径规划方法，包括：将目标区域进行网格化，收集所述目标区域出租车GPS历史数据，根据GPS历史数据筛选出租车到达的网格；以收益最大化为目标建立基于网格的离散随机性动态规划模型；利用策略迭代法计算离散随机性动态规划模型中的参数，将得到的参数带入到模型中，计算最优策略下对应的最优价值，得到空载出租车的推荐路线。本发明基于离散随机性动态规划对空载出租车进行路径规划，根据真实的道路网和出租车GPS数据建立数学模型，有效提高空载出租车的长期收益；对目标区域进行了网格划分，依托数据的集计模型，有效避免了因数据缺失或异常值对于路径规划结果的干扰，提高了路径规划的稳定性。

摘要： 本发明提供了一种基于动态规划和随机博弈的双层RAN切片配置方法，通过在大时间尺度上，在每个时隙上执行无线频谱资源的切分；每个时隙对应于T个连续的微时隙；微时隙是小时间尺度切片资源调度的基本时间单位；在每个时隙开始时，基础设施提供商InP根据各个切片的历史QoS要求，以及大时间尺度的动态RAN切片模型将无线资源粗略地分配给每个切片，以实现大时间尺度的资源切片；大时间尺度的动态RAN切片模型为一个NP完全的非线性整数规划模型；基于小时间尺度模型对每个微时隙上对资源分配的微调，以实现小时间尺度的切片调整。提出的方案结合动态规划和分布式学习的优点，既适用于动态场景，又避免频繁的切片重配置。

摘要： 本发明提供一种基于动态规划与最小图像熵的机动弱目标检测方法，首先利用动态规划法快速搜索弱目标最有可能，即回波能量最大的运动轨迹；然后提取目标信号并做FFT获得其频谱，以图像熵为代价函数，利用牛顿法迭代快速搜索目标的高阶分量以使频谱的图像熵最小，最后利用CA‑CFAR确定门限，将补偿后的频谱最大值与检测门限比对以判断目标是否存在，为雷达中的机动弱目标检测提供了一种有效的手段；由此可见，本发明使用DP技术寻找目标的可能轨迹，运行速度更快，且能校正目标机动导致的距离徙动，实现了信号的相参积累，运行速度快且能补偿任意阶次的运动分量，在雷达中的机动弱目标检测方面，检测效率和正确率更高。

摘要： 本发明涉及一种机动目标动态规划检测前跟踪方法，针对实际工程中存在的非线性系统模型，利用不敏卡尔曼滤波步骤中状态预测操作来预测目标在下一帧的位置，进而得到相邻两帧之间的转移步长，转移步长在自适应的改变，实现了沿着目标运动方向的目标信号能量的有效积累，从而达到目标有效。

摘要： 本发明公开了一种基于缩小SOC可行域的随机动态规划能量管理策略优化方法，包括如下步骤：步骤一、基于动态规划算法，得到多种工况下的第一SOC最优轨迹；以及在有限时域下，基于随机动态规划算法，得到多种工况下的第二SOC最优轨迹；分别计算多种工况下第一SOC最优轨迹和第二SOC最优轨迹上的同一时刻对应的状态点的距离差值；步骤二、基于动态规划算法，得到多种工况下表征全局最优燃油经济性的SOC最优轨迹域；步骤三、分别计算多种工况下的SOC最优轨迹域的宽度值，并根据宽度值、距离差值及第一SOC最优轨迹，得到SOC可行域。本发明提供的基于缩小SOC可行域的随机动态规划能量管理策略优化方法，能够减少算法运行过程中所需搜索状态点数量，提高计算效率。

摘要： 本发明公开了一种多储能柔性抑制风电的随机动态规划方法，属于电力系统自动化的技术领域。该方法首先根据储能参数构建以储能充放电成本最小为目标函数的多储能模型，在原有储能储量上下限的基础上增加了储能充电上比例系数以及储能放电下比例系数，在已知日常调度概率的基础上利用随机动态规划方法对多储能模型进行优化。本发明在满足约束条件的情况下最小化储能充放电成本，能够柔性抑制风电随机性并增长储能寿命。

摘要： 本发明涉及一种基于随机动态规划的混合动力汽车能量管理控制方法，该方法包括：采用高斯混合模型对车辆行驶工况的历史数据进行聚类分析；采用最近邻方法对聚类后的每一类工况建立概率转移矩阵，根据相应的概率转移矩阵，采用随机动态规划迭代算法，求解相应的能量管理策略；再以高斯混合模型的后验概率作为权重，将不同类别工况的能量管理策略进行线性组合，以此作为最终的能量管理策略；进而相应控制混合动力汽车的行驶状态。与现有技术相比，本发明通过对大量的实时历史工况数据进行聚类分析，以建立得到分类模型，结合随机动态规划迭代算法，以确定出不同类别工况的能量管理策略，能够有效提高能量管理控制的适应性和精准性，过程简单高效。

摘要： 本发明公开了一种基于缩小SOC可行域的随机动态规划能量管理策略优化方法，包括如下步骤：步骤一、基于动态规划算法，得到多种工况下的第一SOC最优轨迹；以及在有限时域下，基于随机动态规划算法，得到多种工况下的第二SOC最优轨迹；分别计算多种工况下第一SOC最优轨迹和第二SOC最优轨迹上的同一时刻对应的状态点的距离差值；步骤二、基于动态规划算法，得到多种工况下表征全局最优燃油经济性的SOC最优轨迹域；步骤三、分别计算多种工况下的SOC最优轨迹域的宽度值，并根据宽度值、距离差值及第一SOC最优轨迹，得到SOC可行域。本发明提供的基于缩小SOC可行域的随机动态规划能量管理策略优化方法，能够减少算法运行过程中所需搜索状态点数量，提高计算效率。

摘要： 本发明公开了一种多储能柔性抑制风电的随机动态规划方法，属于电力系统自动化的技术领域。该方法首先根据储能参数构建以储能充放电成本最小为目标函数的多储能模型，在原有储能储量上下限的基础上增加了储能充电上比例系数以及储能放电下比例系数，在已知日常调度概率的基础上利用随机动态规划方法对多储能模型进行优化。本发明在满足约束条件的情况下最小化储能充放电成本，能够柔性抑制风电随机性并增长储能寿命。