马尔可夫决策过程

摘要： Q-Learning是目前一种主流的强化学习算法,但其在随机环境中收敛速度不佳,之前的研究针对Speedy Q-Learning存在的过估计问题进行改进,提出了Double Speedy Q-Learning算法。但Double Speedy Q-Learning算法并未考虑随机环境中存在的自循环结构,即代理执行动作时,存在进入当前状态的概率,这将不利于代理在随机环境中学习,从而影响算法的收敛速度。针对Double Speedy Q-Learning中存在的自循环结构,利用逐次超松弛技术对Double Speedy Q-Learning算法的Bellman算子进行改进,提出基于逐次超松弛技术的Double Speedy Q-Learning算法(Double Speedy Q-Learning based on Successive Over Relaxation,DSQL-SOR),进一步提升了Double Speedy Q-Learning算法的收敛速度。通过数值实验将DSQL-SOR与其他算法的实际奖励和期望奖励之间的误差进行对比,实验结果表明,所提算法比现有主流的算法SQL的误差低0.6,比逐次超松弛算法GSQL低0.5,这表明DSQL-SOR算法的性能较其他算法更优。实验同时对DSQL-SOR算法的可拓展性进行测试,当状态空间从10增加到1000时,每次迭代的平均时间增长缓慢,始终维持在10^(-4)数量级上,表明DSQL-SOR的可拓展性较强。

摘要： 预测性维护决策旨在提高维护效率的同时,降低维护停机对生产的影响。预测性维护根据设备的实际健康状态进行维护决策,能有效避免过度维护造成的浪费和维护不及时造成的设备随机故障。然而类似于设备故障停机,预测性维护需要关闭设备进行维护作业。如果维护时机选择不当,维护过程会引起生产线的饥饿和阻塞,造成生产损失。因此,预测性维护不仅需要关注设备自身的维护需求,还需要与实际生产进行联动。以考虑机器状态劣化的航空产品流水线为研究对象,在流水线产出损失分析的基础上,研究流水线预测性维护决策问题。首先,针对缺料停机、设备故障等扰动停机事件和预测性维护事件,分析停机事件对流水线产出的影响,量化造成的流水线产出损失。其次,考虑流水线产出损失和维护成本构建奖励函数,建立基于马尔可夫决策过程的流水线预测性维护决策模型,结合深度Q网络算法求解模型获得优化决策方案。最后,通过仿真试验对比其他三种维护方法,验证了所提出决策模型的有效性。

摘要： 主要研究适用于无初始时隙分配和无固定时间基准终端的分布式空间飞行器自组网的初始组网策略。针对空间飞行器网络拓扑范围大、节点数目少、协同组网任务具有临时性、可靠性要求高等特点,提出了一种基于时分多址(Time Division Multiple Access,TDMA)的竞争式组网策略,并建立马尔可夫决策模型计算出最优竞争概率,完成网络的快速建立。仿真结果表明,所提出的竞争式时分多址组网策略具有网络建立时间短、组网过程可靠性高的特点,提高了网络的快速性、灵活性和安全性。

摘要： 以提高无线传感器网络中任务处理的能效为目标,提出了一种近似最优化的任务处理机制,无线传感器节点可根据任务缓存区的任务数量、信道条件,动态地实现任务向边缘服务器的卸载以及本地处理。将任务处理机制建模为马尔可夫决策过程,因为无线传感器节点不知道此过程的状态转移概率,所以采用A3C算法以实现在环境参数未知情况下的探索和学习,从而得到近似最优的任务处理策略。仿真结果表明,与其他机制相比,所提任务处理机制能提高节点能效,且收敛速度更快。

摘要： 针对目前的分数阶非线性模型图像特征提取能力不足导致分割精度较低的问题,提出一种基于分数阶网络和强化学习(RL)的图像实例分割模型,用来分割出图像中目标实例的高质量轮廓曲线。该模型共包含两层模块:1)第一层为二维分数阶非线性网络,主要采用混沌同步方法来获取图像中像素点的基础特征,并通过根据像素点间的相似性进行耦合连接的方式获取初步的图像分割结果;2)第二层通过RL思想将图像实例分割建立为一个马尔可夫决策过程(MDP),并利用建模过程中的动作−状态对、奖励函数和策略的设计来获取图像的区域结构和类别信息。最后将第一层获取到的像素特征和初步的图像分割结果与第二层获取到的区域结构和类别信息联合起来进行实例分割。在Pascal VOC2007和Pascal VOC2012数据集上的实验结果表明,这种基于连续决策的图像实例分割模型与传统的分数阶模型相比,平均精度(AP)至少提升了15个百分点,不仅能够获取图像中目标物体的类别信息,而且进一步提升了对图像轮廓细节和细粒度信息的提取能力。

摘要： 可更新资源可用量的不确定是项目调度中普遍面临的问题,本文在随机资源可用量和活动多模式的约束下,考虑到活动可中断的情形,基于马尔可夫决策过程理论构建以最小化项目期望工期为目标的随机调度模型,针对问题特征设计以动态活动-模式优先规则和串行调度生成机制相结合的启发式算法作为基准策略的Rollout算法,并针对PSLIB的J30算例集展开实验研究。研究发现:随着资源可用量变化波动的增大,项目工期、活动中断次数以及问题的求解难度也随之增加;虽然考虑活动中断的优先规则在解决确定型问题时的表现优于不考虑活动中断的优先规则,但对于随机问题的效果却相反;本文提出的算法对于资源需求小或资源供应充足的情形求解效果更佳。本研究可以有效利用项目进度信息为项目管理者提供高质量的动态决策依据。

摘要： 推荐算法在一定程度上解决了信息过载问题,但传统推荐模型在挖掘数据特性方面有待改进。为此,结合强化学习方法提出一种融合序列模式评分的策略梯度推荐算法。将推荐过程建模为马尔可夫决策过程;分析推荐基础数据特性模式,设计以序列模式评分为奖励的反馈函数,在算法的每一次迭代过程中学习;通过对累积奖励设计标准化操作来降低策略梯度的方差。将该方法应用到电影推荐中进行验证,结果表明所提方法具有较好的推荐准确性。

摘要： 自然语言生成是目前非常重要且具有挑战性的一类人工智能任务.长短时记忆(Long Short-Term Memory,LSTM)语言模型是目前最为主流的自然语言生成模型.但是,LSTM语言模型的训练准则是词语级别的交叉熵,这会导致暴露偏差问题.此外,一般自然语言生成任务的评测指标是序列级别的BLEU分数或者词错误率,这与训练使用的交叉熵准则也不匹配.在本文中,我们使用马尔可夫决策过程重定义了自然语言生成问题,并通过从训练数据中提取的先验控制向量来指导生成过程.先验控制向量可以视作是对序列空间的一种先验划分的抽象,通过在自然语言生成中引入先验控制向量,我们可以更好的约束自然语言生成的空间.再通过马尔可夫决策过程的定义,我们可以使用策略梯度算法来直接使用测试使用的BLEU分数来代替交叉熵训练LSTM网络.在多个数据集上的实验显示本文提出的方法相比于普通使用LSTM语言模型的基线系统在BLEU分数上有大约绝对2%~3%的提升.

摘要： 针对大型医用设备人工管理效率低、无法满足应急调度需求的问题,文中提出了基于深度强化学习算法的医用设备应急调度优化技术。使用物联网技术采集大型医用设备日常使用的各类参数,作为后续调度优化算法的样本数据。通过对医用设备调度问题的分析,采用马尔可夫决策过程作为调度优化算法的基础模型,并给出了状态空间、动作空间以及奖惩函数的定义。同时,以贪婪策略作为强化学习的动作探索策略,使用Tanh函数作为激活函数,从而提高了对非线性复杂数据的学习能力;使用DDPG算法在经验数据中获得价值估计和行为估计。经测试,文中所提出的医用设备应急调度优化算法可合理安排医用设备的使用,提高其综合利用率,与未使用应急调度算法的情况对比,检查耗时平均缩短了31.2%。

摘要： 随着可再生能源发电渗透率的不断增大,配电系统的电压越限问题愈发频繁,亟需高效的电压管理策略以保证配电系统的安全经济运行。首先,文中建立了双时间尺度的配电系统电压管理模型,实现不同时间响应特性的调压设备协调控制。然后,将2个时间尺度的电压管理模型建模为马尔可夫决策过程,在有效考虑两者的时间耦合关系和可控设备物理特性的基础上,分别利用多智能体深度确定性策略梯度算法和双深度Q网络算法求解模型,实现了双时间尺度的实时电压管理。最后,基于IEEE 33节点配电系统进行算例分析,验证了所提模型和方法的有效性。

摘要： 限界模型检测避免了符号模型检测反应式系统中构建二叉图时出现的空间快速增长,已经被证明是缓解状态空间爆炸问题的有力技术.本文遵循限界模型检测的思想,对马尔可夫决策过程提出一种限界模型检测技术,从而避免构建多端二叉图时空间的快速增长.该技术首先定义概率计算树逻辑的限界语义,并证明其正确性;其次说明传统限界模型检测中以路径长度作为判断检测过程终止的标准已经失效,本文基于数值计算中牛顿迭代法的终止准则,设计了新的终止判断准则;然后提出基于线性方程组求解的限界模型检测算法;最后分析了概率度量增长的规律,并针对该规律给出了两种终止判别标准的修正方案.终止判别标准的设计与基于线性方程组求解的检测算法使得我们的技术完全异于传统限界检测.实验结果说明限界模型检测技术在证据较短的情况下,所需内存空间少于无界模型检测算法.

摘要： 马尔可夫决策过程是确定性动态规划和马尔可夫过程结合的产物,是研究随机环境下多阶段决策过程优化问题的理论工具.DT-Golog是将马尔可夫决策过程引入Golog逻辑编程语言的扩展.本文针对动态工作流集成问题中业务逻辑的不确定性,利用DT-Golog对动态工作流集成问题进行建模,结合编程和规划二者的优点,最后得到最优策略.

摘要： 针对经典规划模型和马尔可夫决策过程(MDP)模型的不足,提出了一种轻量马尔可夫决策过程(LMDP)模型.此模型在MDP模型上作了简化,使其既能描述实际任务中不确定性的特点,又有效降低了状态转移的分支系数,从而适用于大规模的问题.另外,利用经典规划领域的启发函数对LMDP问题进行初始化,能够大大加快收敛速度.最后以机器人酒吧任务为例,将此模型与基于MDP模型的Prost规划器在不同问题规模下进行对比,实验结果表明此模型能有效加快求解速度,并能够更好地适应大规模实际环境.

摘要： 软件测试是一种检测软件缺陷，提高可靠性水平的重要手段。证明、检测和预防是软件测试追求的目标，人们可以从不同角度设计软件测试来实现测试目标。软件测试策略主要包括如何选择测试用例及确定最佳停止测试时间来达到测试目的。软件测试的优化就是优化软件测试策略，关心如何设计软件测试，使得测试中每个行动都是达到测试目的的最优行动.一个最优测试剖面是指在适当时刻选择合适的测试用例(或测试技术或行为)，实现测试目标的最优测试策略。因此，软件测试优化过程也可以看成是最优测试剖面的获取过程。

摘要： 本文研究马尔可夫决策过程(MDP)在actor-critic模式下,基于性能势学习的神经元动态规划(NDP)方法.首先,通过MDP的一个一致链的单个样本轨道,利用一个神经元网络逼近其性能势,并根据折扣和平均准则下统一的参数TD(λ)学习算法对性能势进行学习,即策略评估;然后,利用另一个神经网络表示策略,基于同一样本轨道和前述网络学习得到的性能势,改进网络参数,即进行参数策略改进.这种actor-critic优化方法可推广到模型参数已知的半马尔可夫决策过程(SMDP).最后,我们给出一个数值例子来说明算法的应用.

摘要： 本文对马尔可夫决策过程(Markov Decision Process,简记为:MDP)中概率准则的有关模型进行了综述.概率准则是实际问题中应用的比较广泛的一个重要准则.首先我们给出了MDP的一般构成.并介绍了一些经典的MDP模型,即以期望值为优化目标的期望模型,如有限阶段模型、折扣模型和平均模型等.其次我们介绍了MDP中关于概率准则模型的有关性质和有效算法.最后提出概率准则模型今后可能的研究方向.

摘要： 增强学习研究智能体如何基于对环境的认知做出行动来最大化长期收益,是解决智能控制问题的重要方法.近几年人们将深度学习应用到增强学习领域,实现了端到端的增强学习算法.这些算法充分利用了深度学习强大的表示学习能力,将智能体对环境的观测直接映射成为控制指令.首先介绍增强学习的基本理论,然后综述几种常用的增强学习和深度增强学习算法.

摘要： 增强学习研究智能体如何基于对环境的认知做出行动来最大化长期收益,是解决智能控制问题的重要方法.近几年人们将深度学习应用到增强学习领域,实现了端到端的增强学习算法.这些算法充分利用了深度学习强大的表示学习能力,将智能体对环境的观测直接映射成为控制指令.首先介绍增强学习的基本理论,然后综述几种常用的增强学习和深度增强学习算法.

摘要： 增强学习研究智能体如何基于对环境的认知做出行动来最大化长期收益,是解决智能控制问题的重要方法.近几年人们将深度学习应用到增强学习领域,实现了端到端的增强学习算法.这些算法充分利用了深度学习强大的表示学习能力,将智能体对环境的观测直接映射成为控制指令.首先介绍增强学习的基本理论,然后综述几种常用的增强学习和深度增强学习算法.

摘要： 增强学习研究智能体如何基于对环境的认知做出行动来最大化长期收益,是解决智能控制问题的重要方法.近几年人们将深度学习应用到增强学习领域,实现了端到端的增强学习算法.这些算法充分利用了深度学习强大的表示学习能力,将智能体对环境的观测直接映射成为控制指令.首先介绍增强学习的基本理论,然后综述几种常用的增强学习和深度增强学习算法.

摘要： 本发明公开了一种移动云计算系统中基于马尔科夫决策过程的协作卸载方法，包括：(1)将任务队列状态、边缘云状态、移动自组织云状态和中心云状态组合成马尔科夫决策过程的状态空间，并计算得到状态转移概率矩阵；(2)定义动作空间；(3)以时延和能耗定义马尔科夫决策过程的立即回报函数；(4)将一系列输入任务作为统计样本，计算任务分割阈值；(5)根据已得到的阈值，通过任务分割算法实现任务的自适应分割；(6)根据子任务的大小、状态转移概率矩阵和立即回报函数，通过值迭代算法得到卸载决策结果。本发明基于马尔科夫决策过程，满足时延和能耗最小化；通过任务分割算法将任务自适应分割，实现了云计算资源的充分利用和负载均衡。

摘要： 本发明公开了一种基于半马尔科夫决策过程的桥梁全寿命维护策略优化方法，包括：S1、确定桥梁的年失效概率及对应的可靠度指标，并根据可靠度指标定义桥梁状态；S2、仅考虑锈蚀引起的可靠度指标退化，且设定退化过程符合伽马过程；S3、计算决策区间内桥梁的失效概率；S4、每年对桥梁进行一次健康检测，判断桥梁保护层的退化情况并确定桥梁状态，根据桥梁状态确定采取的决策，该决策问题采用半马尔科夫决策过程模型；S5、求解半马尔科夫决策过程模型，获得桥梁最优全寿命维护策略。该方法基于桥梁的可靠度指标对预防性维护策略和必要性维护策略进行统一优化，同时考虑了桥梁性能退化过程中的随机性及决策区间内桥梁的时变可靠度。

摘要： 本发明提供一种基于马尔可夫决策过程的辅助决策系统和方法，涉及辅助决策技术领域。本发明包括用于获取病患信息和医疗资源信息的信息获取模块，用于基于病患信息和医疗资源信息构建马尔可夫决策模型的决策模型构建模块，和用于基于马尔可夫决策模型选取病患的最佳治疗方案的方案选取模块。本发明通过方案选取模块中的马尔可夫决策模型为慢性肾脏病患者选取最佳的治疗方案，不仅为医护工作者提供了精确的计算机辅助决策，有效避免了现有技术中根据临床经验主观的为患者选择治疗方案的过程中因主观因素而致选择的治疗方案存在一定的误差，造成治疗效果不理想。且有效地为医护人员减轻了工作负担，有效缓解了医疗压力。

摘要： 本发明公开了一种基于马尔可夫决策过程的输变电设备最佳检修决策方法，包括：建立不同状态之间的转移关系的输变电设备状态转移关系图；根据输变电设备状态转移关系图建立输变电设备状态检修模型；利用马尔可夫过程求解输变电设备不同状态的稳态概率；建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略下使得报酬序列的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策。本发明有益效果：应用马尔可夫决策可以折中维修成本和故障损失，得到经济最优的检修决策，为检修决策人员提供参考。

摘要： 本发明涉及基于半马尔可夫决策过程车载雾辅助的车队任务卸载方法。本发明同时考虑任务卸载中的发送时延和计算时延等因素，建立基于半马尔可夫决策过程的任务卸载模型。然后分别定义了系统状态集、动作集并推导了系统状态转移概率公式以及系统奖励函数，其次基于贝尔曼方程利用值迭代算法求解SMDP模型获得最优的任务卸载策略。该方案计算复杂度适中，系统模型合理，充分考虑了任务如何分配以及任务卸载过程中涉及到的各种时延。仿真结果表明，该方案在保证任务卸载时延的前提下，能获得更大的系统长期收益。

摘要： 自主车辆操作管理可以包括由自主车辆穿越车辆交通运输网。穿越所述车辆交通运输网可以包括：运用特定情景操作控制评估模块示例，其中，所述特定情景操作控制评估模块示例是特定情景操作控制评估模块的示例，其中，所述特定情景操作控制评估模块实施部分可观察马尔可夫决策过程。穿越所述车辆交通运输网包括：接收来自于所述特定情景操作控制评估模块示例的候选的车辆控制动作；并且基于所述候选的车辆控制动作来穿越所述车辆交通运输网的一部分。

摘要： 本发明涉及使用分层选项马尔可夫决策过程的交叉路口自主驾驶决策。提供了一种自主车辆(AV)中的方法。该方法包括：从车辆传感器数据和道路几何数据，确定多个距离测量和障碍物速度数据；确定车辆状态数据，其中，车辆状态数据包括自主车辆的速度、到停止线的距离、到交叉路口的中点的距离以及到目标的距离；基于多个距离测量、障碍物速度数据以及车辆状态数据，确定离散行为动作的集合以及与各离散行为动作关联的独特轨迹控制动作；选择要执行的离散行为动作以及独特轨迹控制动作；以及向车辆控制器传递消息，所述车辆控制器传递与所述离散行为动作关联的所述选择的独特轨迹控制动作。

摘要： 本发明提供一种基于马尔可夫决策过程的辅助决策系统和方法，涉及辅助决策技术领域。本发明包括用于获取病患信息和医疗资源信息的信息获取模块，用于基于病患信息和医疗资源信息构建马尔可夫决策模型的决策模型构建模块，和用于基于马尔可夫决策模型选取病患的最佳治疗方案的方案选取模块。本发明通过方案选取模块中的马尔可夫决策模型为慢性肾脏病患者选取最佳的治疗方案，不仅为医护工作者提供了精确的计算机辅助决策，有效避免了现有技术中根据临床经验主观的为患者选择治疗方案的过程中因主观因素而致选择的治疗方案存在一定的误差，造成治疗效果不理想。且有效地为医护人员减轻了工作负担，有效缓解了医疗压力。

摘要： 本发明公开了一种基于马尔可夫决策过程的输变电设备最佳检修决策方法，包括：建立不同状态之间的转移关系的输变电设备状态转移关系图；根据输变电设备状态转移关系图建立输变电设备状态检修模型；利用马尔可夫过程求解输变电设备不同状态的稳态概率；建立检修策略以及检修策略对应的报酬之间的函数关系式；以在检修策略下使得报酬序列的某个函数值最大为序列决策问题的目标建立基于马尔可夫的输变电设备检修决策模型；根据输变电设备不同状态的稳态概率，采用策略迭代法求解最优的检修决策。本发明有益效果：应用马尔可夫决策可以折中维修成本和故障损失，得到经济最优的检修决策，为检修决策人员提供参考。

摘要： 本发明涉及一种基于马尔可夫决策过程的PoW共识协议安全评估方法,首先使用爬虫从对应的PoW共识协议应用浏览器中爬取得到区块链应用网络环境的实时数据，通过ns3网络模拟器编程模拟待评估的区块链应用的网络环境，包括挖矿过程和交易过程的模拟，获得模拟实验结果值。再和PoW共识协议的其它一些仿真参数一起直接输入到MDP模型的模拟器中。利用MDP模型模拟诚实矿工和恶意矿工的挖矿过程、交易过程和恶意矿工的攻击过程，通过目标函数量化共识协议抗攻击能力得到共识协议安全的一轮评估结果后判断是否到达预设定的阈值并调整下轮的输入参数。经过固定轮次的马尔可夫决策过程，给PoW共识协议的创建者提供该共识协议的修改建议。