马尔可夫链中首次到达时间概率密度函数值的简化计算

摘要

为了简化马尔可夫链中首次到达时间概率密度函数值的计算,构造一个图的矩阵表示产生的有向图,形象地得出从一个状态首次到达另一个状态的所有路径. 该问题被转化为对所有满足从一个状态首次到达另一个状态的情况概率值的累加. 在此基础上利用所要解决的问题提供的1步平稳转移概率计算出从一个状态到另一个状态的首次到达时间的概率密度函数值. 此方法不仅更加直观地计算出此函数值,免去记忆复杂的通用公式,而且省去在公式中为计算此函数值所做的在1步平稳转移概率的基础上再次计算n步平稳转移概率的计算工作. 特别是在n较小的情况下,采用此方法进行手工计算比用公式法快捷且易于理解,因此体现出明显的优势.