首次访问的转换概率和概率

Mathematicing 05/11/2018. 1 answers, 19 views
probability stochastic-processes markov-chains markov-process transition-matrix

设P是马尔可夫链的转移矩阵。

令$ p_ {ij} ^ {n} = P \ left [X_ {n} = j | x_ {0} = i \ right] $是一个马尔可夫链从n个状态到n个状态的转移概率。

如果我们通过马尔可夫链从初始状态i定义首次访问状态i的时间

$ T_ {ij} = min \ left \ {n \ geq 1:X_ {n} = i \ right \} $

第一次从初始状态i到第一次$ \ left(n \ geq1 \ right)$的马尔可夫链访问状态的概率可以定义为

$ f_ {ii} ^ {n} = P \ left [T_ {ii} = n \ right] $。

$ \ sum_ {n = 1} ^ {\ infty} f_ {ii} ^ {n} $似乎是马尔可夫链在初始状态中的累积概率,我首次返回到状态i,但在所有可能的n -脚步。

$ \ sum_ {n = 1} ^ {\ infty} p_ {ii} ^ {n} $似乎是马尔可夫链在初始状态下的累积概率,我在所有可能的n步中返回状态i。

我对么?

如果不是,我该如何理解$ \ sum_ {n = 1} ^ {\ infty} f_ {ii} ^ {n} $和$ \ sum_ {n = 1} ^ {\ infty} p_ {ii} ^ {N} $? 两者之间有什么细微差别?

1 Answers


Aaron Montgomery 05/11/2018.

$ \ sum p ^ n_ {ii} $的解释是步行到状态$ i $的时间$ n $的预期访问次数。*对$ \ sum f ^ n_ {ii} $的解释另一方面,是你在你的问题中描述的。

为了说明两者之间的差异,考虑一个有限的不可约马尔可夫链。 这样一个连锁店中的每一个国家都将无数次地参观。 请注意,$ \ sum p ^ n_ {ii} \ to \ infty $在这种情况下,因为链将在很长时间内多次访问状态$ i $。 但是,$ \ sum f ^ n_ {ii} $永远不会超过$ 1 $。

*证明:\ begin {align *} \ sum_ {n = 1} ^ {\ infty} p ^ n_ {ii}&= \ sum_ {n = 1} ^ {\ infty} \ mathbb E_i [1_ {X_n = i }] \\&= \ mathbb E_i \ sum_ {i = 1} ^ \ infty 1_ {X_n = i} \ end {align *}

Related questions

Hot questions

Language

Popular Tags