随机过程随笔 | 不可约Markov链的性质

2026-04-24 09:36:25 星期五
终于结束了一门考试，可以回来看随机过程了，好多课两周内都没碰了...

---

本节讨论的是不可约Markov链的性质，基本的设定是：状态空间\(S=\{1,2,\ldots\}\)可数，\(P^n=(p_{ij}(n))_{i,j\in S}\)是\(n\)步转移概率矩阵。假设对每个\(j\),极限\(\pi_j=\lim_{n\to\infty}p_{ij}(n)\)存在 (与起始状态\(i\)无关).

我们想看在上面的条件下，能得到什么结果？特别注意最后一个假设，非常重要！
考虑\(P^{n+1}=P^n P\), 那么\(p_{ij}(n+1) = \sum_{k} p_{ik}(n) \, p_{kj}.\) 对两侧取极限\(n \to \infty\), \(LHS=\pi_j\)， 对于右边:

\[\liminf_n \sum_{k} p_{ik}(n) \, p_{kj} \ge \sum_k \liminf_n p_{ik}(n) p_{kj}=\sum_k \pi_k p_{kj} \]

于是我们得到了\(\sum_k \pi_k p_{kj} \le \pi_j\), 再对\(j\)求和，

\[LHS=\sum_j \sum_k \pi_k p_{kj}=\sum_k \sum_j \pi_k p_{kj}=\sum_k \pi_k \sum_j p_{kj}=\sum_k \pi_k \]

\[RHS= \sum_i \pi_j \]

这表明\(\sum_k \pi_k p_{kj}= \pi_j, \forall j \in S\)， 如果我们记\(\pi =(\pi_1, \pi_2, ...)\), 用矩阵的表达就是\(\pi =\pi P\). 那么\(\forall n \ge 1, \pi =\pi P^n\).

另外，如果我们将\(\pi\) 看作是一个映射：

\[\pi :S \to [0, +\infty) \]

\[i \mapsto \pi_i \]

那么\(\pi\)是一个测度，而且是有限测度，因为\(\sum_j \pi_j =\sum_j \lim_n p_{ij}(n) \le \liminf_n \sum_j p_{ij}(n) =1\). 特别地，如果\(\pi=(0,0,...)\)是平凡的.

对于我们本节课要讨论的不可约markov链，由上一节的内容可以知道，如果\(j\)是非常返的，那么\(\lim_n p_{ij}(n) =0\)

---

• \(f_{ij}(n)\)： 从\(i\)出发，恰好第\(n\)步到了\(j\), 但之前从未到过\(j\). \(f_{ij} =\sum_{n=1} ^\infty f_{ij}(n)\)
• \(e_{ij}(n)\)：回避出发点\(i\), \(e_{ij}(n)=P_i(X_n=j, X_m \neq i, \forall 1 \le m \le n)\). \(e_{ij}=\sum_{n=1} ^\infty e_{ij}(n)\)
• 特别地， \(f_{ii}(n) =e_{ii}(n)\). \(f_{ii} \le 1\), 如果\(f_{ii} =1\), 称状态\(i\)是常返的.

---

命题1 设 \(P\) 不可约.

1. 若 \(j\) 常返，则 \(\sum_{i \in S} e_{ji} = m_{jj}\)，其中 \(m_{jj}\) 为平均返回时间。
2. 若 \(j\) 常返，则 \(\mu_i = e_{ji}, \ i \in S\) 是 \(P\) 的一个不变测度。
3. 对于不可约的 Markov 链，不变测度至多相差一个常数因子。