马尔可夫链

当马尔可夫过程的状态空间和时间都离散时，称为马尔可夫链。假设有一个有限的状态集合 $S=\{s_1,s_2,\dots ,s_n\}$，其转移概率矩阵为 $P$，其中 $P_{ij}=P(X_{t+1}=s_j|X_t=s_i)$ 表示从状态 $s_i$ 转移到状态 $s_j$ 的概率。

平稳分布

在某些条件下，马尔可夫链会趋向于一个平稳分布（stationary distribution），即存在一个概率分布 $\pi$，使得：

$$\pi P=\pi$$

这表明，在平稳分布下，系统在长时间运行后，其状态分布不再变化。