马尔可夫过程

在一个时间演变过程中，由时间$t_0$系统或过程所处的状态，可以决定系统或过程在时刻$t>t_0$所处的状态，而无需借助于$t_0$前的历史信息。未来的状态仅依赖于当前状态，而不依赖于过去状态。
$P(X_{t+1}=x_{t+1}|X_t=x_t,X_{t-1}=x_{t-1},\dots ,X_0=x_0)=P(X_{t+1}=x_{t+1}|X_t=x_t)$
其中：

• $X_t$ 是随机变量，表示时间 $t$ 时的状态。
• $x$ 表示随机变量 $X$ 可能取的某个具体的值
• $P(\cdot )$ 是条件概率。

马尔可夫性质说明，给定当前状态 $X_t$，未来状态 $X_{t+1}$ 的概率分布与过去状态无关。

概率分布

现在用分布函数来表述马尔可夫性。设随机过程$\{X(t),t\in T\}$的状态空间为S，如果对时间t但任意n个数值$t_1<t_2<\cdots <t_n$, $n\ge 3$. $t_i\in T$，在条件$X(t_i)=x_i$, $x_i\in S$, $i=1,2,\cdots ,n-1$下，$X(t_n)$的条件分布函数恰等于在条件$X(t_{n-1})＝x_{n-1}$下的条件分布函数，即
$P\{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}\}=P\{X(t_n)\le x_n|X(t_{n-1})=x_{n-1}\}$
, $x_n\in R$。或写成
$F_{t_n|t_1,\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots ,x_{n-1};t_1,t_2,\cdots ,t_{n-1})=F_{t_n|t_{n-1}(x_n,t_n|x_{n-1},t_{n-1})}$
则过程$\{X(t),t\in T\}$具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。
由于时间t与状态x都是离散的，且可以一一对应，上式可以简写为：
$F_{t_n|t_1,\dots ,t_{n-1}}(x_n|x_1,\dots ,x_{n-1})=F_{t_n|t_{n-1}}(x_n|x_{n-1})$

NOTE

上面的公式看起来复杂，实际上核心性质就是一条：
$n-1$之前的时间$t_i$下的状态$x_i$对当前时间的状态$x_n$没有影响，去掉也无所谓。

马尔可夫过程可以是离散时间或连续时间的，并且状态空间可以是离散的或连续的。
泊松过程: 时间连续，状态离散的马尔可夫过程
维纳过程: 时间和状态都连续的马尔可夫过程
马尔可夫链: 状态和时间都离散的马尔可夫过程都是马尔可夫链

转移概率

对于齐次马尔可夫链，转移概率定义为：
$P(X_{t+1}=x_{t+1}|X_t=x_t)=p_{x_t,x_{t+1}}$
其中，$p_{x_t,x_{t+1}}$表示从状态$x_t$转移到状态$x_{t+1}$的概率。

$n$步转移概率

经过$n$步后从状态$x_i$到状态$x_j$的概率为：
$P^n(i,j)=P(X_{t+n}=x_j|X_t=x_i)$

转移矩阵

一步转移概率组成的矩阵为：

$$\left[\begin{array}{cccc}{p}_{1,1}& p_{1,2}& \cdots & p_{1,n}\\ p_{2,1}& p_{2,2}& \cdots & p_{2,n}\\ ⋮& ⋮& \ddots & ⋮\\ p_{n,1}& p_{n,2}& \cdots & p_{n,n}\end{array}\right]$$

其中，$P^n$为$n$步转移概率矩阵。一步转移概率矩阵是重点讨论对象。

多步转移概率

经过 $n$ 步从状态 $i$ 转移到状态 $j$ 的概率为：
$P_{ij}^{(n)}=P(X_{t+n}=j|X_t=i)$
多步转移概率可以通过转移概率矩阵的幂计算：$P^{(n)}=P^n$

时间平稳性

如果马尔可夫过程是时间齐次的（Homogeneous Markov Process），则转移概率与具体时间 $t$ 无关：$P(X_{t+1}=j|X_t=i)=P(X_1=j|X_0=i)$

初始分布

在时间 $t=0$ 时，随机变量 $X_0$ 的概率分布：
$P(X_0=x)=\pi (x),x\in \mathcal{S}$
其中

• $\pi (x)$ 是初始状态的概率
• $\mathcal{S}$：状态空间（State Space），所有可能的状态的集合