好吧，马上要小测了，感觉不妙，所以赶紧重新梳理一下……
已完结，祝期末顺利！

预备知识

• 大部分可见概率论Cheat Sheet，这里只列出补充部分。

随机变量及其分布

• 随机变量几乎处处相等：$P(X=Y)=1$（注意与独立同分布区别）
  • 与$X=Y$的唯一区别：是否有$X\neq Y$的样本点（概率为$0$）
• 若随机变量$X$的二阶矩存在，则$P(|X|>0)\geq\dfrac{[\mathbb{E}X]^2}{\mathbb{E}[X^2]}$.（可用柯西-施瓦茨不等式证明）

$n$元正态分布

• 当$n=2$时，设$\mathbf{X}=(X_1,X_2)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，则联合概率密度函数为 $$\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}} \exp\left\{-\frac{1}{2(1-\rho^2)}\left(\frac{(x_1-\mu_1)^2}{\sigma_1^2} - 2\rho\frac{x_1-\mu_1}{\sigma_1}\frac{x_2-\mu_2}{\sigma_2} + \frac{(x_2-\mu_2)^2}{\sigma_2^2}\right)\right\}$$ 记期望向量$\mu=(\mu_1,\mu_2)$，协方差矩阵 $$\mathbf{D}=\begin{pmatrix} \sigma_1^2,&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2,&\sigma_2^2 \end{pmatrix}$$ 则概率密度函数可写为 $$f(x_1,x_2)=\frac{1}{2\pi\sqrt{|\mathbf{D}|}}\exp\left\{-\frac{1}{2}(x-\mu)^\top\mathbf{D}^{-1}(x-\mu)\right\}$$
• 推广至$n$元，有 $$f(x_1,\cdots,x_n)=\frac{1}{(2\pi)^{\frac{n}{2}}\sqrt{|\mathbf{D}|}}\exp\left\{-\frac{1}{2}(x-\mu)^\top\mathbf{D}^{-1}(x-\mu)\right\}$$

多元随机变量的独立性

• 设$X_i = (X_{i,1}, \cdots, X_{i,k_i}) , i = 1, \cdots, n$分别是$k_1, \cdots, k_n$维的随机变量，其中每个$k_i \geq 1$。
  称多元随机变量$X_1,\cdots, X_n$是独立的，若任意的$x_{i,j} \in (-\infty, +\infty)$，其中$1 \leq j \leq k_i,1 \leq i \leq n$， $$P(X_{i,j} \leq x_{i,j}, 1 \leq j \leq k_i, 1 \leq i \leq n) = \prod_{i=1}^n P(X_{i,j} \leq x_{i,j}, 1 \leq j \leq k_i).$$
  补充

  可以这么理解：从$n$个随机向量

  $$\begin{pmatrix} X_{1,1}\\ X_{1,2}\\ ...\\ X_{1,k_1} \end{pmatrix}, \begin{pmatrix} X_{2,1}\\ X_{2,2}\\ ...\\ X_{2,k_2} \end{pmatrix}, \cdots, \begin{pmatrix} X_{n,1}\\ X_{n,2}\\ ...\\ X_{n,k_n} \end{pmatrix}$$

  中各取一个随机变量，它们都是相互独立的。

条件概率公式

• $P(AB|C)=P(B|AC)P(A|C)=P(A|BC)P(B|C)$.
  证明

  $$\begin{aligned} P(AB|C)=\frac{P(ABC)}{P(C)}&=\frac{P(ABC)}{P(AC)}\cdot\frac{P(AC)}{P(C)}=P(A|C)P(B|AC)\\ &=\frac{P(ABC)}{P(BC)}\cdot\frac{P(BC)}{P(C)}=P(A|BC)P(B|C) \end{aligned}$$

条件数学期望

随机事件发生下的条件数学期望

• 设$X,Y$为两个随机变量，则在事件$\{Y\in A\}$发生条件下$X$的分布函数为 $$F_X(x|A)=P(X\leq x|Y\in A)=\frac{P(X\leq x,Y\in A)}{P(Y\in A)}$$ 若$(X,Y)$为连续型随机变量，则概率密度函数 $$f(x|A)=\frac{\int_Af(x,y)dy}{\int_{-\infty}^\infty\mathrm{d}x\int_Af(x,y)dy}$$
• 在$Y\in A$条件下定义$X$的函数$g(X)$的数学期望 $$\mathbb{E}(g(X)|Y\in A)=\begin{cases} \dfrac{\sum_xg(x)P(X=x,Y\in A)}{P(Y\in A)},&X\text{离散}\\ \displaystyle\int_{-\infty}^\infty g(x)f(x|A)dx,&X\text{连续} \end{cases}$$
• 当$(X,Y)$为连续型随机变量，考虑条件为$\{Y=y\}$时，$X$的条件概率密度函数 $$f(x|y)=\frac{f(x,y)}{f_Y(y)}=\frac{f(x,y)}{\int_{-\infty}^\infty f(x,y)dx}$$ 从而对应的条件数学期望为 $$\mathbb{E}(\Phi(x,y)|Y=y)=\int_{-\infty}^\infty\Phi(x,y)f(x|y)dx=\frac{\int_{-\infty}^\infty\Phi(x,y)f(x,y)dx}{f_Y(y)}$$

随机变量条件下的数学期望

• 首先定义集合 $$\mathcal{Y}=\begin{cases} \{y;P(Y=y)>0\},&Y\text{离散}\\ \{y;P_Y(y)>0\},&Y\text{连续}\\ \end{cases}, \quad\Omega_y=\{\omega;Y(\omega)\in\mathcal{Y}\}$$
• 定义：设$(X, Y)$是连续型或离散型二元随机变量，$X$的数学期望存在。若存在随机变量$Z$使得$Z$为随机变量$Y$的函数（即存在函数$g$使得$Z=g(Y)$），且 $$Z(\omega)=g(Y(\omega))=\mathbb{E}(X|Y=Y(\omega))\quad\forall \omega\in\Omega_y$$ 则称$Z$为$X$关于随机变量$Y$的条件数学期望（简称条件数学期望），记为$\mathbb{E}(X|Y)$。

  在几乎处处相等意义下, 上述定义中的条件数学期望是唯一的。（$P(\Omega_y)=1$）

• 推论：对任意集合$B$满足$P(Y\in B)>0$，有 $$\int_B\mathbb{E}(X|Y=y)f_Y(y)dy=\mathbb{E}(X|Y\in B)P(Y\in B)$$
• 性质：
  • 若$X$与$Y$独立，则$\mathbb{E}(X|Y)=\mathbb{E}X$；
  • 若$a\leq\Phi(X< Y)\leq b$，则$a\leq \mathbb{E}(\Phi(X< Y)|Y)\leq b$；
  • $\mathbb{E}(a|Y)=a$（$a$为常数）；
  • $\color{red}\mathbb{E}(\sum_{i=1}^Na_iX_i|Y)=\sum_{i=1}^Na_i\mathbb{E}(X_i|Y)$，其中$a_i$均为常数；
  • $|\mathbb{E}(X\mid Y)|\leq \mathbb{E}(|X|\mid Y)$；
  • $\color{red}\mathbb{E}(X)=\mathbb{E}(\mathbb{E}(X|Y))$.（重期望公式）
  • 对几乎处处的$\omega\in\Omega$，$\mathbb{E}(\Phi(X,Y)|Y)(\omega)=\mathbb{E}(\Phi(X,Y(\omega))|Y=Y(\omega))$；特别地， $$\color{red}\mathbb{E}(f(X)g(Y)|Y)=g(Y)\mathbb{E}(f(X)|Y),\quad \mathbb{E}(g(Y)|Y)=g(Y).$$

条件数学期望的推广与一般化

• 定义略（基本就是上述二元推广到$n$元）
• 平滑性质：对任意$n>m$， $$\color{red}\mathbb{E}(\mathbb{E}(h(X)|Y_1,\cdots,Y_n)|Y_1,\cdots,Y_m)=\mathbb{E}(h(X)|Y_1,\cdots,Y_m)$$
• 条件概率： $$P(A|Y_1,\cdots,Y_n)=\mathbb{E}(\mathbf{1}_A|Y_1,\cdots,Y_n)$$
• 条件方差： $$\mathrm{Var}(X|Y)=\mathbb{E}((X-\mathbb{E}(X|Y))^2|Y)=\mathbb{E}(X^2|Y)-(\mathbb{E}(X|Y))^2$$ 性质： $$\mathrm{Var}(X)=\mathbb{E}(\mathrm{Var}(X|Y))+\mathrm{Var}(\mathbb{E}(X|Y)).$$

特征函数

• 定义：对于随机变量$X$，称$\psi_X(t)=\mathbb{E}(e^{itX})=\mathbb{E}(\cos tX)+i\mathbb{E}(\sin tX)$为$X$的特征函数。（$t\in\R$）
• 性质（只给出主要性质，其他性质见概率论）：
  • $|\psi_X(t)|\leq\psi_X(0)=1$；
  • 唯一性定理，连续性定理（略）；
  • 若$X$的$n$阶绝对矩$\mathbb{E}(|X|^n)< \infty$，则对任意$k\leq n$，$\mathbb{E}(X^k)=i^{-k}\psi_X^{(k)}(0)$.
  • 随机变量$X_1,\cdots,X_n$相互独立当且仅当对任意的$t_1,\cdots,t_n \in\R$， $$\psi_{(X_1,X_2,\cdots,X_n)}(t_1,\cdots,t_n)=\prod_{i=1}^n\psi_{X_k}(t_k)$$

Laplace变换

适用：非负随机变量

• 定义：若$X$为非负随机变量，称函数$L_X(\theta)=\mathbb{E}(e^{-\theta X})$为$X$的拉普拉斯变换，其中变量$\theta\in[0,+\infty)$.
  • 用分布函数表示：$\displaystyle L_F(\theta)=\int_0^\infty e^{-\theta x}dF(x)$，故也记作$L_F(\theta)$.
  • 若$X$为连续型随机变量，概率密度函数为$f(x)$，则 $$L_F(\theta)=\int_0^\infty e^{-\theta x}f(x)dx$$
  • 若$X$为离散随机变量，分布列为$P(X=x_k)=p_k,k=1,2,\cdots$，则 $$L_F(\theta)=\sum_{k=1}^\infty e^{-\theta x_k}p_k$$ 若$x_k$取非负整数，则 $$L_X(\theta)=\sum_{k=1}^\infty e^{-\theta k}p_k.$$
• 反演公式：设$F$是$[0, \infty)$上的分布函数，$L_F(\theta)$是$F$的拉普拉斯变换，那么对$F$的任意连续点$x$，有 $$F(x)=\lim_{n\to\infty}\sum_{k=0}^{\lfloor nx\rfloor}\frac{(-1)^k}{k!}n^kL_F^{(k)}(n)$$
  • 由此可得唯一性定理。
• 连续性定理：设非负随机变量$X_n$的拉普拉斯变换为$L_{X_n}(\theta)$，那么存在随机变量$X$使得$X_n\stackrel{d}{\longrightarrow}X$的充要条件是对任意$\theta > 0$，$L_{X_n}(\theta)$收敛且 $$\lim_{\theta\to 0}\lim_{n\to\infty}L_{X_n}(\theta)=1$$
  • 广义连续性定理：非负随机变量$X_n\stackrel{d}{\longrightarrow}X$当且仅当存在$\lambda>0$使得对任意$\theta>\lambda$，$L_{X_n}(\theta) → L_{X}(\theta)$.
• 性质：
  • 任意$\theta>0$，$0\leq L_X(\theta)\leq L_X(0)=1$；
  • 任意$a>0,b>0$，$L_{aX+b}(\theta)=L_X(a\theta)e^{-b\theta}$.
  • 对任意非负随机变量$X,Y$，$L_{X+Y}(\theta)=L_X(\theta)L_Y(\theta),\theta\geq 0$；
  • 任意正整数$k$，$\mathbb{E}(X^k)=(-1)^kL_X^{(k)}(0)$（默认$k$阶矩存在）。

概率母函数

适用：只取可数个非负整数值的随机变量（离散）

• 定义：设$X$为非负整数值随机变量，称函数$\phi_X(s)=\mathbb{E}(s^X)$为$X$的概率母函数，其中$s\in[-1,1]$。
  • 设$X$分布列为$P(X=k)=p_k,k\geq 0$，则 $$\phi_X(s)=\sum_{k=0}^\infty p_ks^k$$
• 与Laplace变换的关系：$\phi_X(s)=L_X(-\ln s)$.

  因此继承Laplace变换的性质，如：
  任意$s\in[-1,1]$，$0\leq\phi_X(s)\leq\phi_X(1)=1$；
  任意$a,b\in\N$，$\phi_{aX+b}(s)=s^b\phi_X(s^a)$.
  对任意非负整数值随机变量$X,Y$，$\phi_{X+Y}(s)=\phi_X(s)\phi_Y(s),s\in[-1,1]$；

• 若非负整数值随机变量$X$的$n$阶矩存在，那么对任意$k\leq n$以及$s\in[-1, 1]$，概率母函数$\phi_X$的$k$阶导数$\phi_X^{(k)}(s)$存在，且$X$的$n$阶矩可由$\phi_X(s)$前$n$阶导数在$s = 1$的值表示。特别地， $$\mathbb{E}X=\phi'_X(1),\quad \mathbb{E}(X^2)=\phi''_X(1)+\phi'_X(1)$$

  实际上，$\displaystyle \mathbb{E}(X^k)=\sum_{j=0}^kS(k,j)\phi_X^{(j)}(1)$，其中$S(k,j)$为第二类斯特林数。

• 反演公式：若非负整数值随机变量$X$的概率母函数为$\phi_X(s)$.那么对任意$k\geq 0,P(X=k)=\dfrac{\phi_X^{(k)}(0)}{k!}$.
• 多元随机变量的概率母函数（略）

收敛性与极限定理

只做一些补充

• 几乎处处收敛$\Longrightarrow$依概率收敛$\Longrightarrow$依分布收敛，反之不真；
• $X_n\stackrel{d}{\longrightarrow}X$当且仅当$X_n$的特征函数$\psi_n(t)$点点收敛到$X$的特征函数$\psi(t)$。
• 几乎必然收敛的$\epsilon-\delta$语言描述：
  $X_n\stackrel{a.s.}{\longrightarrow}X$当且仅当存在一个集合$A\in\mathcal{F}$满足$P(A)=0$，对任意$\omega=\Omega\setminus A$及任意$\epsilon>0$，存在$N=N(\epsilon,\omega)$，使得当$n>N$时， $$|X_n(\omega)-X(\omega)|<\epsilon.$$
• 依概率收敛与几乎处处收敛均满足线性可加性与可乘/除性（除法要求$P(Y=0)=0$）
• 由B-C引理得到的几乎处处收敛的充分条件：
  若$\forall\epsilon>0$，$\displaystyle\sum_{n=1}^\infty P(|X_n-X|>\epsilon)< \infty$，则$X_n\stackrel{a.s.}{\longrightarrow}X$；
  • 推论：若$X_n\stackrel{p}{\longrightarrow}X$，那么存在一个子列$\{X_{n_k}\}$使得$X_{n_k}\stackrel{a.s.}{\longrightarrow}X$

简单随机模型

随机过程简介

• 定义：在概率空间$(\Omega,\mathcal{F},P)$上，若$X=\{X(t);t\in T\}$为一族随机变量（可为向量值），称其为随机过程。
  • 其中$X(t),t\in T$的所有取值$S$成为$X$的状态空间，称$T$为指标集或参数集。（若$t$表示时间，也称$T$为时间参数）
  • 有时简记为$X=(X_t)_{t\in T},X=\{X_t;t\in T\}$或$\{X_t\},X$（视具体情况而定）

  本课程只考虑实数值随机过程

• 随机过程可理解为$T\times\Omega\longrightarrow S$上的二元映射：
  • 当$t,\omega$给定：$X(t,\omega)\longrightarrow\R$；
  • 当$t$给定：$X(t,\cdot)\longrightarrow$随机变量；
  • 当$\omega$给定：$X(\cdot,\omega)\longrightarrow$关于$t$的函数（也称为轨道或样本）。
• 主要分类：

  参数\状态	离散	连续
  离散	离散参数离散状态	离散参数连续状态
  连续	连续参数离散状态	连续参数连续状态

随机过程的刻画

• 分布函数族：任取$X =\{X_t;t\in T\}$的$k$个参数$t_1,t_2,\cdots,t_k$，称$X_{t_1},\cdots,X_{t_k}$的联合分布函数 $$F_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k)=P(X_{t_1}\leq x_1, X_{t_2}\leq x_2,\cdots,X_{t_k}\leq x_k)$$ 为随机过程$X$的一个$k$阶有限维分布，称函数族 $$\{F_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k); t_1,\cdots,t_k\in T, k\geq 1\}$$ 为随机过程$X$的有限维分布族。
  • 当$S$离散时，有限维分布族可用以下有限维分布列代替：
  $$P_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k) = P(X_{t_1}=x_1, X_{t_2}=x_2,\cdots,X_{t_k}=x_k), x_1,\cdots,x_k\in S$$
• 分布函数族性质：
  • 对称性：对任意$(1, 2, \cdots, k)$的置换$(i_1, i_2, \cdots, i_k)$, $$F_{t_1, t_2, \cdots, t_k}(x_1, x_2, \cdots, x_k) = F_{t_{i_1}, t_{i_2}, \cdots, t_{i_k}}(x_{i_1}, x_{i_2}, \cdots, x_{i_k}).$$
  • 相容性：对任意$n > m$, $$F_{t_1, \cdots, t_m, \cdots, t_n}(x_1, \cdots, x_m, +\infty, \cdots, +\infty) = F_{t_1, \cdots, t_m}(x_1, \cdots, x_m).$$
• 柯尔莫哥洛夫存在性定理：设$\{F_{t_1,t_2,\cdots,t_k}(x_1,x_2,\cdots,x_k); t_1,\cdots,t_k\in T, k\geq 1\}$为分布函数族，则存在概率空间$(\Omega,\mathcal{F},P)$及其上的一个随机过程$X=\{X(t);t\in T\}$使$X$的有限维分布族恰为此分布函数族。
• 比较两个在$(\Omega,\mathcal{F},P)$上随机过程$X_t,Y_t$：
  • 若二者的有限维分布族相同，则称$Y$为$X$的一个版本（version）；
  • 若对任意$t\in T,P(X_t=Y_t)=1$，则称$Y$为$X$的一个修正（Modification）；
    • 也表示为$\forall t\in T,P(\{\omega:X_t(\omega)=Y_t(\omega)\})=1$
  • 若存在集合$A\in\mathcal{F}$使$P(A)=1$，且任意$\omega\in A$，任意$t\in T$，$X_t(\omega)=Y_t(\omega)$均成立，则称$X$与$Y$不可区分（Indistinguishable）。
    • 也表示为$\displaystyle P\left(\bigcap_{t\in T}\{\omega:X_t(\omega)=Y_t(\omega)\}\right)=1$

  上述三者关系：不可区分$\Longrightarrow$修正$\Longrightarrow$版本（反之一般不成立）；
  若$X,Y$为离散参数随机过程，那么不可区分与修正等价。

• 独立性：设$X =\{X_t;t\in T\}$，$Y =\{Y_u; u\in S\}$都是概率空间$(\Omega,\mathcal{F},P)$上的随机过程，若对任意$k, m \geq 1,t_1,\cdots,t_k\in T,u_1,\cdots,u_m\in S$， $$(X_{t_1},\cdots,X_{t_k})\text{与}(Y_{u_1},\cdots,Y_{u_m})$$ 独立，则称$X$与$Y$相互独立。
• 数字特征：
  • 均值函数：$m_X(t)=\mathbb{E}(X_t)$
  • 方差函数：$D_X(t)=\mathrm{Var}(X_t)$
  • 自相关函数：$R_X(s,t)=\mathbb{E}(X_sX_t)$
  • 协方差函数：$\mathrm{Cov}_X(s,t)=\mathrm{Cov}(X_s,X_t)$

典型随机过程

1. 严平稳过程
   • 若对任意的$t_1< \cdots< t_n\in T$以及$h\in T$，$(X(t_1),\cdots,X(t_n))$与$(X(t_1+h),\cdots,X(t_n+h))$同分布，则称随机过程$X=\{X(t);t\in T\}$为严平稳过程。
   • 例：独立同分布随机变量序列
2. （宽）平稳过程
   • 若对任意$t\in T, \mathbb{E}(X(t))$与$t$无关，且对任意$t,h\in T$，协方差$\mathrm{Cov}(X(t), X(t + h))$与$t$无关，则称随机过程$X$为平稳过程。
   • 二阶矩存在的严平稳过程一定是平稳过程。
3. 独立增量过程
   • 称随机过程$X=\{X(t);t\in T\}$是独立增量过程，若对任意$n$以及$t_1< \cdots< t_n\in T$， $$X(t_2)-X(t_1),\cdots,X(t_n)-X(t_{n-1})$$ 相互独立（若指标集$T$有最小元素$t_0$则加上$X(t_1)-X(t_0)$与$X(t_0)$）
   • 进一步，若对任意$t, t + h, s, s + h \in T$，$X(t+h)-X(t)$与$X(s+h)-X(s)$分布相同，则称$X$为独立平稳增量过程。
   • 性质：
     如果$X =\{X(t);t∈\R^+\}$为平稳独立增量过程，均值函数$m(t)$与方差函数$D(t)$都存在且连续，那么对任意$t\geq 0$， $$m_X(t) = Ct + \mathbb{E}(X(0)),D_X(t) = C_1t + \mathrm{Var}(X(0))$$ 其中$C=\mathbb{E}(X(1))-\mathbb{E}(X(0)),C_1=\mathrm{Var}(X(1)-X(0))$.
   • $T=\N$时独立增量过程就是一列相互独立随机变量的部分和，而初值为$0$的平稳独立增量过程就是一列独立同分布随机变量的部分和。

   随机游动、泊松过程与布朗运动都属于平稳独立增量过程。

   • 期望有限的独立增量过程满足以下性质：
     1. 对任意$s, t\in T$且$s < t$, 以及对任意$x\in\R$， $$P(X(t) < x|X(0),\cdots, X(s)) = P(X(t) < x|X(s))$$
     2. 若对任意$s, t\in T, \mathbb{E}(X(t) - X(s)) = 0$, 那么对任意$s < t\in T$， $$\mathbb{E}(X(t)|X(0),\cdots, X(s)) = X(s)$$
     通常称满足性质(i)的随机过程为马氏过程, 满足性质(ii)的过程为鞅(过程)。
4. 伯努利过程
   • 称随机过程$X =\{X_n; n \in\Z^+\}$为伯努利过程，若$\{X_n; n \in\Z^+\}$为独立同分布的随机变量序列，而且 $$P(X_n = 1) = p, P(X_n = 0) = q = 1 - p, 0 < p < 1.$$
   • 显然，伯努利过程是严平稳的，但不是独立增量过程（证明见题集）。

停时（离散时间）

• 定义：称非负整数值的随机变量（可取$+\infty$）$T$是关于随机过程$\{X_n; n\geq 0\}$的停时(Stopping time)，若对任意非负整数$n$，随机事件$\{T=n\}$可以通过随机变量$X_0,\cdots,X_n$表示，也即随机变量$\mathbf{1}_{\{T=n\}}$可表示成随机变量$X_0,\cdots,X_n$的函数。
  • 当无需强调参考过程$X$时，我们简称$T$为停时。

直线上简单随机游动

• 随机游动定义：已知$\{X_n; n \geq 0\}$为相互独立的随机变量序列而且对任意$n \geq 1$，$X_n$的分布相同，令 $$W_n=\sum_{k=0}^nX_k$$ 称随机过程$W=\{W_n; n \geq 0\}$为（一维或直线上）的随机游动(Random Walk)；若$X_n \in \R^d, n \geq 0$，其他条件不变，那么我们称$W$为$d$-维随机游动。
  • 实质：独立同分布随机变量的部分和序列，所以属于独立平稳增量过程。
  • 称$W_0$的值为初值或初始位置，称$W_0$的分布为初始分布；有时称$X_n$为（第$n$步的）步长。

  以下讨论的随机游动都是整数值的随机游动，即$X_n(n\geq 0)$都是整数值随机变量。

• 简单随机游动：称满足 $$P(X_n = 1) = p, P(X_n =-1) = q = 1 - p, n \geq 1$$ 的整数值随机游动为简单随机游动（或$(q,p)$-简单随机游动）；
  • 当$p=q=\dfrac{1}{2}$时称$W$为简单对称随机游动。

转移概率

• 定义：对任意$x,y$及$n\geq 0$，称条件概率$p_n(x,y)=P(W_n=y|W_0=x)$为$W$从初值$x$出发经过$n$步到达$y$的转移概率。
  • 规定 $$p_0(x,y)=\delta_x(y)=\begin{cases} 1,&y=x\\ 0,&y\neq x \end{cases}$$
• 性质：
  • 任意$n\geq 0$，$\displaystyle\sum_{y\in\Z}p_n(x,y)=1$；
  • 任意$n,k\geq 0$，$x,y,z\in\Z$，$\color{red}p_n(x,y)=P(W_{n+k}=y+z|W_k=x+z)$（即转移概率只与时间及位置的相对变化量有关）
  • $p_n(x,y)=p_n(0,y-x)$（可简记为$p_n(y-x)$）
• 计算：设步长分布为$F$，则$p_n(x,y)=F^{*n}(\{y-x\})$，其中$F^{*n}(\{y-x\})$表示分布为$F$的$n$重卷积的随机变量落在$y-x$点的概率。
  补充

  在实际运算中，常使用概率母函数计算：

  $$\phi_{F^{*n}}(s)=[\phi_F(s)]^n=\left[\sum_{k=0}^\infty P(X_i=k)s^k\right]^n$$

  然后用反演公式计算概率：

  $$p_n(x,y)=\frac{\phi_{F^{*n}}^{(y-x)}(0)}{(y-x)!}$$

  注：要求步长取值为非负整数。

• 有限维分布：任取$0 \leq k_0 < k_1 < \cdots < k_n, \, r_0, r_1, \cdots, r_n \in \mathbb{Z}$， $$\begin{aligned} &P(W_{k_0} = r_0, W_{k_1} = r_1, \cdots, W_{k_n} = r_n) \\ =&P(W_{k_0} = r_0) \prod_{j=1}^n p_{k_j-k_{j-1}}(r_{j-1}, r_j). \end{aligned}$$ 记$W$的初始分布为$\mu$，则由全概率公式， $$\begin{aligned} P(W_{k_0} = r_0) &= \sum_{i \in \mathbb{Z}} P(W_0 = i, W_{k_0} = r_0) \\ &= \sum_{i \in \mathbb{Z}} P(W_0 = i) P(W_{k_0} = r_0 \mid W_0 = i) = \sum_{i \in \mathbb{Z}} \mu(i) p_{k_0}(i, r_0). \end{aligned}$$

  因此初始分布+转移概率族就可以确定随机游动的规律。

基本性质

• 马氏性：设$W$是整数值随机游动，则对任意$m, k\in\N$以及状态$i_0, i_1,\cdots, i_{m+1}\in\Z$， $$P(W_{m+k} = i_{m+1}|W_m = i_m,\cdots, W_0 = i_0) = P(W_{m+k} = i_{m+1}|W_m = i_m).$$
  • 可理解为“将来与历史无关”
• 对称原理：设$W$是整数值的随机游动，对任意$n\geq 1$，集合$I\subset\Z$， $$\begin{aligned} &P(W_1>0,\cdots,W_{n-1}>0,W_n\in I|W_0=0)\\ =&P(W_1<W_n,\cdots,W_{n-1}<W_n,W_n\in I|W_0=0). \end{aligned}$$
• 右连续随机游动：称整数值随机游动$W$是右连续的（或不带右跳的）, 若其步长满足 $$P(X_n=1)>0\text{且}\sum_{k=-\infty}^1P(X_n=k)=1.$$

  即步长范围为$-\infty\sim 1$的所有整数值。

  • 简单随机游动是右连续的随机游动。
• 首回时：对任意整数$i$,令$\tau_i=\inf\{n\geq 1,W_n=i\}$，那么$\tau_i$是一个停时。事实上， $$\{\tau_i=n\}=\{W_1\neq i,\cdots,W_{n-1}\neq i,W_n=i\}.$$ 通常我们称这样定义的$\tau_i$为状态$i$的首回时。若$W_0=i$，$\tau_i$表示随机游动$W$首次回到位置$i$的时间。
  • 当整数值随机游动$W$右连续且初值为$0$时对任意$i > 0$， $$\{\tau_i = n\} = \{W_1 < W_n,\cdots, W_{n-1} < W_n, W_n = i\}$$
  • 定理：若整数值随机游动$W$右连续，那么对任意正整数$m$和$n$（默认$m< n$）， $$P(\tau_m=n|W_0=0)=\frac{m}{n}P(W_n=m|W_0=0)$$
  • 推论：对于右连续的随机游动$W$， $$P(W_1>0,\cdots,W_{n-1}>0,W_n=m|W_0=0)=\frac{m}{n}p_n(m)$$
• 简单随机游动的性质：
  1. 转移概率 $$p_n(x,y)=\begin{cases} \displaystyle\binom{n}{\frac{n+y-x}{2}}p^{\frac{n+y-x}{2}}q^{\frac{n+x-y}{2}},&n-|y-x|\text{为非负偶数}\\ 0,&\mathrm{otherwise}. \end{cases}$$
  2. 首回时
     • $i>0$时， $$\begin{aligned} P(\tau_i=n|W_0=0)&=\frac{i}{n}P(W_n=i|W_0=0)\\ &=\begin{cases} \displaystyle\frac{i}{n}\binom{n}{\frac{n+i}{2}}p^{\frac{n+i}{2}}q^{\frac{n-i}{2}},&\frac{n+i}{2}\leq n\text{且为正整数}\\ 0,&\mathrm{otherwise}. \end{cases} \end{aligned}$$
     • $i=0$时， $$\begin{aligned} &P(\tau_0 = 2k + 1|W_0 = 0) = 0\\ &P(\tau_0 = 2k \mid W_0 = 0) = 2 \frac{(2k - 2)!}{k! (k - 1)!} q^k p^k = \begin{cases} 2pq, & k = 1\\ \displaystyle \frac{(2k-3)!!}{(2k)!} \cdot \frac{(4pq)^k}{k!}, & k \geq 2. \end{cases} \end{aligned}$$
  3. 反射原理
     • 设$W$为简单随机游动，对任意正整数$x,y$,从$(n,x)$到$(n+m,y)$并途中位置回到零点的轨道数与从$(n,-x)$到$(n+m,y)$的轨道数相同。

       这里的轨道是指将随机游动$W$中各位置$(n,W_n)$在平面上绘点并按$n$从小到大的次序用直线依次相连所得到的折线.

     • 若$W$是简单对称随机游动, 那么对任意$x, y > 0$, $$P(W_{n+m} = y, \min_{n< k< n+m}W_k\leq 0|W_n = x) = P(W_{n+m}= y|W_{n} = -x).$$

简单应用

1. 选票问题
   在一次选举中候选人$A$得到了$n$张票，候选人$B$得到$m$张票，$n>m$。则投票过程中$A$始终领先$B$的概率为 $$P(W_1>0,W_2>0,\cdots,W_{n+m-1}>0|W_{n+m}=n-m,W_0=0)=\frac{n-m}{n+m}$$
2. 设$W$为$(q,p)$-简单随机游动，记$\rho=\dfrac{p}{q}$。任给两个状态（整数）$m,n$使得$m< 0,n>0$，从$0$出发，则$W$在到达$n$之前先到达$m$的概率为 $$\begin{cases} \displaystyle\frac{n}{n-m},&\rho=1\\[10pt] \displaystyle\frac{\rho^n-1}{\rho^{n-m}-1},&\rho\neq 1 \end{cases}$$

泊松过程

计数过程

• 定义：称非负整数值的随机过程$N = \{N(t);t\geq 0\}$为计数过程或点过程，若其样本函数$N(\cdot,\omega)$为右连续的单调不降函数。
  • 若还存在一个集合$A$使得$P(A) = 1$而且 $$A\subset\{\omega; N(t, \omega) - N(t-, \omega) \geq 1,\forall t\geq0\}$$ 则称$N$是简单计数过程，其中$N(t-, \omega)$表示函数$N(\cdot,\omega)$在$t$点的左极限。

    本质上，简单计数过程要求依概率$1$保证在任一时刻至多发生一次随机事件.

  • 对任意给定的$\omega\in\Omega$，$N(t,\omega)$关于$t$单调不降且右连续。对任意给定的整数$k>0$，可定义 $$T_k(\omega)\coloneqq\inf\{t\geq 0;N(t,\omega)\geq k\}$$ 称$T_k$为第$k$次（随机事件）到达时间。$T_k$随$k$增加单调不降且$T_0=0$。
  • 令$W_k=T_k-T_{k-1}$，那么$W_k$表示第$k-1$个事件与第$k$个事件发生的时间间隔，一般称为第$k$个间隔时间。那么 $$T_k=\sum_{i=1}^kW_i$$ 为$\{W_i;i\geq 1\}$的部分和。
• $N_t,W_k,T_k$的关系：
  • $\displaystyle T_{N(t)}\leq t,N(T_k)\geq k\Longrightarrow N(t)=\sup\{k\geq 0;T_k\leq t\}=\sup\{n\geq 0;\sum_{i=1}^nW_k\leq t\}$
  • $\{N(t)\geq k\}=\{T_k\leq t\},\{N(t)=k\}=\{T_{k}\leq t\}\setminus\{T_{k+1}\leq t\}=\{T_{k+1}>t\}\setminus\{T_k>t\}$

    由此可构建计数过程与随机游动的关系。

泊松过程及其刻画

• 定义：称计数过程$N=\{N(t);t\geq 0\}$是强度为$\lambda$的泊松（Poisson）过程，若$N$具有独立同分布的时间间隔序列$\{W_k;k\geq 1\}$且间隔时间服从参数为$\lambda$的指数分布。
  • $T_k=\sum_{i=1}^kW_i$服从$Ga(k,\lambda)$分布；
  • 泊松过程是初值为$0$的简单计数过程。
• 记强度为$\lambda$的泊松过程为$N$，那么对任意$t > 0$，$N(t)$服从强度为$\lambda t$的泊松分布，因此$\mathbb{E}(N(t))=\mathrm{Var}(N(t))=\lambda t$.
• $N$为泊松过程当且仅当$N$是初值为$0$的非零简单计数过程且具有平稳独立增量。

到达时间的条件分布

• 设 $\{T_n; n \geq 1\}$是强度为$\lambda$的泊松过程$N = \{N(t); t \geq 0\}$的到达时刻序列，那么对任意$0 \leq s_1 < t_1 \leq s_2 < \cdots \leq s_n < t_n \leq t$，

$$P(T_j \in (s_j, t_j], 1 \leq j \leq n \mid N(t) = n) = \frac{n!}{t^n} \prod_{j=1}^n (t_j - s_j).$$

• 设$X_{(1)},X_{(2)},\cdots,X_{(n)}$为$(0, t]$上均匀分布随机变量的次序统计量，则$(X_{(1)},X_{(2)},\cdots,X_{(n)})$的联合分布与给定$N(t) = n$的条件下的$(T_1, T_2,\cdots,T_n)$的联合分布相同。

  $T_1,\cdots, T_n$可看作$n$个独立的$(0, t]$上均匀分布随机变量的次序统计量.$

稀疏过程

• 定义：若将计数过程$N = \{N(t)\}$记录的每一个随机事件都能独立于其他事件以概率$p_i$归为第$i$类事件，其中$\displaystyle\sum_{i=1}^m p_i = 1$，那么称记录第$i$类事件发生次数的计数过程$N_i = \{N_i(t)\}$为$N$的稀疏过程。
• 若$N$是强度为$\lambda$的泊松过程，那么它的稀疏过程$N_1, N_2, \cdots, N_m$是独立的泊松过程，强度分别为$\lambda p_1, \cdots, \lambda p_m$。

复合泊松过程

• 定义：若$N=\{N(t);t\geq 0\}$为泊松过程，$\{Y_n; n\geq 1\}$为一列独立同分布的随机变量且与$N$独立。对任意$t\geq 0$，令$\displaystyle X(t)=\sum_{n=1}^{N(t)}Y_n$，则称$X=\{X(t);t\geq 0\}$为复合泊松过程。
• 性质：$\mathbb{E}(X(t)) = \lambda t\mathbb{E}(Y_1),\mathbb{E}(X^2(t))= [\lambda t\mathbb{E}(Y_1)]^2 +\lambda t\mathbb{E}(Y_1^2)$.

离散状态马尔科夫链

条件独立性与马尔科夫过程

• 条件独立性定义：给定时间$A,B,C$，$P(C)>0$，若$P(AB|C)=P(A|C)P(B|C)$，则称$A,B$在给定$C$下条件独立。
  • 等价条件：$P(A|BC)=P(A|C)$；$P(B|AC)=P(B|C)$。
• 马尔可夫性：对任意时刻$t$，已知$t$时刻状态，那么$t$之后的状态与$t$之前的状态无关，即： $$P(A_F(t)B_H(t)|C_N(t))=P(A_F(t)|C_N(t))P(B_H(t)|C_N(t))$$
• 马尔科夫过程：具有马尔科夫性的随机过程。【也称马尔科夫链，简称马氏过程/马氏链】
  • 平稳独立增量过程（如直线上简单随机游动，泊松过程）一定是马尔科夫过程。

  注：马尔科夫过程要求当前状态$X_n$已知且唯一。

• 离散状态离散时间马尔科夫过程的刻画：$X=\{X_n;n\geq 0\},S\subset\Z$，对任意时刻$n\geq 1$，任意状态$i_0,\cdots,i_{n-1},i,j\in S$，有 $$P(X_{n+1}=j|X_0=i_0,\cdots,X_{n-1}=i_{n-1},X_n=i)=P(X_{n+1}=j|X_n=i)$$

  如无特殊说明，下述马氏链均表示离散状态离散时间马尔科夫过程。

  • 等价刻画：$X$是马氏链当且仅当对任意$n \geq 1$，以及任意一个时刻$n$之后的随机事件 $$A = \{X_{n+k_1} = i_{n+1}, \dots, X_{n+k_l} = i_{n+l}\}$$ 和任意一个$n$之前的随机事件 $$B = \{X_{t_1} = i_1, \dots, X_{t_m} = i_m\}$$ 其中$0 \leq t_1 < \cdots < t_m < n$，都有 $$P(A \mid X_n = i_n, B) = P(A \mid X_n = i_n).$$

转移概率矩阵与C-K方程

转移概率矩阵

• 转移概率定义：称$P(X_{n+m} = j \mid X_n = i)$为马氏链$X$从$n$时状态$i$到$n+m$时状态$j$的$m$步转移概率，记作$p_{ij}^{(n, n+m)}$或$p(n, i; n+m, j)$.
  • 若对任意$i, j, n, m$, $$P(X_{n+m} = j \mid X_n = i) = P(X_m = j \mid X_0 = i),$$ 则称转移概率是平稳的。
  • 此时转移概率可简记为$p_{ij}^{(m)}$（或$p(i, j; m)$），简称为从状态$i$到$j$的$m$步转移概率。
  • 特别简记$p_{ij}^{(1)}$为$p_{ij}$，并简称为从状态$i$到$j$的转移概率。
  • 约定 $$p_{ij}^{(0)} = \delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j. \end{cases}$$
• 如果马氏链$X$的转移概率是平稳的，则称$X$是时齐的。

  若无特别说明，以下马氏链$X$都是时齐的。

• 转移概率矩阵：任意$n\in\N$，将马氏链$X$的所有$n$步转移概率排为矩阵$(p_{i,j}^{(n)})_{i,j\in S}$，称其为$X$的$n$步转移概率矩阵，记作$\mathbf{P}^{(n)}$。
  • $n=0$时矩阵为单位矩阵，$n=1$时可简称为转移概率矩阵，记作$\mathbf{P}$。【最常使用】
  • 性质：矩阵的所有元素均非负，且每行都是一个概率分布（和为$1$）

C-K方程

• 设$X = \{X_n; n \geq 0\}$是时齐马氏链，则对任意$n, m \geq 1$及$i, j \in S$, $$p_{i,j}^{(n+m)} = \sum_{k \in S} p_{i,k}^{(n)} p_{k,j}^{(m)}.$$
  • 推论：（转移概率矩阵计算公式）无论状态是否无穷，都有 $$\mathbf{P}^{(n+m)}=\mathbf{P}^{n}\mathbf{P}^{m}=\mathbf{P}^{n+m}.$$ （本质是矩阵乘法）

有限维分布族

• 设马氏链$X$的转移概率矩阵为$(p_{i,j})_{i,j \in S}$，初始分布为$(\mu_i)_{i \in S}$。那么对任意$0 = t_0 \leq t_1 < t_2 < \cdots < t_n$以及$i_1, \cdots, i_n \in S$, $$P(X_{t_1} = i_1, X_{t_2} = i_2, \cdots, X_{t_n} = i_n) = \sum_{i \in S} \mu_i p^{(t_1-t_0)}_{i,i_1} p^{(t_2-t_1)}_{i_1,i_2} \cdots p^{(t_n-t_{n-1})}_{i_{n-1},i_n}.$$ 这说明马氏链可以用转移概率矩阵等价刻画。

状态分类

互通性

• 如果存在$n \geq 0$使得$p_{i,j}^{(n)} > 0$，则称状态$i$可达状态$j$，记作$i \to j$。反之，则对任意$n \geq 0$，$p_{i,j}^{(n)} = 0$，称状态$i$不可达状态$j$，记作$i\nrightarrow j$。
• 若$i \to j$且$j \to i$，则称$i, j$互通，记作$i \leftrightarrow j$。
• 互通是一种等价关系，即满足自反性（$i\leftrightarrow i$）、对称性（$i\leftrightarrow j\Longleftrightarrow j\leftrightarrow i$）和传递性（$i\leftrightarrow j,j\leftrightarrow k\Longrightarrow i\leftrightarrow k$）；
• 互通类：对任意状态$i$，定义$C(i)=\{k\in S;k\leftrightarrow i\}$为包含状态$i$的互通类。
  • 性质：$C(i)\cap C(j)\neq\varnothing\Longleftrightarrow C(i)=C(j)$。
• 状态一步转移图表示：状态用点表示；如果$p_{i,j}>0$，则用有向边$i\longrightarrow j$表示。
  • 由图可知，如果状态$i$与$j$连通（存在从$i$到$j$的路径），则$i$可达$j$；所有与$i$相互连通的状态构成包含$i$的互通类，记为$C(i)$。

  注：状态一步转移图中不会直接表示出$i\leftrightarrow i$（如果$p_{i,i}=0$），因此划$C(i)$时不要忘掉$i$本身。

• 本质状态：如果对任意满足$i\rightarrow j$的状态$j$，都有$j\rightarrow i$，那么就称$i$是本质的。
  • 如果状态$i$是本质的，则$C(i)$的所有状态都是本质的，此时称$C(i)$为本质类。
• 吸收状态：若$p_{i,i}=1$，则称$i$是吸收的。
  • 由此可知一定有$C(i)=\{i\}$，即吸收态一定是本质态。
  • 吸收态在状态一步转移图中从自己出发的路径只有指向自己的环。
• 不可约马氏链：若马氏链$X$的所有状态均互通（存在状态$i\in S$使$C(i)=S$），则称$X$不可约。
  • 不可约马氏链的所有状态都是本质状态，$S$一定是本质类。

周期性

• 周期的定义：设$i$为马氏链$X$的一个状态，如果存在正整数$m$使$p_{i,i}^{(m)}>0$，则称使$p_{i,i}^{(n)}>0$的所有正整数$n$的最大公因数为状态$i$的周期，记为$d_i$。
  • 若任意正整数$n$，$p_{i,i}^{(n)}=0$，则约定$i$的周期为$\infty$；若$i$的周期为$1$（$d_i=1$），则称$i$为非周期状态。
• 性质：
  • 同一互通类中状态周期均相同（$\forall j\in C(i),d_i=d_j$）；
  • 若状态$i$的周期为$d$，则存在正整数$N$使任意$n\geq N,p_{i,i}^{(nd)}>0$；
  • 若状态$i$的周期为$d$，且$p_{i,i}^{(m)}>0$，则存在$N\geq 0$使$\forall n\geq N,p_{i,i}^{(m+nd)}>0$；
  • 若状态$i$为非周期状态，则存在$N>0$使$\forall n\geq N,p_{i,i}^{(n)}>0$。
• 任意不可约且周期为$d$的马氏链的状态空间都可以分解为$d$个子类，其构成的马氏链都是非周期不可约的。【详见思考题集】

常返性

• 首回时定义：对任意状态$i\in S$，记$\tau_i=\inf\{n\geq 1;X_n=i\}$（约定$\inf\varnothing=\infty$）为$X$首次回到$i$的时刻，简称首回时。
  • 和随机游动的定义一样，首回时$\tau_i$也是停时：$\displaystyle\{\tau_i\leq n\}=\bigcup_{k=1}^n\{\tau_i=k\}=\bigcup_{k=1}^n\{X_k=i,X_i\neq i,1\leq i\leq k-1\}$
• 首回时的分布：定义概率 $$\begin{aligned} f_{i,j}^{(n)}&=P(\tau_j=n|X_0=i)=P(X_n= j,X_{n-1}\neq j,\cdots,X_1\neq j|X_0=i),\\ f_{i,j}&=P(\tau_j< \infty)=\sum_{n=1}^\infty f_{i,j}^{(n)} \end{aligned}$$
  • 不等式关系：$0\leq f_{i,j}^{(n)}\leq p_{i,j}^{(n)}\leq f_{i,j}\leq 1$
• 转移概率分解：
  1. 首回时分解 $$p_{i,j}^{(n)}=\sum_{k=1}^nf_{i,j}^{(k)}p_{j,j}^{(n-k)},\quad \forall i,j\in S,n\geq 1$$
  2. 末离时分解：定义从$i$出发，中间不经过$i$而在第$n$步到达$j$的概率$e_{i,j}^{(n)}=p_i(X_n=j,\tau_i\geq n)$（也被称为禁忌概率），则 $$p_{i,j}^{(n)}=\sum_{k=1}^np_{i,i}^{(n-k)}e_{i,j}^{(k)},\quad \forall i,j\in S,n\geq 1$$
• 常返定义：如果$f_{i,i}=1$（即从$i$出发后经过有限时间一定能回到$i$），则称状态$i$是常返的，否则称其是非常返的（或暂留的）。
• 性质：
  • 如果$i$常返且$i\rightarrow j$，则$f_{j,i}=1$；
  • 在一个互通类中，要么所有状态均常返（常返类），要么所有状态均为非常返（非常返类）；
  • 常返类一定是本质类，有限状态的本质类一定是常返类；
  • 状态$i$常返$\Longleftrightarrow \displaystyle\sum_{n=0}^\infty p_{i,i}^{(n)}=\infty$，状态$i$非常返$\Longleftrightarrow\displaystyle\sum_{n=0}^\infty p_{i,i}^{(n)}=\frac{1}{1-f_{i,i}}< \infty$（即$\displaystyle\lim_{n\to\infty}p_{i,i}^{(n)}=0$）。
• 平面上简单对称随机游动是常返的（在高维空间中则非常返）。
• 对$m \geq 1$，记 $$g_{i,i}(m) = P_i (\text{至少有} m \text{ 个 } n \geq 1 \text{ 使得 } X_n = i),$$ 再记$g_{i,i} = P_i(\{X_n = i\}, \text{i.o.})$，那么$g_{i,i}(m) = (f_{i,i})^m$。
  • 因此若$i$常返则$g_{i,i} = 1$；若$i$非常返则$g_{i,i} = 0$。

  若$i$常返，那么从$i$出发几乎必然可无穷次回访$i$；
  若$i$非常返（暂留）的，由$P_i(\{X_n = i\}, \text{i.o.}) = 0$可知，对几乎所有的$\omega$，都存在一个时刻$N(\omega)$使得对任意$n > N(\omega)$，$X_n(\omega) \neq i$，即在$N(\omega)$后$X$不再访问$i$。

首访概率与期望

1. 求$f_{i,j}^{(n)}$
   • 定义$\displaystyle F_{i,j}(u)=\sum_{n=1}^\infty f_{i,j}^{(n)}u^n$（$u\in[0,1]$），则$f_{i,j}=F_{i,j}(1)$
     • 当$f_{i,j}=1$时，$F_{i,j}(u)$就是$X_0=i$条件下$\tau_i$的概率母函数（$\{f_{i,j}^{(n)}\}$为条件分布列）；
     • $F_{i,j}(u)$的$n$阶导数在$u=0$处的值为$n!f_{i,j}^{(n)}$；
     • 若$i\nrightarrow j$，则$F_{i,j}(u)\equiv 0$。
   • 定理：对任意给定$j\in S$，$\{F_{i,j}(u);i\in S,u\in[0,1]\}$是线性方程组 $$z_i=\sum_{k\neq j}up_{i,k}z_k+up_{i,j}\quad i\in S$$ 的最小非负解。
     • 推论：对任意给定$j\in S$，$\{f_{i,j};i\in S\}$是线性方程组 $$z_i=\sum_{k\neq j}p_{i,k}z_k+p_{i,j}\quad i\in S$$ 的最小非负解。
2. 求平均访问时间$m_{i,j}$（只考虑$f_{i,j}=1$）
   • 定义：$\displaystyle m_{i,j}=\mathbb{E}_i(\tau_j)=\sum_{n=1}^\infty nf_{i,j}^{(n)}$表示从状态$i$出发首次到达状态$j$的平均时间（若$i$常返且$j=i$则表示平均回访时间）
   • 直接求解：$\displaystyle m_{i,j}=\left.\frac{d F_{i,j}(u)}{du}\right|_{u=1}$
   • 线性方程组求解：$\{m_{i,j},i\in S\}$是 $$z_i=\sum_{k\neq j}p_{i,k}z_k+f_{i,j}\quad i\in S$$ 的最小非负解。

• $f_{i,j}$与$m_{i,j}$不会受到$f_{j,j}$与$m_{j,j}$（即到达状态的回访分布）的影响，因此改变从$j$出发的状态转移概率不影响$f_{i,j}^{(n)}$和$m_{i,j}$的值。

随机游动的一般化

• 定义状态空间为$\Z$的马氏链$X$为随机游动，如果对任意状态$i\in\Z$，转移概率满足$\begin{cases}p_{i,i+1}=p_i\\p_{i,i}=r_i\\p_{i,i-1}=q_i\end{cases}$，其中$p_i+q_i+r_i=1$。
• 若状态空间为非负整数，则称$X$为带一个壁的随机游动。按$r_0$的取值作如下分类（$q_0$不存在）：
  • 若$r_0=1$，则称状态$0$为吸收壁；
  • 若$r_0=0$，则称状态$0$为反射壁；
  • 若$0< r_0< 1$，则称状态$0$为粘性壁。
• 若状态空间为$\{0,1,\cdots,N\}$，则称$X$为带两个壁的随机游动，其壁的性质由$r_0$和$r_N$决定（$q_0,p_N$不存在）。

正常返

• 定义：对于常返状态$i\in S$，若$m_{i,i}< +\infty$，称$i$是正常返的；若$m_{i,i}= +\infty$，则称$i$是零常返的。
• 正常返、零常返、非常返之间的区别：
  • $i$常返$\Longleftrightarrow X_0 = i$条件下$\tau_i$是正常随机变量，即$P_i(\tau_i < +\infty) = 1$。在此基础上：
    • $i$正常返$\Longleftrightarrow \tau_i$的数学期望有限。
    • $i$零常返$\Longleftrightarrow \tau_i$的数学期望无穷。
  • $i$非常返$\Longleftrightarrow X_0 = i$条件下$\tau_i$是广义随机变量，即$P_i(\tau_i = +\infty) > 0$。
• 用转移概率$p_{i,i}^{(n)}$判别（定理）：
  • 若对任意状态$i\in S$，$\displaystyle\lim_{n\to\infty}\frac{1}{n}\sum_{k=1}^np_{i,i}^{(k)}=\frac{1}{m_{i,i}}$，则$i$正常返；
  • 若对状态$i\in S$，$\displaystyle\lim_{n\to\infty}\frac{1}{n}\sum_{k=1}^np_{i,i}^{(k)}=0$，则$i$为零常返或非常返。
  补充

  1. 从级数增长的速度看，非常返表示$\displaystyle\sum_{k=1}^\infty p_{i,i}^{(k)}\rightarrow 0$，零常返表示$\displaystyle\sum_{k=1}^\infty p_{i,i}^{(k)}$的增长速率慢于线性增长，而正常返则表示$\displaystyle\sum_{k=1}^\infty p_{i,i}^{(k)}$增长与线性增长同阶。
     • 例：直线上简单对称随机游动的所有状态都是零常返的，其级数增长速率为$\sqrt{n}$。
  2. 证明这个定理时使用了以下引理：设$\{a_n; n \geq 0\}$为一个不全为$0$的非负数列且满足条件 $$\lim_{n \to \infty} \frac{a_n}{\displaystyle\sum_{k=0}^n a_k} = 0$$ 若$\{b_n; n \geq 0\}$为收敛数列，那么 $$\lim_{n \to \infty} \frac{\displaystyle\sum_{k=0}^n a_k b_{n-k}}{\displaystyle\sum_{k=0}^n a_k} = \lim_{n \to \infty} b_n.$$
  3. 推论（考虑$i$周期的情形）：$i$正常返$\Longleftrightarrow\displaystyle\varlimsup_{n\to\infty}\frac{1}{n}\sum_{k=1}^{n}p_{i,i}^{(k)}>0$。
• 若$i$正常返，$i\rightarrow j$，则$j$正常返且$j\in C(i)$。
  • 由此可将$C(i)$分为正常返类、零常返类和非常返类。其中，零常返类一定有无限个状态。
• 用转移概率$p_{i,j}^{(n)}$的极限判别：
  • 引理：对任意$i, j \in S$以及$u \in [0, 1]$, $$\lim_{n \to \infty} \frac{\sum_{k=1}^n p_{i,j}^{(k)} u^k}{\sum_{k=0}^n p_{j,j}^{(k)} u^k} = F_{i,j}(u),$$
  • 对任意$i, j \in S$，$\displaystyle\frac{1}{n} \sum_{k=1}^n p_{i,j}^{(k)}$极限存在，而且 $$\lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^n p_{i,j}^{(k)} = \begin{cases} \dfrac{f_{i,j}}{m_{j,j}}, & j \text{正常返}, \\ 0, & j \text{为其他状态}. \end{cases}$$
  • 对任意$i \in S$，
    • 若$j$是非周期正常返的，那么$\displaystyle\lim_{n \to \infty} p_{i,j}^{(n)} =\frac{f_{i,j}}{m_{j,j}}$；（若$X$不可约，则$\displaystyle\lim_{n \to \infty} p_{i,j}^{(n)} =\frac{1}{m_{j,j}}$）
    • 若$j$是零常返或非常返的，那么$\displaystyle\lim_{n \to \infty} p_{i,j}^{(n)} = 0$。
  • 推论： $$\sum_{n=1}^\infty p_{i,j}^{(n)} = \begin{cases} \dfrac{f_{i,j}}{(1 - f_{j,j})}, & f_{j,j} < 1; \\ 0, & f_{i,j} = 0 \text{ 且 } f_{j,j} = 1; \\ \infty, & f_{i,j} > 0 \text{ 且 } f_{j,j} = 1. \end{cases}$$

平稳分布

• 不变测度与平稳分布：称不恒为零的非负有限数列$\pi = (\pi_i, i \in S)$为马氏链的不变测度，若对任意$i \in S$ $$\pi_i = \sum_{k \in S} \pi_k p_{k,i}.$$ 当$\displaystyle\sum_{i \in S} \pi_i = 1$，即$(\pi_i, i \in S)$是概率分布时，称$\pi$是$X$的平稳分布。
  • 用矩阵表示：$\pi = \pi\mathbf{P}=\cdots=\pi\mathbf{P}^{(n)}$，这表明以平稳分布为初始分布的马氏链在任意一个时刻的分布都是一样的。
  • 以平稳分布为初始分布的马氏链也是严平稳过程，即$P(X_{n_1}=i_1,X_{n_2}=i_2,\cdots,X_{n_k}=i_k)=P(X_{n_1+h}=i_1,X_{n_2+h}=i_2,\cdots,X_{n_k+h}=i_k)$
• 求解平稳分布（有限状态）：使用线性方程组 $$\begin{cases} \mathbf{P}^\top\pi=\pi\\ \displaystyle\sum_{i \in S} \pi_i = 1 \end{cases}$$ （上面共$n+1$个方程，故在第一个方程组中取$n-1$个）
• 存在条件：马氏链$X$至少存在一个正常返的本质类。
  • 设$X$为不可约马氏链，则$X$存在平稳分布（$\pi_i, i \in S$）当且仅当$X$是正常返的。此时$X$的平稳分布唯一而且 $$\pi_i = \frac{1}{m_{i,i}} > 0, \quad i \in S.$$ 即$\pi_j>0\Longleftrightarrow j$正常返。
  • 推论：若$X$为不可约正常返马氏链，则对任意$i,j\in S$，有$\displaystyle\lim_{n\to\infty}\frac{1}{n}\sum_{k=0}^np_{i,j}^{(k)}=\pi_j$。进一步，若$X$还是非周期的，任意给定$X$的一个初始分布$\mu = (\mu_i, i \in S)$，有 $$\lim_{n\to\infty}P(X_n = j) = \pi_j,\quad \forall j \in S$$
• 记$\displaystyle N_n(j) = \sum_{k=1}^n 1_{\{X_k=j\}}$为过程$X$在时刻$n$之前（含$n$）到达状态$j$的次数， $$\mathbb{E}(N_n(j)) =\mathbb{E}\left(\sum_{k=1}^n 1_{\{X_k=j\}}\right) = \sum_{k=1}^n P(X_k = j)$$ 表示$X$在时刻$n$之前（含$n$）到达状态$j$平均次数，$\dfrac{\mathbb{E}(N_n(j))}{n}$则表示到达状态$j$的平均比率，则有 $$\frac{\mathbb{E}(N_n(j))}{n}\to\pi_j\quad n\to\infty.$$ 这表明平稳分布还刻画了马氏链在长时间内访问各状态的比率。

遍历性定理

核心：马氏链总体性质$\Longrightarrow$马氏链个体（一条轨道）性质。

• 强马氏性：设马氏链$X$首次回到$i$的时间$\tau_i < \infty$。令$Y_n = X_{\tau_i + n}$，即对任意$\omega$，$Y_n(\omega) = X_{\tau_i}(\omega) + n(\omega)$。那么$Y = \{Y_n; n \geq 0\}$是与$X$有相同转移概率矩阵的马氏链且与$(\tau_i, X_0, \cdots, X_{\tau_i})$相互独立。即$Y$的任意有限维分布都与$(\tau_i, X_0, \cdots, X_{\tau_i})$的分布独立。
• 遍历性定理：记不可约马氏链$X = \{X_n; n \geq 0\}$的平稳分布为$\pi = \{\pi_i; i \in S\}$。若$S$上函数$g$满足$\displaystyle\sum_{j \in S} |g(j)| \pi_j < \infty$，那么 $$\lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^n g(X_k) = \sum_{j \in S} g(j) \pi_j \coloneqq \mathbb{E}_\pi(g), \quad a.s.$$
  • 推论1：对任意$j \in S$, $$\lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^n 1_{\{X_k=j\}} = \pi_j, \quad a.s.$$
  • 推论2：若$g$为非负函数，那么 $$\lim_{n \to \infty} \frac{1}{n} \sum_{k=1}^n g(X_k) = \sum_{i \in S} g(i) \pi_i, \quad a.s.$$
• 注：
  1. 注意到不可约正常返马氏链平稳分布$\pi$中每个分量都是正数，推论1表明，任意观察不可约正常返马氏链的一条轨道都能以概率$1$保证能遍历状态空间$S$中的所有状态，而且每个状态出现的频率稳定到对应的平稳分布。
  2. 对不可约有限状态马氏链，遍历性定理总成立。
• 应用：过程统计、马氏奖励过程与决策优化（见书或自行查阅）

马尔科夫链应用模型

可逆马氏链

可逆分布

• 定义：设马氏链$X$的转移概率矩阵为$\mathbf{P}=(p_{i,j})_{i,j\in S}$，那么如果存在概率分布$\mu=\{\mu_i,i\in S\}$满足 $$\mu_ip_{i,j}=\mu_jp_{j,i}$$ 则称$X$可逆，$\mu$为$X$的可逆分布。【上述条件也称为细致平衡条件】
• 可逆分布一定是平稳分布：$\displaystyle\sum_{i\in S}\mu_ip_{i,j}=\sum_{i\in S}\mu_jp_{j,i}=\mu_j$
• 记$Y_n=X_{N-n}$，则$Y=\{Y_n,0\leq n\leq N\}$为$X$的“逆”时间过程，可证明其为初始分布$\mu$，转移概率矩阵与$X$相同的马氏链【互为版本】
• 对于不可约马氏链$X$，可逆$\Longleftrightarrow$正常返
• 可逆分布具有唯一性，其求解可由细致平衡条件得到。【故如果细致平衡条件有非零解则马氏链一定可逆】
• 若$X$为不可约可逆马氏链，则对任意$i,j\in S$，$p_{i,j}=0\Longleftrightarrow p_{j,i}=0$

分布近似

• 任取一个离散分布$\pi$，记其所有取值概率为正的点构成的集合为$S$，即$\pi = (\pi_i, i \in S)$，其中$\pi_i > 0$且$\displaystyle\sum_{i \in S} \pi_i = 1$。一定存在$S$上的可逆不可约马氏链$X$，使得$\pi$是$X$的平稳分布。
• 构造方法（也称为Hastings-Metropolis算法）：
  1. 取转移概率矩阵$\mathbf{Q}=(q_{i,j})_{i,j\in S}$，要求$q_{i,j}=0\Longleftrightarrow q_{j,i}=0$【比如取三斜线矩阵】
  2. 对任意$i,j\neq S$，令 $$\alpha_{i,j}=\min\left\{\frac{\pi_jq_{j,i}}{\pi_iq_{i,j}},1\right\}$$ 若$q_{i,j}=0$则$\alpha_{i,j}=1$。并令 $$p_{i,j} = q_{i,j}\alpha_{i,j}, \quad p_{i,i} = q_{i,i} + \sum_{j \neq i} q_{i,j}(1 - \alpha_{i,j}).$$
  3. 若由此得到的$\mathbf{P}$为马氏链$X$的转移概率矩阵，则$X$为不可约可逆马氏链，且$\pi$为$X$的平稳分布。上述$\mathbf{Q}$也称为预选矩阵。

隐马氏链

隐马氏链的结构：

$$\begin{array}{c c c c} X_0 & \longrightarrow & X_1 & \longrightarrow \cdots \\ \downarrow & & \downarrow & \\ Y_0 & & Y_1 & \end{array}$$

• 定义：设$X_n, Y_n, n \geq 0$是分别取值于集合$S$和$W$上的离散随机变量。对所有$n \geq 0$，令$Z_n = (X_n, Y_n)$。若存在随机矩阵$\mathbf{P} = (p_{i,j})_{i,j \in S}$和$\mathbf{Q} = (q_{k,l})_{k \in S, l \in W}$使得对任意$n \geq 0$， $$P(Z_{n+1} = (i_{n+1}, l_{n+1}) \mid Z_k = (i_k, l_k), 0 \leq k \leq n) = p_{i_n, i_{n+1}}q_{i_{n+1}, l_{n+1}}$$ 对任意$i_0, i_1, \dots, i_{n+1} \in S$，$l_0, l_1, \dots, l_{n+1} \in W$都成立，并且对任意$i \in S, l \in W$， $$P(Y_0 = l \mid X_0 = i) = q_{i,l}$$ 那么我们称二维随机过程$Z = \{Z_n, n \geq 0\}$为隐马尔科夫链，简称为隐马氏链。通常我们称$X$为状态序列，称$Y$为观测序列。由此可知：
  • $Z$为向量值时齐马氏链，转移概率为$p_{(i_n,l_n),(i_{n+1},l_{n+1})}=p_{i_n, i_{n+1}}q_{i_{n+1}, l_{n+1}}$。
  • $\{X_n,n\geq 0\}$也是马氏链，其转移概率矩阵为$\mathbf{P}$。
  • 在已知$\{X_n,n\geq 0\}$的条件下，$\{Y_n,n\geq 0\}$相互独立。【但$\{Y_n\}$不是马氏链】
• 有限维分布：若已知$X_0$的初始分布$\pi = (\pi_i, i \in S)$，那么对任意$n \geq 0$ 以及$i_0, i_1, \cdots, i_n \in S$，$l_0, l_1, \cdots, l_n \in W$， $$P(Z_k = (i_k, l_k), 0 \leq k \leq n) = \pi_{i_0} q_{i_0, l_0} \prod_{k=1}^n p_{i_{k-1}, i_k} q_{i_k, l_k}.$$ 这表明初始分布$\pi$以及随机矩阵$\mathbf{P},\mathbf{Q}$完全确定了$Z$的统计特征。通常称$(\pi,\mathbf{P},\mathbf{Q})$为隐马尔科夫链$Z$的参数组或三要素，称$\pi$为初始分布，$\mathbf{P}$为转移概率矩阵，$\mathbf{Q}$为观测概率矩阵。

应用一：评估问题

1. 计算$P(Y_k=l_k,0\leq k\leq n)$
   • 求解：给定$l_0,l_1,\cdots,l_n\in W$，对任意$m\in[0,n]$，定义 $$\begin{aligned} F_m(i)&=P(X_m=i,Y_k=l_k,0\leq k\leq m)\\ B_m(i)&=P(Y_k=l_k,m+1\leq k\leq n|X_m=i) \end{aligned}$$ 那么有 $$\begin{aligned} F_0(i)&=\pi_iq_{i,l_0}\\ F_m(i)&=q_{i,l_m}\sum_{i_{m-1}\in S}p_{i_{m-1},i}F_{m-1}(i_{m-1}),m\geq 1\\ B_n(i)&\equiv 1\\ B_m(i)&=\sum_{i_{m+1}\in S}p_{i,i_{m+1}}q_{i_{m+1},l_{m+1}}B_{m+1}(i_{m+1}),m<n \end{aligned}$$ 于是 $$\begin{aligned} P(Y_k=l_k,0\leq k\leq n)&=\sum_{i\in S}F_n(i)=\sum_{i\in S}\pi_iq_{i,l_0}B_0(i)\\ &=\sum_{i\in S}F_m(i)B_m(i),\forall 0\leq m\leq n \end{aligned}$$
2. 给定观察序列值的条件下，反推状态&预测新序列值
   • 反推状态： $$P(X_m=i|Y_k=l_k,0\leq k\leq n)=\frac{F_m(i)B_m(i)}{\sum_{i\in S}F_m(i)B_m(i)}$$
   • 预测新序列值： $$P(Y_{n+1}=l|Y_k=l_k,0\leq k\leq n)= \sum_{i \in S} \frac{q_{i, l}^{(2)} F_n(i)}{\sum_{i \in S} F_n(i)}$$ 其中$q_{i, l}^{(2)} = p_{i, i_{n+1}} q_{i_{n+1}, l} = P(Y_1 = l | X_0 = i)$。

应用二：学习问题

• 目标：基于观测序列$\{Y_n\}$估计参数$(\pi,\mathbf{P},\mathbf{Q})$的合适取值。
• 解法：鲍姆-韦尔奇（Baum-Welch）算法，属于EM算法【具体略，见书，maybe之后的机器学习方法笔记里会讨论】

分支过程

• 定义：设$\{Y_{n,k}; n \geq 1, k \geq 1\}$为一族独立同分布的非负整数值的随机变量，$X_0$是给定的非负整数值随机变量且与$\{Y_{n,k}; n \geq 1, k \geq 1\}$独立。对任意$n \geq 0$，递归地定义随机变量$X_{n+1}$如下： $$X_{n+1} = \sum_{k=1}^{X_n} Y_{n+1,k}$$ 其中约定$\displaystyle\sum_{k=1}^0 \cdot = 0$。称随机过程$X = \{X_n; n \geq 0\}$为Galton-Watson分支过程，简记为G-W过程。
• 条件期望与方差：对任意$n \geq 0$， $$\begin{aligned} \mathbb{E}(X_{n+1} \mid X_n) &= X_n \mathbb{E}(Y_{1,1}),\\ \mathrm{Var}(X_{n+1} \mid X_n) &= \mathbb{E} \left[ \left.\left( \sum_{i=1}^{X_n} (Y_{n,k} - \mathbb{E}(Y_{n,k})) \right)^2 \right| X_n \right]= X_n \text{Var}(Y_{1,1}),\\ \mathbb{E}(X_{n+1}^2 \mid X_n) &= (X_n \mathbb{E}(Y_{1,1}))^2 + X_n \text{Var}(Y_{1,1}). \end{aligned}$$
• 设$Y_{n,k} \sim \eta$，即对任意$n\geq 0,\eta_i =P(Y_{n,k} = i)$，则称$\eta$为后代分布。
  • 记$\displaystyle\eta(s) = \sum_{i=0}^{\infty} s^i \eta_i = \mathbb{E}(s^{Y_{n,k}})$为$\eta$的概率母函数；
  • 分别以$m$和$\sigma^2$表示每个粒子分支出后代的均值和方差，则 $$\begin{aligned} m &= \mathbb{E}(Y_{n,k}) = \sum_{i=1}^{\infty} i \eta_i = \eta'(1),\\ \sigma^2 &= \text{Var}(Y_{n,k}) = \eta''(1) + \eta'(1)(1 - \eta'(1)). \end{aligned}$$
• 均值函数：$\mathbb{E}(X_n)=m^n\mathbb{E}(X_0)$
• 方差函数：$\mathrm{Var}(X_n)=m^{2n}\mathrm{Var}(X_0)+\sigma^2(m^{n-1}+\cdots+m^{2n-2})\mathbb{E}(X_0)$
• 协方差函数：$\mathrm{Cov}(X_i,X_j)=m^{|i-j|}\mathrm{Var}(X_{\min\{i,j\}})$
• G-W过程是一个时齐马氏链，且转移概率$\displaystyle p_{i,j}=P\left(\sum_{k=1}^i Y_{1,k}=j\right)$。

状态分类

设$\eta_i=P(Y_{n,k}=i)$：

• $0$为吸收态，即若某代粒子数为$0$，那么此后每一代的粒子数都为零；
• 若$\eta_1=1$，则每个状态$i>0$都是吸收状态【即$X_n$恒定不变】；为避免平凡，总设$\eta_1< 1$。
• 任意状态$i>0$都是非本质非常返的：
  • 若$\eta_0=0$，则对每个状态$i>0$，都存在$j>i$使得$i\rightarrow j$但$j\nrightarrow i$，因此$i$是非本质的，从而是非常返的；
  • 若$\eta_0>0$，则对每个状态$i>0$，$i\rightarrow 0$但$0\nrightarrow i$，此时$i$也是非本质且非常返的。
• 由马氏链性质可知随着$n\to\infty$，$X_n$要么稳定为$0$要么逐渐变成无穷大。

灭绝概率

• 记$\displaystyle A=\bigcup_{n=1}^\infty\{X_n=0\}$为灭绝事件，$q=p_1(A)$为初值为$1$的灭绝概率：
  • 参照之前首访时与首访概率的概念，称$\tau_0=\inf\{n\geq 1,X_n=0\}$为灭绝时间，则 $$A=\{\tau_0< \infty\},q=P_1(\tau_0< \infty)=f_{1,0}=\lim_{n\to\infty}p_{1,0}^{(n)}$$
  • 若初始时刻有$k$个个体，则因为每个个体的繁殖与消亡相互独立，故 $$P_k(\tau_0< \infty)=q^k,\quad p_{k,0}^{(n)}=P_k(X_n=0)=(p_{1,0}^{(n)})^k.$$
• 由之前的首访概率的线性方程组解法可知，$q$是$s=\eta(s)$的最小非负解。
• 若$X_0=1$，则：
  • $m=\eta'(1)\leq 1$时，$X_n$必然消亡，即$q=1$；
  • $m>1$时，$X_n$的消亡概率$q< 1$，其中$q$是$s=\eta(s)$的最小非负解。

灭绝时间

• 若分支过程的初值$X_0=1$，后代分布均值$m< 1$，则平均灭绝时间有限，即$\mathbb{E}_1(\tau_0)\leq\dfrac{1}{1-m}< \infty$。
• 分别称后代分布均值$m< 1$，$m=1$和$m>1$的分支过程为下临界，临界和上临界分支过程。

存活粒子平均数

• 即求$\displaystyle \mathbb{E}_1\left(\left.\sum_{k=0}^\infty X_k\right|A\right)$，推导如下： $$\begin{aligned} \mathbb{E}_1\left(\left.\sum_{k=0}^\infty X_k\right|A\right)&=\frac{\displaystyle \mathbb{E}_1\left(\sum_{k=0}^\infty X_k\cdot\mathbf{1}_{A}\right)}{P(A)}\\ &=\frac{1}{P(A)}\sum_{k=0}^\infty \mathbb{E}_1(X_k\cdot\mathbf{1}_{\{k\leq\tau_0< \infty\}})\\ &=\frac{1}{P(A)}\sum_{k=0}^\infty \mathbb{E}_1\left(X_k\cdot[P_1(\tau_0<\infty)]^{X_k}\right)\\ &=\begin{cases} \displaystyle\sum_{k=0}^\infty \mathbb{E}_1(X_k)=\sum_{k=0}^\infty m^k=\frac{1}{1-m},&m<1\\[10pt] \infty,&m=1\\[5pt] \displaystyle\frac{1}{q}\sum_{k=0}^\infty \mathbb{E}_1(X_kq^{X_k})=\frac{1}{1-\eta'(q)},&m>1 \end{cases} \end{aligned}$$
• 结论：设分支过程初值$X_0 = 1$：
  • 若后代分布均值$m < 1$，那么存活过的粒子平均数为$\dfrac{1}{1 - m}$；
  • 若$m = 1$，那么存活过的粒子总数为无穷；
  • 如果$m > 1$，那么在灭绝条件下存活过的粒子平均数为$\dfrac{1}{1 - \eta'(q)}$，其中$q$为灭绝概率。

布朗运动

高斯过程

• 回顾：多元正态分布（见上）
  • 多元正态分布的特征函数：$\phi(t_1,\cdots,t_n)=\exp\left\{it^\top\mu-\dfrac{t^\top \mathbf{D}t}{2}\right\}$
• 多元正态分布的边际分布仍然为正态分布

证明

• 设$(X_1,\dots,X_n)\sim N(\mu,\mathbf{D})$，将前$m$个分量记为$X_{(1)}$，后$n-m$个分量记为$X_{(2)}$。对应分块： $$\mu = \begin{pmatrix}\mu_1 \\ \mu_2\end{pmatrix},\qquad \mathbf{D} = \begin{pmatrix} A & B \\ B^{\top} & C \end{pmatrix},$$ 其中$A = \operatorname{Cov}(X_{(1)})$ 为$m\times m$正定矩阵，$C = \operatorname{Cov}(X_{(2)})$ 为$(n-m)\times (n-m)$正定矩阵，$B = \operatorname{Cov}(X_{(1)},X_{(2)})$为$m\times (n-m)$矩阵。
• $\mathbf{D}^{-1}$ 写为相同分块： $$\mathbf{D}^{-1} = \begin{pmatrix} G & H \\ H^{\top} & K \end{pmatrix}.$$ 利用分块矩阵求逆公式（$C$可逆）： $$\begin{aligned} G &= (A - B C^{-1} B^{\top})^{-1}, \\ H &= -G B C^{-1}, \\ K &= C^{-1} + C^{-1} B^{\top} G B C^{-1}. \end{aligned}$$
• 联合密度为 $$f(x_1,x_2) = (2\pi)^{-n/2} |\mathbf{D}|^{-1/2} \exp\left(-\frac{1}{2} (x-\mu)^{\top} \mathbf{D}^{-1} (x-\mu)\right).$$ 记$y_1=x_1-\mu_1,y_2=x_2-\mu_2,Q\coloneqq -\dfrac{1}{2} (x-\mu)^{\top} \mathbf{D}^{-1} (x-\mu)$，则 $$Q = y_2^\top C^{-1} y_2 + (y_1 - BC^{-1} y_2)^\top G (y_1 - BC^{-1} y_2).$$
• 那么 $$f(x_1,x_2) = \underbrace{(2\pi)^{-(n-m)/2} |C|^{-1/2} \exp\left(-\frac12 y_2^\top C^{-1} y_2\right)}_{= f_{X_2}(x_2)} \cdot \underbrace{(2\pi)^{-m/2} |G|^{1/2} \exp\left(-\frac12 (y_1 - B C^{-1} y_2)^\top G (y_1 - B C^{-1} y_2)\right)}_{= f_{X_1|X_2}(x_1|x_2)}.$$ 显然，$f_{X_2}(x_2)$是$N(\mu_2, C)$的密度，$f_{X_1|X_2}(x_1|x_2)$是$N(\mu_1 + B C^{-1}(x_2 - \mu_2),\, G^{-1})$的密度。
• 边际密度函数为 $$f_{X_1}(x_1) = \int_{\mathbb{R}^{n-m}} f_{X_2}(x_2) \, f_{X_1|X_2}(x_1|x_2) \,\mathrm{d}x_2.$$ 已知$X_2 \sim N(\mu_2, C)$，且$X_1|X_2$的条件分布为正态，其均值是$X_2$的线性函数，协方差与$X_2$无关。根据多元正态分布的性质，无条件分布$X_1$仍为正态，且 $$\begin{aligned} \mathbb{E}[X_1] &= \mathbb{E}\bigl[\mathbb{E}[X_1|X_2]\bigr] = \mathbb{E}\bigl[\mu_1 + B C^{-1}(X_2 - \mu_2)\bigr] = \mu_1,\\ \operatorname{Cov}(X_1) &= \operatorname{Var}\bigl(\mathbb{E}[X_1|X_2]\bigr) + \mathbb{E}\bigl[\operatorname{Var}(X_1|X_2)\bigr] \\ &= B C^{-1} \operatorname{Var}(X_2) (B C^{-1})^\top + G^{-1} \\ &= B C^{-1} C C^{-1} B^\top + G^{-1} \\ &= B C^{-1} B^\top + (A - B C^{-1} B^\top) = A. \end{aligned}$$ 因此$X_1 \sim N(\mu_1, A)$，即前$m$个分量服从$m$元正态分布。

• 多元正态分布的条件分布：设$X = (X_1, \cdots, X_m, X_{m+1}, \cdots, X_n)$服从$n$元正态分布$N(\nu, \mathbf{D})$，其中$\nu \in \mathbb{R}^n$，$\mathbf{D}$为$n$阶正定矩阵。那么在给定 $$(X_{m+1}, \cdots, X_n) = \hat{y}^\top = (\hat{y}_{m+1}, \cdots, \hat{y}_n)$$ 条件下，$(X_1, \cdots, X_m)$服从$m$维正态分布。事实上，记 $$\nu = \begin{pmatrix} \mu \\ \nu \end{pmatrix}, \quad \mathbf{D} = \begin{pmatrix} A & B \\ B^\top & C \end{pmatrix},$$ 其中$\mu \in \mathbb{R}^m,\nu \in \mathbb{R}^{n-m}$，$A, C$分别为$m$和$n-m$阶正定矩阵，那么 $$(X_1, \cdots, X_m) \sim N(\mu + BC^{-1}(\hat{y} - \nu),A - BC^{-1}B^\top).$$
• 高斯过程定义：设$X = \{X(t); t \in T\}$是概率空间$(\Omega, \mathcal{F}, P)$上的随机过程。若对任意的$t_1, \cdots, t_n \in T$, $$(X(t_1), X(t_2), \cdots, X(t_n))$$ 服从正态分布（包括退化情形），即存在$\mu = \{\mu_1, \cdots, \mu_n\}^\top$以及$n$阶半正定或正定矩阵$\mathbf{D}$使得对任意$\lambda = (\lambda_1, \cdots, \lambda_n)^\top \in \mathbb{R}^n$, $$\mathbb{E}(e^{i \sum_{k=1}^n \lambda_k X(t_k)}) = \exp \left\{ i \lambda^\top \mu - \frac{1}{2} \lambda^\top \mathbf{D} \lambda \right\},$$ 则称$X$为高斯过程（或高斯系）。
  • 退化情形包括常数过程（方差为零）或具有线性依赖关系的过程。
  • 在“同版本”意义下，高斯过程由均值函数和协方差函数唯一确定。
• 设$\{X(t)\}$是高斯过程，则对任意$s_k < t_k, k = 1, 2, \cdots, n$，$(X(t_k) - X(s_k), k = 1, 2, \cdots, n)$服从$n$维正态或退化分布。
• 设$\{X(t); t \in T\}$是高斯过程，对任意$k, l = 1, 2, \cdots, t_l^k \in T$，若对任何固定的$k$，当$l \to \infty$时$X(t_l^k)\stackrel{p}{\longrightarrow}Y_k$，那么 $$\{X(t); t \in T\} \cup \{Y_k; k = 1, 2, \cdots, m\}$$ 仍是高斯系，而且$\displaystyle\text{Cov}(Y_k, Y_n) = \lim_{l \to \infty} \text{Cov}(X(t_l^k), X(t_l^n))$。

标准布朗运动

• 定义：记$I=[0,+\infty)$或$[0,M],M\in\R^+$，称$B = \{B(t); t \in I\}$为标准布朗运动（或Wiener过程），如果$B$满足：
  1. 独立增量性：$B(0)=0$，且对任意$0 \leq t_1 < t_2 < \cdots < t_n\in I,n\geq 2$，增量$B(t_2) - B(t_1), B(t_3) - B(t_2), \cdots, B(t_n) - B(t_{n-1})$相互独立；
  2. 正态性：即对任意$0\leq s< t\in I$，增量$B(t) - B(s)\sim N(0,(t-s)\sigma^2)$；（$\sigma^2$也称为方差参数）
  3. 轨道连续性：$B$具有连续轨道，即对任意$\omega$，$B(t,\omega)$作为$t$的函数是连续的。

  由定义可知$B$为平稳独立增量过程。

• 若$\sigma^2=1$，则称$B$为标准布朗运动。
  • 若$B$为方差参数$\sigma^2$的布朗运动，则$\dfrac{B}{\sigma}$为标准布朗运动。
• 若$B_x(t)= x+ B(t)$，称$B_x = \{B_x(t);t\geq 0\}$为从$x$出发的布朗运动。
• 性质：
  1. 方差参数为$\sigma^2$的布朗运动$B$的均值函数$m(t)\equiv 0$，方差函数$\text{Var}(B(t))=\sigma^2 t$，协方差函数$R(s,t)=\mathbb{E}(B(s)B(t))=\min\{s,t\}\sigma^2$。
  2. 对任意$0 \leq t_1 < t_2 < \cdots < t_n$，$(B(t_1), B(t_2), \cdots, B(t_n))$服从均值向量为$\mathbf{0}$，协方差矩阵为$\mathbf{D} = (t_i \wedge t_j)_{i,j=1,\cdots,n}$的$n$维正态分布，其联合密度函数为 $$\rho(x_1, \cdots, x_n; t_1, \cdots, t_n) = \phi(x_1, t_1) \prod_{i=2}^n \phi(x_i - x_{i-1}, t_i - t_{i-1}),$$ 其中$\phi(x, t) =\dfrac{1}{\sqrt{2\pi t}}e^{-\frac{x^2}{2t}}$为$N(0, t)$的密度函数。
  3. $X=\{X(t);t\geq 0\}$是标准布朗运动$\Longleftrightarrow X$是轨道连续的高斯过程而且对任意$0\leq s\leq t$都有$\mathbb{E}(X(s)) = 0$且$\mathbb{E}(X(s)X(t))= s$。
• 设$B = \{B(t); t \geq 0\}$为标准布朗运动，那么下述过程也是标准布朗运动：
  1. $\{ -B(t); t \geq 0\}$；
  2. $\{ B(t + s) - B(s); t \geq 0\}$，其中$s$ 为任意给定非负数；
  3. $\{ cB(t/c^2); t \geq 0\}$，其中$c$ 为任意给定正数；
  4. $\{ B(u) - B(u - t); 0 \leq t \leq u\}$，其中$u$为给定正数；
  5. $\{ tB(1/t); t \geq 0\}$。
• 马氏性：任取$0 \leq t_1 < \cdots < t_n < t,\,x_1, \cdots, x_n, x, y \in \mathbb{R}$, $$P(B(t + u) \leq y \mid B(t) = x, B(t_n) = x_n, \cdots, B(t_1) = x_1) = P(B(t + u) \leq y \mid B(t) = x),$$ 其中$u > 0$。进而对任意随机变量$f(B(t + u))$， $$\mathbb{E}(f(B(t + u)) \mid B(t), B(t_n), \cdots, B(t_1)) = \mathbb{E}(f(B(t + u)) \mid B(t)).$$

  布朗运动也是“时齐”马氏过程。

条件分布

• 对任意$s \leq t_1 < t_2 < \cdots < t_n \leq t$，设$B(s) = x,B(t) = y$，那么$(B(t_1), \cdots, B(t_n))$服从均值向量为 $$\left( x + \frac{y - x}{t - s} (t_i - s) \right)_{1 \leq i \leq n},$$ 协方差矩阵为 $$\mathbf{D} = \left( \frac{(t - t_{i \lor j})(t_{i \land j} - s)}{t - s} \right)_{i,j=1,\cdots,n}$$ 的$n$维正态分布。

轨道性质

• 标准布朗运动$B=\{B(t);t\geq 0\}$一定存在，可通过简单对称随机运动逼近构造。
• 布朗运动$B$的几乎所有轨道连续但处处不可微。

极值分布

• 首达时：对任意$a \in \mathbb{R}$，定义 $$\begin{aligned} \tau_a &\coloneqq \begin{cases} \inf\{t \geq 0; B(t) \geq a\}, & a \geq 0; \\ \inf\{t \geq 0; B(t) \leq a\}, & a < 0; \end{cases}\\ &= \inf\{t \geq 0; B(t) = a\}. \end{aligned}$$ 为$B$首次到达状态$a$的时刻，简称为$a$的首达（中）时。
  • 由定义和布朗运动的轨道连续性可知，$\tau_a$是一个（广义）随机变量，且$\tau_a$是$B$的停时。
• 反射原理：对任意$a\in\R,x\geq 0$， $$P(B(t)< a-x,\tau_a\leq t)=P(B(t)\geq a+x,\tau_a\leq t).$$ 推论：对任意$a\in\R$，$P(B(t)\geq a|\tau_a\leq t)=\dfrac{1}{2}$。
• 记$\displaystyle B^*(t) = \max_{0 \leq u \leq t} B(u)$，则对任意$z\geq 0$，有$\{B^*(t)\geq z\}=\{\tau_z\leq t\}$。
• 极（大）值分布：对任意$z \geq 0$,$x \leq z$， $$P(B^*(t) \geq z, B(t) < x) = P(B(t) > 2z - x) = \int_{2z-x}^\infty \phi(y, t)\mathrm{d}y.$$ 因此$(B^*(t), B(t))$的联合密度函数为 $$h(z, x) = -2\phi'(2z - x, t) = \frac{2(2z - x)}{\sqrt{2\pi t^3}} e^{-\frac{(2z - x)^2}{2t}}, \quad x \leq z, \; z \geq 0.$$
  • 推论1：对任意$z\geq 0$，$P(B^*(t)\geq z)=2P(B(t)\geq z)=P(|B(t)|\geq z)$，即$B^*(t)$与$|B(t)|$同分布，密度函数均为 $$g(z)=\frac{2}{\sqrt{2\pi t}}e^{-\frac{z^2}{2t}}.$$
  • 推论2：对任意$z\geq 0$，$\tau_z$的概率密度函数为 $$p(t)=\frac{z}{\sqrt{2\pi t^3}}e^{-\frac{z^2}{2t}}.$$ 因此$P(\tau_z< \infty)=1,\mathbb{E}(\tau_z)=\infty$。（“零常返性”）

可利用$\displaystyle\min_{0\leq s\leq t}B(s)=-\max_{0\leq s\leq t}[-B(s)]$得到极小值分布。

几何布朗运动

• 若$B = \{B(t), t \geq 0\}$为标准布朗运动，$\mu$和$\sigma$是两任意给定的常数。对任意$t \geq 0$，令$Y(t) = \sigma B(t) + \mu t$，称随机过程$Y = \{Y(t), t \geq 0\}$为满足漂移系数为$\mu$和方差参数为$\sigma^2$的布朗运动，简称为带漂移的布朗运动。
• 显然，对漂移系数为$\mu$和方差参数为$\sigma^2$的布朗运动而言：
  1. $Y(0) = 0$;
  2. $\{Y(t), t \geq 0\}$有平稳独立增量；
  3. $Y(t)\sim N(\mu t, \sigma^2 t)$；
  4. 马尔科夫性仍然成立。
• 若$Y = \{Y(t), t \geq 0\}$为带漂移的布朗运动，那么称由$X(t) = e^{Y(t)}$定义的随机过程$X = \{X(t), t \geq 0\}$为几何布朗运动（也称为指数布朗运动）。
  • 几何布朗运动过程是非负的。其广泛用于风险资产价格建模。（如期权定价理论中的 Black-Scholes 公式）
  • 性质：假定$Y$的漂移系数为$\mu$，方差参数为$\sigma^2$，则 $$\begin{aligned} \mathbb{E}(X(t)) &= \mathbb{E}(e^{Y(t)}) = e^{\mu t + \frac{\sigma^2}{2} t},\\ R(s,t) &= e^{(t+s)\mu+(t+3s)\frac{\sigma^2}{2}}. \end{aligned}$$

积分布朗运动

• 称随机过程$\displaystyle\left\{ \int_a^t B(u)\mathrm{d}u; t \geq a \right\}$为积分布朗运动。由积分定义可知 $$\int_a^t B(u)\mathrm{d}u = \lim_{\delta \to 0} \sum_{\substack{i=1\\\delta=\max\{t_i-t_{i-1}\}}}^{n} B(t_i)(t_i - t_{i-1}).$$ 可以证明积分布朗运动是高斯过程。
• 当$B$是标准布朗运动时，积分布朗运动$\displaystyle\left\{\int_0^t B(u)\mathrm{d}u\right\}$是均值为$0$，协方差（函数）为 $$R(s, t) = \int_0^s \int_0^t (u \land v) \mathrm{d}u \mathrm{d}v= \frac{s^3}{3} + \frac{(t-s)s^2}{2} = s^2 \left( \frac{t}{2} - \frac{s}{6} \right), \quad s \leq t,$$ 的高斯过程，而且$\displaystyle\int_0^t B(u) \mathrm{d}u \sim N\left(0, \frac{t^3}{3}\right)$。
• 简单拓展：设$f(t)$是具有连续一阶导数的非随机函数，对任意$0 \leq a \leq b$，
  • 定义黎曼积分 $$\begin{aligned} \int_a^b B(u)\mathrm{d}f(u) &= \lim_{\delta \to 0} \sum_{i=1, \delta = \max\{t_i - t_{i-1}\}}^n B(t_i)(f(t_i) - f(t_{i-1}))\\ &= \lim_{\delta \to 0} \sum_{i=1, \delta = \max\{t_i - t_{i-1}\}}^n B(t_i) f'(t_i)(t_i - t_{i-1}). \end{aligned}$$
  • 定义随机积分 $$\int_a^b f(s)\mathrm{d}B(s) = \lim_{\delta \to 0} \sum_{i=1, \delta = \max\{t_i - t_{i-1}\}}^n f(t_{i-1})[B(t_i) - B(t_{i-1})].$$
  • 二者关系：$\displaystyle\int_a^b f(s)\mathrm{d}B(s) = f(b)B(b) - f(a)B(a) - \int_a^b B(s)\mathrm{d}f(s)$（随机积分的分部积分公式）
  • $\displaystyle\left\{\int_a^t B(u)\mathrm{d}f(u); \ t \geq a\right\}$和$\displaystyle\left\{\int_a^t f(u)\mathrm{d}B(u); \ t \geq a\right\}$均为高斯过程。
  • 性质： $$\begin{aligned} \mathbb{E}\left( \int_a^t B(u) \mathrm{d}f(u) \right) &= \int_a^t \mathbb{E}(B(u)) \mathrm{d}f(u) = 0,\\ \mathbb{E}\left( \int_a^t B(u) \mathrm{d}f(u) \int_a^s B(v) \mathrm{d}g(v) \right)&=\int_a^s \int_a^t (u \land v) \mathrm{d}f(u) \mathrm{d}g(v),\\ \mathbb{E}\left( \int_a^t f(u) \mathrm{d}B(u) \int_a^s g(v) \mathrm{d}B(v) \right)&= \int_a^{t \land s} f(u)g(u) \mathrm{d}u. \end{aligned}$$

离散时间鞅

• 定义：设$X=\{X_n;n\geq 0\}$和$Y=\{Y_n;n\geq 0\}$为两个随机过程（也称$Y$为参考/信息过程）。若对任意$n\geq 0$，有

  • $\mathbb{E}(|X_n|)< \infty$（可积性）；
  • $X_n$为$Y_0,\cdots,Y_n$的函数（适应性）；
  • $\mathbb{E}(X_{n+1}|Y_0,\cdots,Y_n)=X_n$。

  则称$X$关于$Y$是鞅。若上述第三个条件中等号改为$\leq$（$\geq$）,则称$X$关于$Y$是上（下）鞅。【上减下增】

  • 若$Y=X$（或不强调$Y$），简称$\{X_n;n\geq 0\}$为（上/下）鞅。
  • 若$X$关于$Y$是鞅，则上述第三个条件蕴含第二个条件。
  • 若$X$关于$Y$是上（下）鞅，则$-X$关于$Y$是下（上）鞅；$X$关于$Y$是鞅$\Longleftrightarrow X$关于$Y$既是上鞅又是下鞅。
  • 若$X$关于$Y$是上（下）鞅，则$\mathbb{E}(X_n)$单调不增（不减）。

• 若$X$关于$Y$是鞅，记$D_n=X_n-X_{n-1}$（$n\geq 1$），则称$D=\{D_n;n\geq 1\}$为关于$Y$的鞅差序列。

  • $D_n$为$Y_0,\cdots,Y_n$的函数，且$\mathbb{E}(D_n|Y_0,\cdots,Y_n)=0$。

鞅的构造

1. 从任意随机变量构造鞅
   对于任意随机变量$X$，构造$Y_n=\mathbb{E}(X|X_1,\cdots,X_n)$，则$Y=\{Y_n;n\geq 0\}$为$\{X_n;n\geq 0\}$的鞅。
2. 从任意随机变量序列构造鞅
   对任意随机变量序列$\{X_n;n\geq 0\}$，构造$\displaystyle S_n=\sum_{k=1}^n(X_{k}-\mathbb{E}(X_{k}|X_0,\cdots,X_{k-1}))$，则$\{S_n;n\geq 1\}$是$\{X_n;n\geq 0\}$的鞅。
3. 随机游动
   设$S=\{S_n;n\geq 0\}$表示$(q,p)$-简单随机游动，则
   • $\{S_n-n(p-q);n\geq 0\}$关于$S$是鞅；
   • $\displaystyle\left\{\left(\frac{q}{p}\right)^{S_n},n\geq 0\right\}$关于$S$是鞅；
   • 当$p=q=\dfrac{1}{2}$，则$\{S_n^2-n;n\geq 0\}$和$\displaystyle\left\{\left(\frac{2u}{1-u}\right)^nu^{S_n},n\geq 0\right\}$关于$S$是鞅。
4. 分支过程
   设$X=\{X_n;n\geq 0\}$为G-W分支过程，$m$为粒子平均后代数，那么$\{m^{-n}X_n;n\geq 0\}$关于$X$是鞅。
5. 泊松过程
   设$N=\{N(t);t\geq 0\}$为强度$\lambda$的泊松过程，则$\{N(n)-\lambda n;n\geq 0\}$关于$N$是鞅。
6. 马氏链
   设$X=\{X_n;n\geq 0\}$为时齐马氏链，$f$为一有界函数。记$g(x)=f(x)-\mathbb{E}(f(X_1)|X_0=x)$，则$\displaystyle\left\{f(X_n)+\sum_{k=0}^{n-1}g(X_k)\right\}$关于$X$是鞅。
7. 布朗运动
   设$B=\{B(t);t\geq 0\}$为方差参数$\sigma^2$的布朗运动，则$\{B(n);n\geq 0\},\{B(n)^2-n\sigma^2\},\left\{\exp\left\{\lambda B(n)-\dfrac{n\sigma^2\lambda^2}{2}\right\}\right\}$均关于$B$是鞅。

鞅的简单性质

• 鞅差序列构造：$D_n=Y_n-\mathbb{E}(Y_n|Y_0,\cdots,Y_{n-1})$，则$\{D_n;n\geq 1\}$是关于$Y$的鞅差序列。
  • 性质：对任意$n,m$（$n\neq m$），$\mathbb{E}(D_n)=0,\text{Cov}(D_n,D_m)=0$（即鞅差序列是独立随机变量序列）
  • 记$\displaystyle S_n=\sum_{k=1}^n D_k$，则$S=\{S_n;n\geq 1\}$为均值$0$的鞅，且若$D_k$平方可积，则$\displaystyle\mathrm{Var}(S_n)=\sum_{k=1}^n\mathbb{E}(D_k^2)$。
• 上（下）鞅性质：若$X=\{X_n;n\geq 0\}$和$Y=\{Y_n;n\geq 0\}$关于$Z=\{Z_n;n\geq 0\}$均为上（下）鞅，则：
  • 对任意$\alpha,\beta\geq 0$，$\{\alpha X_n+\beta Y_n;n\geq 0\}$为上（下）鞅；
  • $\{X_n\land Y_n;n\geq 0\}$为上鞅（$\{X_n\lor Y_n;n\geq 0\}$为下鞅）。
• 若$X=\{X_n;n\geq 0\}$关于$Y=\{Y_n;n\geq 0\}$是下鞅，则存在关于$Y$的鞅$\{M_n;n\geq 0\}$使$X_n=M_n+N_n$，其中$N_n$为单调不降的随机序列（$N_0=0$）
• （Jenson不等式拓展）若$X=\{X_n;n\geq 0\}$是下鞅，$\Psi(x)$为$\R$上单调不降的凸函数，且任意$n$，$\mathbb{E}(|\Psi(X_n))|)$有限，则$\{\Psi(X_n);n\geq 0\}$为下鞅。

停时定理

• 若$\mathbf{1}_{\{T=n\}}$可表示为$Y_0,\cdots,Y_n$（信息过程）的函数，则称$T$为关于$Y$的停时，简称$T$为停时。
  • 性质：若$S,T$为关于$Y=\{Y_n;n\geq 0\}$的停时，则$S+T,S\land T,S\lor T$均为停时。（$ST$一般不是停时，除非其中一个停时为常值）

下面的所有结论中$X$均默认为鞅，当替换为下鞅时，将$=$改为$\geq$仍成立。

• 引理：设$X=\{X_n;n\geq 0\}$是关于$Y=\{Y_n;n\geq 0\}$的鞅，$T$为一停时，则：

  1. 对任意$0\leq k\leq n,\mathbb{E}(X_n\mathbf{1}_{\{T=k\}})=\mathbb{E}(X_k\mathbf{1}_{\{T=k\}})$；
  2. 若$m\geq T\geq n$（$T$为有界停时），则$\mathbb{E}(X_T|Y_0,\cdots,Y_n)=X_n$。

• 有界停时定理：设$\{X_n;n\geq 0\}$是鞅，若$S,T$为两个有界停时且$S\leq T\,\text{a.s.}$，则$\mathbb{E}(X_T)=\mathbb{E}(X_S)$。

• 一般停时定理（也称为可选停时定理）：设$\{X_n; n \geq 0\}$为鞅，停时$T$有限，若以下条件之一满足：

  1. $\displaystyle \mathbb{E}\left(\sup_{n \geq 0} |X_{T \wedge n}|\right) < \infty$。
  2. 若$\mathbb{E}(T) < \infty$且存在$K < \infty$使得 $$\mathbb{E}(|X_{n+1} - X_n| \mid Y_0, \cdots, Y_n) \leq K.$$
  3. 若$\mathbb{E}(|X_T|) < \infty$且$\displaystyle\lim_{n \to \infty} \mathbb{E}(X_n \mathbf{1}_{\{T \geq n\}}) = 0$。

  那么$\mathbb{E}(X_T) = \mathbb{E}(X_0)$。

  • 推论：设$\{X_n; n \geq 0\}$为下鞅，$T$为有限停时，若存在随机变量$W$使得$\mathbb{E}(|W|) < \infty$且对任意$n \geq 0$，$X_{T \wedge n} \leq W$成立，那么$\mathbb{E}(X_0) \leq \mathbb{E}(X_T)$。

鞅的不等式与收敛定理

• 设$\{X_n;n\geq 0\}$为鞅或非负下鞅，定义$\displaystyle X_n^*=\max_{0\leq k\leq n}|X_k|$，则有：
  • 极大不等式：对任意$\lambda>0,r\geq 1$， $$P(X_n^*\geq\lambda)\leq\frac{1}{\lambda^r}\mathbb{E}(|X_n|^r).$$
  • Doob 不等式：对任意$r>1$， $$\mathbb{E}(|X_n^*|^r)\leq\left(\frac{r}{r-1}\right)^r\mathbb{E}(|X_n|^r).$$
• Doob 收敛定理：设$\{X_n; n \geq 0\}$为（上，下）鞅，若存在$p \geq 1$，使得$\displaystyle M = \sup_n \mathbb{E}(|X_n|^p) < \infty$，则存在随机变量$X_\infty$，使得$X_n \to X_\infty \quad \text{a.s.}$且$\mathbb{E}|X_\infty| \leq M^{1/p}$。
  • 推论1：若$\{X_n; n \geq 0\}$为非负上鞅（非正下鞅），那么$X_n$几乎处处收敛。
  • 推论2：若上述定理中$\{X_n; n \geq 0\}$为鞅或非负下鞅且$p > 1$，那么$\displaystyle\lim_{n \to \infty} \mathbb{E}(|X_n - X_\infty|^p) = 0$（$L_p$收敛），从而$\mathbb{E}(|X_\infty|^p) = M$。
• 因为鞅差序列为独立同分布随机变量之和，故满足大数定律和中心极限定理（略）