快要期末了，笔者发现好多题目不够熟练，故紧急把一些知识点整理成cheatsheet，也相当于复习了。

概率空间

样本点、样本空间、随机事件、事件域、样本空间分割的概念（略，看书）
概率的四种确定方法+公理化定义（见下）：
1. 非负性：；
2. 正则性：；
3. 可列可加性：当互不相容，有

本质为集函数（将集合映射到实数域）
概率空间：（下面如无特别说明，均在此空间下讨论）

概率的性质

对立事件概率、有限可加性、可减性、单调性、有界性、加法公式（容斥定理，庞加莱公式）、次可加性
概率为的事件不一定为不可能事件
可列可加性有限可加性，反之不然
概率的连续性：
- 极限事件：
  - 对于单调不减事件列（），为

- 对于单调不增事件列（$A_1\supset A_2\supset\cdots\supset A_n\supset\cdots$），则为

集函数的上（下）连续性：对于单调不增（减）的事件列满足

（记忆：可以将事件包含关系理解为叠高楼，被包含的事件在上面）

概率测度满足上（下）连续性
概率等价定义：可列可加性替换为有限可加性+连续性

常见概率模型

不返回抽样（超几何模型）：

返回抽样

盒子模型

配对模型（人拿个帽子，一人一个，至少一人拿到自己帽子的概率）

随机事件的独立性

定义：
独立事件不一定互斥（如掷骰子，），互斥事件不一定独立（比如两个事件概率均不为）
多个随机事件的独立：
- 两两独立、三三独立、相互独立（简称独立）
- 若相互独立，则与独立，与独立，与独立
相互独立条件下的庞加莱公式：

事件类的独立
- 有限个随机事件类的独立——每个事件类中任取一个随机事件结合，相互独立
- 任意多个随机事件类独立——基于有限子集事件类的独立性
事件域的独立性

条件概率

定义：在概率空间中，且，则，定义
，与相互独立
其他性质：
- ；
- 若，则
- 若，则
乘法公式：
- ，且，则

推论1：，则有

推论2：，则

全概率公式：
- ，，则

推论：设为的一组分割，，则对任意有

贝叶斯公式（后验概率公式）：
- 设为样本空间的一组分割，，且有，则有

*可测映射

-代数：设是给定的非空集合，是由的部分子集组成的集合类，若满足下列条件，则称为上-代数：
1. ；
2. 若则；
3. 对任意，若则 .
定义（所有子集集合，有时也记为）；.
设，则称集类

为由生成的-代数，记为。

注：设，记

记为所生成集合在上的-代数，则有：

这也是条件概率的理论基础。

Borel -代数：设，

则称为Borel -代数或Borel域，记为，称中的集合为borel集。（注：之后的随机变量定义中，采用）

可测映射：
- 设为集合到上的映射，对任意，定义

即$f^{-1}$建立了$\mathcal{P}(\Omega_2)$到$\mathcal{P}(\Omega_1)$上的映射.

若$\mathcal{C}\subset \mathcal{P}(\Omega_2)$，记

定理1：设为到上的映射，，则.
定理2：设为到上的映射，，则，且.
可测空间：若，则称为可测空间。
可测映射：设和是两个可测空间，为到上的映射，若对任意，成立，则称为到上的可测映射，记为.
- 定理：设和是两个可测空间，其中。若为到上的映射，且对任意，成立，则.
- 推论：设为可测空间到Borel域上的映射，则为可测映射.
可测映射的复合：若是由到上的可测映射，是由到上的可测映射，则与的复合映射是由到上的可测映射.
若是可测空间到Borel域上的可测映射，称

为由诱导的-代数。为使得可测的最小-代数。

排列组合

略，除了一个重复组合：
- 本质：已知一个正整数，求将其分为个非负整数之和的不同方案数，即求
- 计算：可理解为将个球和个隔板进行组合，个位置先选出个位置放球，剩下位置放隔板，隔板间球的数量即为分配的非负整数。故总方案数为。

随机变量

定义：可测空间到上的可测映射。
等价定义：给定概率空间，为定义在上的实值函数（将中元素映射到上），则为随机变量
- 当取值只有两个值时，称为伯努利随机变量；取值只有一个值时称为常值随机变量。
示性函数：设，称

为的示性函数。可知为伯努利随机变量。

分布函数

定义：设为随机变量，对任意实数，称函数为随机变量的（累积）分布函数（记为d.f.）。
常值随机变量的分布函数

也被称为退化分布函数。

不同的随机变量可能有相同的分布函数。
性质：
1. 单调性：；
2. 有界性：，；
3. 右连续性：（）
常用公式：
- ，

概率分布

离散型分布

定义：若随机变量可能取值为，则称为的分布列（记为p.f.），并称为离散型随机变量（具有离散型分布）。
分布列形式：
性质：非负性、正则性（略）
定理1：若离散型随机变量有分布列，则的分布函数为

定理2：若离散型随机变量有分布列，则

分布函数特征：阶梯型、间断点为可能取值点、跳跃高度为该点概率值
- 已知分布函数求分布列：若为分布函数，则可能取值点为的所有间断点，分布列为

连续型分布

定义：设随机变量分布函数为，若存在函数使得对任意，满足成立，则称为连续型随机变量（具有连续型分布），称为概率密度函数（记为p.d.f.）
性质：
- 在上连续，故对；
- 若随机变量的概率密度函数为，则

故$p(x)$在$x$处取值反映了$X$在$x$附近取值可能性大小（但不是概率值）。

非负性、正则性（略）
注：概率密度函数可以有间断点（如分段函数）
定理1：若随机变量有概率密度函数，，则

定理2：若概率密度函数为偶函数，则对任意实数，分布函数满足

*混合型分布

定义：若为离散随机变量分布函数，为连续随机变量分布函数，则，为混合型分布函数。

常用离散分布

二项分布
- 分布列：
- 记为
- 当时称为两点分布（或0-1分布）
几何分布
- 分布列：
- 记为
- 具有无记忆性：
负二项分布（帕斯卡分布）
- 分布列：
- 记为
- 与几何分布关系：
泊松分布
- 分布列：
- 记为
- 泊松定理：设，则对给定正整数，有

 - 应用：当$n$很大，$p$很小时（$np\in[0.1,10]$）可以用二项分布列近似泊松分布列

超几何分布
- 分布列：（）
- 记为
- 当固定，，时，超几何分布近似于二项分布

常用连续型分布

正态分布
- 概率密度函数：

记为
性质：
- 关于对称，在处取得最大值；
- 控制对称轴位置，控制陡峭程度。
标准正态分布：取，概率密度函数被记为，其对应的分布函数被记为。
- 性质：，
正态分布标准化：当，则
- 推论：设，则分布函数.
正态分布准则（略）

均匀分布
- 概率密度函数：

记为
分布函数：

 p(x)=\left\{

           \begin{aligned}
           \frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\lambda x},&\hspace{1em} x>0 \\
           0,&\hspace{1em} x\leq 0.
           \end{aligned}
           \right.

 \Gamma(\alpha)=\int_0^\infty x^{\alpha-1}e^{-x}dx

   p(x)=\left\{
           \begin{aligned}
           \lambda e^{-\lambda x},&\hspace{1em} x>0 \\
           0,&\hspace{1em} x\leq 0.
           \end{aligned}
           \right.

   F(x)=\left\{
           \begin{aligned}
           1-e^{-\lambda x},&\hspace{1em} x>0 \\
           0,&\hspace{1em} x\leq 0.
           \end{aligned}
           \right.

\sum_{k=1}^\infty x_kp_k

\int_{-\infty}^\infty xp(x)dx

\mathbb{E}Y=\mathbb{E}(f(X))=\left{
\begin{aligned}
&\sum_{k} f(x_k)p_k,&\hspace{1em} \text{离散情形} \
&\int_{-\infty}^\infty f(x)p(x)dx,&\hspace{1em} \text{连续情形}
\end{aligned}
\right.

\mathrm{Var}X=\left{
\begin{aligned}
&\sum_{k} (x_k-\mathbb{E}X)^2p_k,&\hspace{1em} \text{离散情形} \
&\int_{-\infty}^\infty (x-\mathbb{E}X)^2p(x)dx,&\hspace{1em} \text{连续情形}
\end{aligned}
\right.

P(X\geq\epsilon)\leq\frac{\mathbb{E}X}{\epsilon}

P(X\geq\epsilon)\leq\frac{\mathbb{E}(F(x))}{F(\epsilon)}

\begin{aligned}
&P(|X-\mathbb{E}X|\geq\epsilon)\leq\frac{\mathrm{Var}X}{\epsilon^2}\
&P(|X-\mathbb{E}X|<\epsilon)\geq 1-\frac{\mathrm{Var}X}{\epsilon^2}
\end{aligned}

\begin{aligned}
&\nu_k=\left\{
  \begin{aligned}
  &(k-1)!!\sigma^{k}, &k=2m \\
  &0, &k=2m-1
  \end{aligned}
  \right.\\
&\mu_k=\mathbb{E}[\mu+(X-\mu)]^k=\sum_{j=0}^{\lfloor k/2\rfloor}\binom{k}{2j}(2j-1)!!\sigma^{2j}\mu^{k-2j}
\end{aligned}

\mu_k=\frac{\Gamma(\alpha+k)}{\lambda^k\Gamma(\alpha)}=\frac{(\alpha+k-1)(\alpha+k-2)\cdots(\alpha+1)\alpha}{\lambda^k}

X_\alpha=\operatorname*{inf}{x(x)\geq a}

C_v=\frac{\sqrt{\nu_2}}{\mu_1}=\frac{\sqrt{\mathrm{Var}X}}{\mathbb{E}X}\hspace{1em} (\mathbb{E}X\neq 0)

\beta_s=\frac{\nu_3}{\sigma^3}=\frac{\mathbb{E}(X-\mathbb{E}X)^3}{(\sqrt{\mathrm{Var}X})^3}

\beta_k=\frac{\nu_4}{\nu_2^2}-3=\frac{\mathbb{E}(X-\mathbb{E}X)^4}{(\mathrm{Var}X)^2}-3

\mathrm{Var}X=\nu_2=\frac{\alpha}{\lambda^2},\hspace{1em}\nu_3=\frac{2\alpha}{\lambda^3},\hspace{1em}\nu_4=\frac{3\alpha(\alpha+2)}{\lambda^4}

\beta_s=\frac{2}{\sqrt{\alpha}},\hspace{1em}\beta_k=\frac{6}{\alpha}

P((X,Y)\in D)=\sum_{i,j:\hspace{0.3em} x_i,y_j\in D}p_{ij}

F(x,y)=\int_{-\infty}^x\int_{-\infty}^yp(u,v)dudv

P((X,Y)\in D)=\iint_D p(x,y)dxdy

  P((X,Y)\in D)=\int_{D_x}f(x)dx\int_{D_y}g(y)dy

 P(X_1=n_1,\cdots,X_r=n_r)=\left\{
 \begin{aligned}
 &\frac{n!p_1^{n_1}\cdots p_r^{n_r}}{n_1!\cdots n_r!},& \sum_{i=1}^rn_i=n\\
 &0,& \mathrm{otherwise}.
 \end{aligned}
 \right.

 P(X_1=n_1,\cdots,X_r=n_r)=\left\{
 \begin{aligned}
 &\binom{N_1}{n_1}\cdots\binom{N_r}{n_r},& \sum_{i=1}^rn_i=n\\
 &0,& \mathrm{otherwise}.
 \end{aligned}
 \right.

 p(x,y)=\left\{
 \begin{aligned}
 &\frac{1}{S_D},& (x,y)\in D\\
 &0,& \mathrm{otherwise}.
 \end{aligned}
 \right.

 p(x,y)=\frac{1}{2\pi\sigma_1\sigma_2 c}\mathrm{exp}\{-\frac{1}{2c^2}(a^2+b^2-2\rho ab)\}

 a=\frac{x-\mu_1}{\sigma_1},b=\frac{y-\mu_2}{\sigma_2},c=\sqrt{1-\rho^2}

 p(\mathbf{x})=\frac{1}{(2\pi)^{\frac{d}{2}}|\Sigma|^\frac{1}{2}}\mathrm{exp}\{-\frac{1}{2}(\mathbf{x}-\mu)^T\Sigma^{-1}(\mathbf{x}-\mu)\}

 \Sigma=(\operatorname*{Cov}(x_i,x_j))_{d\times d}

\begin{aligned}
F_X(x)=F(x,\infty)\triangleq\lim_{y\to\infty}F(x,y)\\
F_Y(y)=F(\infty,y)\triangleq\lim_{x\to\infty}F(x,y)
\end{aligned}

\begin{aligned}
P(X=x_i)=\sum_{j=1}^\infty p_{ij}\triangleq p_i,i=1,2,\cdots\\
P(Y=y_j)=\sum_{i=1}^\infty p_{ij}\triangleq p_j,j=1,2,\cdots
\end{aligned}

\begin{aligned}
p_X(x)=\int_{-\infty}^\infty p(x,y)dy\\
p_Y(y)=\int_{-\infty}^\infty p(x,y)dx
\end{aligned}

F(x,y)=F_X(x)F_Y(y)

F_Y(y)=\left{
\begin{aligned}
&\sum_{k:\hspace{0.3em} x_k\in D_y}p_k,& \text{离散情形}\
&\int_{D_y}p_X(x)dx,& \text{连续情形}.
\end{aligned}
\right.

p_Y(y)=\left\{
\begin{aligned}
&\frac{1}{\sqrt{2\pi}y\sigma}e^{-\frac{(\ln y-\mu)^2}{2\sigma^2}},& y>0\\
&0,& y\leq 0.
\end{aligned}
\right.

\begin{aligned}
F_Y(y)=P(Y\leq y)&=P(F(X)\leq y)\\
                        &=\left\{
                        \begin{aligned}
                        &0, &y<0\\
                        &P(X\leq F^{-1}(y))=F(F^{-1}(y))=y, &0\leq y<1\\
                        &1, &y\geq 1
                        \end{aligned}
                        \right.
\end{aligned}

p_Y(y)=\left{
\begin{aligned}
&p_X(h(y))\cdot|h’(y)|,& y\in E\
&0,& \mathrm{otherwise}.
\end{aligned}
\right.

F_Z(z)=P((X,Y)\in D_z)=\left{
\begin{aligned}
&\sum_{i,j:\hspace{0.3em} (x_i,y_j)\in D_z}p_{ij},& \text{离散情形}\
&\iint_{D_z}p(x,y)dxdy,& \text{连续情形}.
\end{aligned}
\right.

\sum_{i,j:\hspace{0.3em}g(x_i,y_j)=z_k}p_{ij}

\begin{aligned}
P(Z=z_k)=\sum_i P(X=x_i,Y=z_k-x_i)\
=\sum_j P(X=z_k-y_j,Y=y_j)
\end{aligned}

\begin{aligned}
P(Z=z_k)=\sum_i P(X=x_i)P(Y=z_k-x_i)\
=\sum_j P(X=z_k-y_j)P(Y=y_j)
\end{aligned}

p_Z(z)=\int_{-\infty}^{\infty}p(x,z-tx)dx

p_Z(z)=\int_{-\infty}^{\infty}p(x,z-x)dx=\int_{-\infty}^{\infty}p(z-y,y)dy

 \alpha_1X_1+\alpha_2X_2+\cdots+\alpha_nX_n\sim N(\alpha_1\mu_1+\cdots+\alpha_nX_N,\alpha_1^2\sigma_1^2+\cdots+\alpha_n^2\sigma_n^2)

\begin{aligned}
&F_Y(y)=\prod_{i=1}^n F_i(y),\
&F_Z(z)=1-\prod_{i=1}^n(1-F_i(z))
\end{aligned}

p^*(y_1,\cdots,y_n)=\left{
\begin{aligned}
&p(k_1(y_1,\cdots,y_n),\cdots,k_n(y_1,\cdots,y_n))|J|,&(y_1,\cdots,y_n)\in E,\
& 0, &\mathrm{otherwise}.
\end{aligned}
\right.

J=\frac{\partial(x_1,\cdots,x_n)}{\partial(y_1,\cdots,y_n)}=\left|
\begin{array}{cccc}
\frac{\partial x_1}{\partial y_1} & \frac{\partial x_1}{\partial y_2} & \cdots & \frac{\partial x_1}{\partial y_n}\
\frac{\partial x_2}{\partial y_1} & \frac{\partial x_2}{\partial y_2} & \cdots & \frac{\partial x_2}{\partial y_n}\
\cdots & \cdots & \cdots & \cdots\
\frac{\partial x_n}{\partial y_1} & \frac{\partial x_n}{\partial y_2} & \cdots & \frac{\partial x_n}{\partial y_n}
\end{array}
\right|

U=XY\Longrightarrow p_U(u)=\int_{-\infty}^\infty p_X(\frac{u}{v})p_Y(v)\frac{1}{|v|}dv

U=\frac{X}{Y}\Longrightarrow p_U(u)=\int_{-\infty}^\infty p_X(uv)p_Y(v)|v|dv

\mathbb{E}Z=\mathbb{E}[g(X,Y)]=\left{
\begin{aligned}
&\sum_{i,j}g(x_i,y_j)p_{ij},&\text{离散情形}\
&\iint g(x,y)p(x,y)dxdy,&\text{连续情形}
\end{aligned}
\right.

\mathrm{Var}\mathbf{X}=\sum_{i=1}^n\mathrm{Var}(X_i)+2\sum_{i=1}^n\sum_{j=1}^{i-1}\mathbb{E}[(X_i-\mathbb{E}X_i)(Y_j-\mathbb{E}Y_j)]

  \Sigma=\left(
    \begin{array}{cc}
    \sigma_1^2 & \rho\sigma_1\sigma_2\\
    \rho\sigma_1\sigma_2 & \sigma_2^2
    \end{array}
    \right)

\mathrm{Corr}(X,Y)=\frac{\mathrm{Cov}(X,Y)}{\sqrt{\mathrm{Var}X}\sqrt{\mathrm{Var}Y}}

\mathrm{Corr}(X,Y)=\frac{\mathbb{E}(XY)-\mathbb{E}X\cdot \mathbb{E}Y}{\sqrt{\mathbb{E}X^2-(\mathbb{E}X)^2}\sqrt{\mathbb{E}Y^2-(\mathbb{E}Y)^2}}

|\mathbb{E}[(X-\mathbb{E}X)(Y-\mathbb{E}Y)]|^2\leq \mathrm{Var}X\cdot\mathrm{Var}Y

|\mathbb{E}(XY)|^2\leq \mathbb{E}X^2\cdot \mathbb{E}Y^2

\begin{aligned}
&\lim_{\Delta y\to 0^+}P(X\leq x\mid y-\Delta y<Y\leq y)\
=&\lim_{\Delta y\to 0^+}\frac{P(X\leq x, y-\Delta y<Y\leq y)}{P(y-\Delta y<Y\leq y)}
\end{aligned}

P(X=x_i\mid Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{\sum_k p_{kj}},i=1,2,\cdots

F_{X\mid Y}(x\mid y)=\int_{-\infty}^x\frac{p(u,y)}{p_Y(y)}du

\begin{aligned}
P(X\leq x\mid y-\Delta y<Y\leq y)&=\int_{-\infty}^x\int_{y-\Delta y}^y p(u,v)dudv\\
&=\int_{y-\Delta y}^y(\int_{-\infty}^xp(u,v)du)dv
\end{aligned}

\begin{aligned}
&\lim_{\Delta y\to 0^+}\frac{1}{\Delta y}P(X\leq x\mid y-\Delta y<Y\leq y)\\
=&\lim_{\Delta y\to 0^+}\frac{1}{\Delta y}\int_{y-\Delta y}^y(\int_{-\infty}^xp(u,v)du)dv\\
=&\int_{-\infty}^x p(u,y)du
\end{aligned}

\begin{aligned}
&\lim_{\Delta y\to 0^+}\frac{1}{\Delta y}P(y-\Delta y<Y\leq y)\\
=&\lim_{\Delta y\to 0^+}\frac{1}{\Delta y}\int_{y-\Delta y}^y p_Y(v)dv\\
=&p_Y(y)
\end{aligned}

\mathbb{E}(X\mid Y=y)=\left{
\begin{aligned}
&\sum_i x_iP(X=x_i\mid Y=y),& \text{离散情形}\
&\int_{-\infty}^\infty xp_{X\mid Y}(x\mid y)dx,& \text{连续情形}
\end{aligned}
\right.

\mathbb{E}(X\mid B)=\frac{\mathbb{E}(X\cdot 1_B)}{P(B)}

\mathbb{E}X=\left\{
  \begin{aligned}
  &\sum_j \mathbb{E}(X\mid Y=y_j)P(Y=y_j),&\text{离散情形}\\
  &\int_{-\infty}^\infty \mathbb{E}(X\mid Y=y)p_Y(y)dy,&\text{连续情形}
  \end{aligned}
  \right.

\begin{aligned}
&\mathrm{Var}(X\mid Y=y)=\mathbb{E}[(X-\mathbb{E}(X\mid Y=y))^2\mid Y=y]\
=&\mathbb{E}(X^2\mid Y=y)-(\mathbb{E}(X\mid Y=y))^2
\end{aligned}

\begin{aligned}
  &\mathbb{E}(\mathrm{Var}(X\mid Y))+\mathrm{Var}(\mathbb{E}(X\mid Y))\\
  &=\mathbb{E}[\mathbb{E}(X^2\mid Y)-(\mathbb{E}(X\mid Y))^2]+\mathbb{E}[(\mathbb{E}(X\mid Y))^2]-[\mathbb{E}[\mathbb{E}(X\mid Y)]]^2\\
  &=\mathbb{E}[\mathbb{E}(X^2\mid Y)]-[\mathbb{E}[\mathbb{E}(X\mid Y)]]^2\\
  &=\mathbb{E}X^2-(\mathbb{E}X)^2=\mathrm{Var}X
\end{aligned}

 P(\lim_{n\to\infty}X_n=X)=1

 P(\{\omega:\lim_{n\to\infty} X_n(\omega)=X(\omega)\})=1

 \lim_{n\to\infty}P(|X_n-X|\geq\epsilon)=0

 \lim_{n\to\infty}F_n(x)=F(x)

 \begin{gather}
 X_n\stackrel{a.s.}{\longrightarrow}X\\
 P(\bigcup_{k=1}^\infty\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty\{|X_m-X|\geq\frac{1}{k}\})=0\\
 \forall\epsilon>0,P(\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty\{|X_m-X|\geq\epsilon\})=0\\
 \forall\epsilon>0,\lim_{n\to\infty}P(\bigcup_{m=n}^\infty\{|X_m-X|\geq\epsilon\})=0
 \end{gather}

 \{A_n,i.o.\}=\bigcap_{n=1}^\infty\bigcup_{m=n}^\infty A_m

   X_n\stackrel{a.s.}{\longrightarrow}c\Longleftrightarrow \forall\epsilon>0,\sum_{n=1}^\infty P(|X_n-c|\geq\epsilon)<\infty

 \begin{aligned}
 X_n+Y_n\stackrel{P}{\longrightarrow}X+Y\\
 X_nY_n\stackrel{P}{\longrightarrow}XY
 \end{aligned}

依分布收敛性质
- Slutsky定理：若（为常数），则
  - ；
  - 时，

三种收敛之间的关系

蕴含，反之不成立
对每个子列，存在子子列满足
蕴含，反之不成立
设为一个常数，则蕴含

特征函数

前提概念：
- 复值随机变量：设为上的实值随机变量，则称为复值随机变量（若存在，则称为的数学期望）；
- 的共轭随机变量：；
- 的模：；
- 独立性：设，若分别与相互独立，则称与相互独立。
  - 另一种形式：若与相互独立，则与相互独立
定义：设为随机变量，其分布函数为，则称复值函数

为（或）的特征函数。

任何随机变量（或概率分布）的特征函数均存在（因为）
常见分布特征函数：

分布特征函数

特征函数的性质

（共轭）
设为常数，，则
若与相互独立，则 ~~比卷积公式好记~~
特征函数与矩的关系：若随机变量的阶矩存在，则的阶导数存在，且

定理1：设为随机变量的特征函数，则非负定，即对于任意正整数，取任意个复数与个实数，有

定理2（唯一性定理）：概率分布由其特征函数唯一确定。设为分布函数的特征函数，则

（这一公式也被称为逆转公式）

定理3（连续性定理）：
- 设为的特征函数，为的特征函数，则；
- 设在点连续，对任意成立，则（同上）
  - 注：上面条件中在点连续是为了保证为分布函数。

多维随机变量的特征函数

定义：设为维随机变量，则称

为的特征函数，这里

例：设服从二维正态分布，则的特征函数为

矩母函数（特征函数的实数版本）

定义：设为一随机变量，对于使得，则称

为的矩母函数。

注：矩母函数不一定对所有均存在（比特征函数条件更严格）
若为维随机变量，则称

为的特征函数，这里

性质：
1. 若随机变量与相互独立，则（与特征函数相同）
2. 与原点矩的关系（基于泰勒展开）：
3. 与中心矩的关系：设，则
常见分布矩母函数（基本就是特征函数把换成了）：

分布矩母函数

大数定律

伯努利大数定律
- 设一次试验中事件发生的概率为，记为次独立实验中事件的发生次数，则时，

（弱）大数定律
- 定义：对于随机变量序列，若存在数列与（单调增且趋于无穷），且有时，

 其中$S_n=\sum_{k=1}^nX_k$.则称$X_n$满足（弱）大数定律。

注1：如无特别说明，一般取，即

注2：若独立同分布，上式也等价于

 （伯努利大数定律就是$X_k\sim b(1,p)$的情形）

其他大数定律（均对于随机变量序列，并设，满足下述条件之一即满足（弱）大数定律）
- 切比雪夫大数定律：两两不相关，且一致有界；
- 马尔科夫大数定律：马尔科夫条件成立，即；
- 辛钦大数定律：独立同分布且存在。

相互关系：
- 伯努利大数定律是切比雪夫大数定律的特例；切比雪夫大数定律是马尔科夫大数定律的推论（前者成立，后者一定成立）；马尔科夫大数定律可以由切比雪夫不等式推得：

辛钦大数定律可以用特征函数的连续性定理证明

（弱）大数定律的应用

蒙特卡洛法计算定积分：

故可以在中随机生成个均匀分布的随机数，再由大数定律，

更一般的大数定律（不要求数学期望存在）

设为相互独立的随机变量序列，对任意，记

另记，若时，

则有

即满足大数定律。

利用这一构造，也可以证明辛钦大数定律（略）。

强大数定律

定义：对于随机变量序列，若存在数列与（单调增且趋于无穷），且有时，

其中.则称满足强大数定律。

特别地，当独立同分布，且数学期望存在，则有：时，

中心极限定理

与大数定律的区别：大数定律研究的是随机变量和的均值与和的期望的关系；而中心极限定理研究的是随机变量和的分布与正态分布的关系
定义：设为随机变量序列，，若数学期望与方差均存在，且

依分布收敛于标准正态分布，则称满足中心极限定理。

性质：若满足中心极限定理，则对任意，

其中为标准正态分布的分布函数。

Lindeberg-Lévy中心极限定理：设为独立同分布的随机变量序列，数学期望为，方差为，则满足中心极限定理。
- 可用于近似计算概率：

（提示：$S_n$均值为$n\mu$，方差为$n\sigma^2$）

DeMoivre-Laplace中心极限定理：设服从二项分布，则