经过笔者的深思熟虑，笔者决定将数理统计的内容以类似概率论Cheat Sheet的形式整理中间穿插一些习题。【习题可见练习题集】
内容应该不会像概率论那么多了（大概 已完结，依旧内容爆炸……

统计量及其分布

总体与样本

• 总体：研究对象的全体

  • 可用一个分布描述，因此也可指服从某一分布的随机变量（用分布列/分布函数表示）

• 个体：组成总体的每个成员

• 样本：从总体中（随机）抽取的$n$个个体，记为$\mathbf{X}=(X_1,X_2,\cdots,X_n)$。

  • $n$称为样本量；
  • 样本的二重性：样本可同时作为随机变量（观测前）【用于计算估计量】，也可作为确定的观测值（观测后）【实际应用】。样本的观察值用$X=(x_1,x_2,\cdots,x_n)$表示。
  • 后续样本均以小写表示。

• 完全样本：所有观测值均确定；不完全样本：观测值无精确值（也称分组样本）

• 简单随机抽样：样本满足独立同分布（记为$x_1,x_2,\cdots,x_n\stackrel{i.i.d}{\sim}X$）

  • 设总体$X$的分布函数为$F(x)$，则样本量为$n$的样本联合分布函数为 $$F_X(x_1,x_2,\cdots,x_n)=\prod_{i=1}^nF(x_i)$$
  • 若总体无限，则独立同分布易得；若总体有限，则只要个体数相比样本量很大，也可近似得到独立性。

  如无特别声明，一般默认样本均通过简单随机抽样得到。

• 经验分布函数：设$I(A)$为集合$A$的示性函数，$x_1,\cdots,x_n$为总体得到的一组样本（给定），总体分布函数为$F(x)$，称

  $$F_n(x)=\frac{1}{n}\sum_{i=1}^nI(x_i\leq x)$$

  为经验分布函数。（图像类似阶梯分段函数）

  • 经验分布列：

    $X$	$t_1$	$\cdots$	$t_k$
    $p$	$\dfrac{f_1}{n}$	$\cdots$	$\dfrac{f_k}{n}$

    其中$t_1< \cdots < t_k$为$x_1,\cdots,x_n$的不同取值，$f_1,\cdots,f_k$为对应的频数。
    从而分布函数也可写作：

    $$F_n(x)=\begin{cases} 0,&x< t_1\\ \frac{1}{n}\sum_{j=1}^if_j,&t_i\leq x< t_{i+1},\,i=1,2,\cdots,k-1\\ 1,&x\geq t_k \end{cases}$$

  • 将$I(x_i\leq x)$记为随机变量$I_i$的分布函数，则$I_i\sim b(1,F(x))$。因此由伯努利大数定律，$F_n(x)\stackrel{p}{\longrightarrow}F(x)$

  • 格里文科定理：设$x_1,\cdots,x_n$为取自$F(x)$的样本，经验分布函数为$F_n(x)$，则$n\to\infty$时，有

    $$P\left(\sup_{x\in\R}|F_n(x)-F(x)|\to 0\right)=1$$

    所以$F_n(x)$是$F(x)$的一个良好近似。

• 样本信息$\{x_1,\cdots,x_n\}\Longleftrightarrow$经验分布函数+样本量信息$\{n,F_n(x)\}$

• 频数与频率表、直方图与茎叶图（略，可见DATA 8）

常见统计量及其抽样分布

• 统计量定义：设$x_1,x_2,\cdots,x_n$为取自某总体的样本，若样本函数$T=T(x_1,x_2,\cdots,x_n)$中不含有任何未知参数，则称$T$为统计量。
  • 抽样分布：统计量的分布。（可依赖未知参数）

样本矩及其分布

1. 样本均值（度量样本中心位置）
   • 定义：样本的算术平均值，一般用$\overline{x}$表示： $$\overline{x}=\frac{x_1+x_2+\cdots+x_n}{n}=\frac{1}{n}\sum_{i=1}^nx_i$$

     对于分组样本：$\displaystyle\overline{x}=\frac{x_1f_1+\cdots+x_kf_k}{n},n=\sum_{i=1}^nf_i$（$x_i$为组中值，$f_i$为频数）

   • 性质：
     • 样本观测值与样本均值之差称为偏差。总偏差之和$\displaystyle\sum_{i=1}^n(x_i-\overline{x})=0$；
     • 观测值与样本均值偏差平方和最小（$\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2\leq\sum_{i=1}^n(x_i-c)^2,\forall c\in\R$）
   • 抽样分布：
     • 若总体分布为$N(\mu,\sigma^2)$，则$\overline{x}$的精确分布为$N\left(\mu,\dfrac{\sigma^2}{n}\right)$；【正态分布可加性】
     • 若总体分布未知（或非抽样分布），且$\mathbb{E}X=\mu,\mathrm{Var}X=\sigma^2$存在，则$n$较大时，$\overline{x}$渐近分布为$N\left(\mu,\dfrac{\sigma^2}{n}\right)$。【中心极限定理】
2. 样本方差&样本标准差（度量样本离散程度）
   • 定义1： $$s_n^2=\frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2,\quad s_n=\sqrt{s_n^2}$$
   • 定义2（无偏方差、标准差）： $$s^2=\frac{1}{n-1}\sum_{i=1}^n(x_i-\overline{x})^2,\quad s=\sqrt{s^2}$$

     比定义1更常用，之后样本方差（标准差）常指$s^2$（$s$）；分组样本定义略。

   • 偏差平方和：将$\displaystyle\sum_{i=1}^n(x_i-\overline{x})$称为偏差平方和，其自由度为$n-1$（均值限制$1$个自由度）
     • 等价表示：$\displaystyle\sum_{i=1}^n(x_i-\overline{x})^2=\sum_{i=1}^nx_i-n\overline{x}^2$
   • 性质：
     • 设总体$X$二阶矩存在，记$\mathbb{E}X=\mu,\mathrm{var}{X}=\sigma^2$，$x_1,\cdots,x_n$为从$X$得到的样本，样本均值为$\overline{x}$，样本方差为$s^2$，则 $$\begin{aligned} &\mathbb{E}\overline{x}=\mu,\quad\mathrm{Var}\overline{x}=\frac{\sigma^2}{n}\\ &\mathbb{E}s^2=\sigma^2,\quad \mathbb{E}s_n^2=\frac{n-1}{n}\sigma^2 \end{aligned}$$
3. 样本矩（样本均值、方差的推广）
   • 样本$k$阶原点矩：$\displaystyle a_k=\frac{1}{n}\sum_{i=1}^nx_i^k$；
   • 样本$k$阶中心矩：$\displaystyle b_k=\frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^k$；
   • 性质（与总体矩关系）：$\mathbb{E}a_k=\mu_k=\mathbb{E}X^k,\quad \mathbb{E}b_k=\nu_k=\mathbb{E}(X-\mathbb{E}X)^k$.
4. 样本偏度（样本分布偏离对称的程度）
   • 定义：$\displaystyle\hat{\beta_s}=\frac{b_3}{b_2^{\frac{3}{2}}}=\frac{1}{n}\sum_{i=1}^ny_i^3\quad (y_i=\frac{x_i-\overline{x}}{s})$
   • 与总体偏度的关系：$n\to\infty$时，$\hat{\beta_s}\to\beta_s=\dfrac{\nu_3}{\nu_2^{3/2}}$.
5. 样本峰度（样本分布尾部肥瘦程度）
   • 定义：$\displaystyle\hat{\beta_k}=\frac{b_4}{b_2^2}-3$
   • 与总体峰度的关系：略（类似偏度）
6. 经验分布函数$F_n(x)$的所有特征数
   • 因为经验分布只依赖于样本，有了样本观察值之后，它是完全确定的，所以它的任何特征数不依赖于任何未知参数，都是统计量。

蒙特卡罗分布

用于确定一些统计量的抽样分布

• 要求：$T$可表示为某分布已知的随机变量的参数（即不含未知参数）。
• 原理：由格里文科定理，若$Y_1,\cdots,Y_m$为与$Y$独立同分布的$M$个观测值，则当$M\to\infty$时，$\{T(Y_1),\cdots,T(Y_m)\}$的经验分布一致收敛于$T(Y)$的分布$F_T(t)$。
• 具体算法：
  1. 从$n$维标准正态分布中产生随机向量$Y$，计算统计量$T(Y)$；
  2. 独立重复上步$M$次，得到$M$个$T(Y)$，记为$T_1,\cdots,T_m$；
  3. $T_1,\cdots,T_m$的经验分布近似$T(Y)$的抽样分布。

次序统计量及其分布

• 定义：设$x_1,\cdots,x_n$为取自总体$X$的样本，对其进行排序得到$x_{(1)}\leq x_{(2)}\leq\cdots\leq x_{(n)}$，则称$x_{(i)}$为第$i$个次序统计量，$(x_{(1)},x_{(2)},\cdots,x_{(n)})$称为样本的次序统计量。
  • $x_{(n)}=\max\{x_1,\cdots,x_n\}$为样本的最大次序统计量，$x_{(1)}=\min\{x_1,\cdots,x_n\}$为样本的最小次序统计量。
  • $x_{(1)},x_{(2)},\cdots,x_{(n)}$一般不独立，也不同分布。下面仅对连续分布情况讨论抽样分布。
• 抽样分布：
  1. 单个次序统计量
     • 设总体$X$密度函数为$p(x)$，分布函数为$F(x)$，$x_1,\cdots,x_n$为样本，则$x_{(k)}$的密度函数为 $$p_k(x)=\frac{n!}{(k-1)!(n-k)!}(F(x))^{k-1}(1-F(x))^{n-k}p(x)$$ 特别地，$x_{(1)}$的密度函数为$n[1-F(x)]^{n-1}p(x)$，$x_{(n)}$的密度函数为$n[F(x)]^{n-1}p(x)$。
     • 当总体分布为$U(0,1)$，则$p_k(x)=\dfrac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k},0< x< 1$

       可知$x_{(k)}$服从Beta分布$Be(k,n-k+1)$，$\mathbb{E}X_{(k)}=\dfrac{k}{n+1}$，$\text{Var}(X_{(k)})=\dfrac{k(n-k+1)}{(n+1)^2(n+2)}$。

  2. 多个次序统计量
     • 二元情形：$(X_{(i)},X_{(j)})$（$i< j$）的联合概率密度函数为 $$p_{ij}(y,z)=\frac{n!}{(i-1)!(j-i-1)!(n-j)!}[F(y)]^{i-1}[F(z)-F(y)]^{j-i-1}[1-F(z)]^{n-j}p(y)p(z),\quad y\leq z$$
     • $n$元情形：$(x_{(1)},x_{(2)},\cdots,x_{(n)})$的联合概率密度函数为 $$p_\mathbf{X}(y_1,y_2,\cdots,y_n)=n!\prod_{k=1}^np(y_k),\quad y_1\leq y_2\leq\cdots\leq y_n$$
• 样本极差：$R_n=X_{(n)}-X_{(1)}$

样本中位数与样本分位数

• 样本分位数：
  • 定义1（课本定义）： $$m_p^*=\begin{cases} X_{\lfloor np+1\rfloor},&np\not\in\Z\\ \frac{1}{2}(X_{(np)}+X_{(np+1)}),&np\in\Z \end{cases}$$
  • 定义2（线性插值）： $$m_p=X_{(k)}+[(n+1)p-k](X_{(k+1)}-X_{(k)}),\quad k=\lfloor (n+1)p\rfloor$$
• 样本中位数：当$p=\frac{1}{2}$时， $$m_{0.5}=\begin{cases} X_{(\frac{n+1}{2})},&n\text{为奇数}\\ \frac{1}{2}\left(X_{(\frac{n}{2})}+X_{(\frac{n}{2}+1)}\right),&n\text{为偶数} \end{cases}$$ 为样本中位数。
• 渐近分布：设总体密度为$p(x)$，$\xi_\alpha$为$\alpha$-分位数，$p(x)$在$\xi_\alpha$处连续且$p(\xi_a)>0$，则$n\to\infty$时，样本$\alpha$-分位数的渐近分布 $$m_\alpha\stackrel{\cdot}{\sim}N\left(\xi_\alpha,\frac{\alpha(1-\alpha)}{n[p(\xi_\alpha)]^2}\right)$$

  渐近分布方差随$n$增大趋于$0$，说明分位数有较强稳健性。

五数概括与箱线图

• 五数概括：$x_{\mathrm{min}}\quad Q_1(=m_{0.25})\quad m_{0.5}\quad Q_3(=m_{0.75})\quad x_{\mathrm{max}}$
• 箱线图（略，网上一搜就有）

  $m_{0.5}$靠近$Q_1$表示右偏，靠近$Q_3$表示左偏。$

三大抽样分布

即卡方分布、F分布和t分布，均为由正态分布样本导出的三个统计量。

卡方分布

• 定义：设$x_1,x_2,\cdots,x_n\stackrel{i.i.d}{\sim}N(0,1)$，则称$\displaystyle\sum_{k=1}^nX_k^2$的分布为自由度$n$的$\chi^2$分布，记为$\chi^2(n)$。

  若总体分布为$N(\mu,\sigma^2)$，可先构造$z_i=\dfrac{x-\mu}{\sigma}$.

  • 概率密度函数（$\chi^2(n)=Ga\left(\dfrac{n}{2},\dfrac{1}{2}\right)$）： $$p(x)=\frac{1}{\Gamma(\frac{n}{2})}\left(\frac{1}{2}\right)^{\frac{n}{2}}x^{(\frac{n}{2}-1)}e^{-\frac{x}{2}}\quad (x>0)$$
• 性质：
  • 卡方分布具有可加性；
  • 若$Y\sim\chi^2(n)$，则$\mathbb{E}Y=n,\mathrm{Var}Y=2n$；
  • 当$n\to\infty$，$\chi^2(n)\stackrel{d}{\longrightarrow}N(n,2n)$；【中心极限定理】
  • 下侧$\alpha$-分位数：若$Y\sim\chi^2(n)$，则$P(Y\leq\chi_\alpha^2(n))=\alpha$。
• 卡方分布重要应用：设$x_1,\cdots,x_n$为总体$N(\mu,\sigma^2)$的一个样本，令样本均值为$\overline{x}$，样本方差为$s^2$，则
  • $\displaystyle\overline{x}\sim N\left(\mu,\frac{\sigma^2}{n}\right)$；
  • $\displaystyle\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$；
  • $\overline{x}$与$s^2$相互独立。

F分布

• 定义：设$X\sim\chi^2(n),Y\sim\chi^2(m)$且相互独立，则$\dfrac{\frac{1}{n}X}{\frac{1}{m}Y}$的分布为自由度$(n,m)$的F分布，记为$F(n,m)$。
• 性质：
  • 分布取值一定非负
  • 设$x_1,\cdots,x_n$为$N(\mu_1,\sigma_1^2)$的样本，$y_1,\cdots,y_m$为$N(\mu_2,\sigma_2^2)$的样本，且相互独立。两个样本方差分别记为$s_x^2$和$s_y^2$，则 $$F=\frac{s_x^2/\sigma_1^2}{s_y^2/\sigma_2^2}\sim F(n-1,m-1)$$ 当$\sigma_1^2=\sigma_2^2$时$\dfrac{s_x^2}{s_y^2}\sim F(n-1,m-1)$.
  • 若$T\sim F(n,m)$，则$U=\dfrac{1}{T}\sim F(m,n)$；
  • 分位数：记$F(n,m)$的$\alpha$-分位数为$F_\alpha(n,m)$，则$F_{1-\alpha}(m,n)=\dfrac{1}{F_\alpha(m,n)}$.

t分布

• 定义：设$X\sim N(0,1),Y\sim\chi^2(n)$且相互独立，则称$\dfrac{X}{\sqrt{\frac{Y}{n}}}$的分布为自由度为$n$的t分布，记为$t(n)$。
  • 密度函数：$\displaystyle p(x)=\frac{1}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})}\left(1+\frac{x^2}{n}\right)^{-\frac{n+1}{2}}$

    $n=1$时，$p(x)=\dfrac{1}{\pi(1+x^2)}$，即服从柯西分布。$

• 性质：
  • 记$t(n)$的下侧$\alpha$-分位数为$t_\alpha(n)$，则$t_{1-\alpha}(n)=-t_\alpha(n)$；
  • $n>1$时期望（和奇数阶矩）为$0$，$n>2$时方差为$\dfrac{n}{n-2}$；
  • 与F分布的关系：若$T\sim t(n)$，则$T^2\sim F(1,n)$.
• 应用：设$x_1,\cdots,x_n$为$N(\mu,\sigma^2)$的样本，样本均值$\overline{x}$，样本方差$s^2$，则$\dfrac{\sqrt{n}(\overline{x}-\mu)}{s}\sim t(n-1)$
  • 推论：设$x_1,\cdots,x_n$为$N(\mu_1,\sigma_1)$的样本，$y_1,\cdots,y_m$为$N(\mu_2,\sigma_2)$的样本，且相互独立。两个样本的均值与方差分别记为$\overline{x},s_x^2$和$\overline{y},s_y^2$，则对任意非零常数$c,d>0$， $$\frac{c(\overline{x}-\mu_1)-d(\overline{y}-\mu_2)}{s_w\sqrt{\dfrac{c^2}{m}+\dfrac{d^2}{n}}}\sim t(m+n-2)$$ 其中$s_w^2=\dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$.

充分统计量

• 充分性定义：给定统计量$T=t$时，样本的条件分布$F_\theta(x_1,\cdots,x_n|T=t)$不含有$\theta$的信息。（与$\theta$无关）
• 充分性原则：任何统计推断均可基于充分统计量进行。

因子分解定理

概率函数：随机变量$X$的概率函数$f(x)$在连续情况下为概率密度函数，在离散情况下为概率分布列。

• 设总体的概率函数为$f(x;\theta)$，$x_1,\cdots,x_n$为样本，则$T(x_1,\cdots,x_n)$为充分统计量$\Longleftrightarrow$存在两个函数$g(t,\theta)$和$h(x_1,\cdots.x_n)$使得对任意$\theta$和一组观测值$x_1,\cdots,x_n$，有 $$f(x_1,\cdots,x_n;\theta)=g(T(x_1,\cdots,x_n),\theta)\cdot h(x_1,\cdots,x_n)$$

  注：$h(x_1,\cdots,x_n)$大概率会取$1$，所以关键在于将概率函数能否表示为$T$和$\theta$的函数。

• 若$T$为充分统计量，且存在某个函数$h(\cdot)$使$T$可表示为$t=h(s)$，则统计量$S$也是充分统计量。
  • 极小充分统计量：若对任意充分统计量$T$，均存在函数$h$使$T^*(\mathbf{X})=h(T(\mathbf{X}))$，则称$T^*$为极小充分统计量。

    通常因子分解定理所得到的充分统计量即为极小充分统计量。

参数估计

• 参数定义：总体分布所含的未知参数及其函数；总体分布的各种特征数（期望、方差……），使用$\theta$表示。
• 参数空间：参数的所有可能取值集合用参数空间$\Theta$表示。
• 参数估计的形式：
  • 点估计（$\theta$的值大约是多少）【矩估计、最大似然估计、最小二乘估计】
  • 区间估计（$\theta$的值大约在哪个范围内）

点估计及无偏性

• 定义：设$x_1,x_2,\cdots,x_n$是来自总体的一个样本，用于估计未知参数$\theta$的统计量$\hat{\theta}=\hat{\theta}(x_1,x_2,\cdots,x_n)$称为$\theta$的估计量，或称为$\theta$的点估计，简称估计。

  可能存在多个$\theta$的估计量，互相无对错之分，只有优劣之分。

• 无偏性：设$\theta$的参数空间为$\Theta$，$\hat{\theta}=\hat{\theta}(x_1,x_2,\cdots,x_n)$为$\theta$的一个估计。若任意$\theta\in\Theta$，有$\mathbb{E}_{\theta}(\hat{\theta})=\theta$，则称$\hat{\theta}$为$\theta$的无偏估计。

  计算路径：$\theta\Longrightarrow$总体（分布）$\Longrightarrow$样本（值）$\Longrightarrow\hat{\theta}$（统计量）$\Longrightarrow \mathbb{E}(\hat{\theta})$；期望可理解为重复抽样多次后得到的平均估计值。

  • 例：样本均值$\overline{x}$为总体期望$\mathbb{E}X$的无偏估计；样本$k$阶原点矩为总体$k$阶原点矩的无偏估计。【中心矩通常不是无偏估计】

  并非所有参数均存在无偏估计（如总体$b(1,p)$的参数$\dfrac{1}{p}$不存在无偏估计），此时称其不可估（否则可估）。

  • 若$\mathbb{E}_\theta(\hat{\theta})\neq\theta$，则称$\hat{\theta}$为$\theta$的有偏估计；若$n\to\infty$时$\mathbb{E}_\theta(\hat{\theta})\to\theta$，则称$\hat{\theta}$为$\theta$的渐近无偏估计。

  例：样本标准差$s$是总体标准差$\sigma$的渐近无偏估计。

  • 无偏估计具有不变性：当$\hat{\theta}$为$\theta$的无偏估计，则$g(\hat{\theta})$也是$\theta$的无偏估计$\Longleftrightarrow g(\theta)$为$\theta$的线性函数。

刀切法（Jacknife）

• 设$\mathbf{x}=(x_1,\cdots,x_n)$为样本，$T(\mathbf{x})$为关于参数$g(\theta)$的统计量，且 $$\mathbb{E}_\theta[T(\mathbf{x})]=g(\theta)+O\left(\dfrac{1}{n}\right)$$ 那么用$\mathbf{x}_{(-i)}$表示样本去掉$x_i$后组成的向量，则$T(\mathbf{x})$的刀切统计量记为 $$T_J(\mathbf{x})=nT(\mathbf{x})-\frac{n-1}{n}\sum_{i=1}^nT(\mathbf{x}_{(-i)})$$ 其具有以下性质： $$\mathbb{E}_\theta[T_J(\mathbf{x})]=g(\theta)+O\left(\frac{1}{n^2}\right)$$

有效性

对象为无偏估计，评价标准为方差

• 定义：设$\hat{\theta}_1$与$\hat{\theta}_2$为$\theta$的两个无偏估计，若对任意$\theta\in\Theta$，$\mathrm{Var}_\theta(\hat{\theta}_1)\leq \mathrm{Var}_\theta(\hat{\theta}_2)$（且至少有一个$\theta$使不等号严格成立），则$\hat{\theta}_1$比$\hat{\theta}_2$更有效。
  • 例：当$\theta$为总体均值，则$n>1$时，$\overline{x}$相比$x_i$更有效。

矩估计及相合性

• 矩法估计（替换原理，皮尔逊提出）定义：
  • 用样本矩替换总体矩（原点矩或中心矩）；
  • 用样本矩的函数替换对应总体矩的函数。
• 矩估计的合理性基础为格里文科定理，本质是用经验分布函数逼近分布函数（对总体分布没有假设）。

概率函数已知时未知参数的矩估计

• 设$p(x;\theta_1,\cdots,\theta_k)$已知，$(\theta_1,\cdots,\theta_k)\in\Theta$是未知参数（或参数向量），且假定总体$k$阶原点矩$\mu_k$存在，$\theta_1,\cdots,\theta_k$可表示为$\mu_1,\cdots,\mu_k$的函数$\theta_j=\theta_j(\mu_1,\cdots,\mu_k)$，那么可给出$\theta_j(1\leq j\leq k)$的矩估计： $$\hat{\theta}_j=\theta_j(a_1,\cdots,a_k),\quad j=1,2,\cdots,k$$ 其中$a_1,\cdots,a_k$为前$k$阶样本原点矩。
  • 进一步，若要估计$\theta_1,\cdots,\theta_k$的函数$\eta=g(\theta_1,\cdots,\theta_k)$，则 $$\hat{\eta}=g(\hat{\theta}_1,\cdots,\hat{\theta}_k)$$

    本质上就是先得到原点矩的估计，再在此基础上估计原点矩函数。

  • 矩估计可能不唯一，此时通常尽量采用低阶矩给出未知参数估计。
• 有时总体矩$\mu_k$关于$\theta_1,\cdots,\theta_k$的表达式不容易求，那么可以直接求解方程组： $$a_i=\int x^ip(x;\theta_1,\cdots,\theta_k)\mathrm{d}x,\quad 1\leq i\leq k$$ 得到对应的参数估计。

相合性

本质：随着样本量的增加，样本包含的总体信息越多，估计的准确程度应该更高。

• 定义：设$\theta\in\Theta$为未知参数，$\hat{\theta}_n=\hat{\theta}_n(x_1,\cdots,x_n)$为$\theta$的一个估计量，若对任意一个$\epsilon>0$，有 $$\lim_{n\to\infty}P(|\hat{\theta}_n-\theta|\geq\epsilon)=0$$ 则称$\hat{\theta}_n$为$\theta$的相合估计。（可理解为依概率收敛：$\hat{\theta}_n\stackrel{p}{\longrightarrow}\theta$）
  • 例：$\overline{x}$为$\mathbb{E}X$的相合估计，$s^2,s^2_n$为$\mathrm{Var}X$的相合估计。
• 充分条件：
  1. 设$\hat{\theta}_n=\hat{\theta}_n(x_1,\cdots,x_n)$为参数$\theta$的一个统计量，若 $$\lim_{n\to\infty}\mathbb{E}(\hat{\theta}_n)=\theta,\quad \lim_{n\to\infty}\mathrm{Var}(\hat{\theta}_n)=0$$ 则$\hat{\theta}_n$是$\theta$的相合估计。
  2. 若$\hat{\theta}_{n1},\cdots,\hat{\theta}_{nk}$分别是$\theta_1,\cdots,\theta_k$的相合估计，$\eta=g(\theta_1,\cdots,\theta_k)$是$\theta_1,\cdots,\theta_k$的连续函数，则$\hat{\eta}_n=g(\hat{\theta}_{n1},\cdots,\hat{\theta}_{nk})$是$\eta$的相合估计。
• 矩估计一般都具有相合性。

最大似然估计与EM算法

• 似然函数：设总体的概率函数为$p(x;\theta),\theta\in\Theta$，$\theta$为未知参数（或向量），$x_1,\cdots,x_n$为总体的样本，将样本联合概率密度函数看作$\theta$的函数，用$L(\theta;x_1,\cdots,x_n)$表示（简记为$L(\theta)$），则称 $$L(\theta)=\prod_{i=1}^np(x_i;\theta)$$ 为参数$\theta$的似然函数。（可去除与$\theta$无关因子）
• 最大似然估计（MLE）：若某统计量$\hat{\theta}=\hat{\theta}(x_1,\cdots,x_n)$满足 $$L(\hat{\theta})=\max_{\theta\in\Theta}L(\theta)$$ 则称$\displaystyle\hat{\theta}=\argmax_{\theta}L(\theta)$是$\theta$的最大似然估计。
• 对数似然函数：称$l(\theta)=\ln L(\theta)$为对数似然函数。
  • 其最大值对应$\theta$与似然函数相同，主要用于简化运算（化幂次为加乘）。

特殊情形：$L(\theta)$包含关于$\theta$的示性函数，此时需要考虑$\argmax_{\theta}L(\theta)$是否在示性函数指定范围内。

• 最大似然估计的不变性：若$\hat{\theta}$是$\theta$的最大似然估计，则对任一函数$g(\theta)$，$g(\hat{\theta})$为其最大似然估计。

  注：若$g$不是单射，即一个$g(\theta)$可能对应多个$\theta$，则取$g(\argmax_{\theta}L(\theta))$.

EM算法

由Dempster等人提出，在人工智能导论中亦有记载。

• 用于解决似然函数复杂（分布中有多余参数）或数据缺失的问题

• 核心：求期望（去掉多余部分）+ 求极大值【迭代】

• 具体方法：

  1. 设观测数据$y=(y_1,\cdots,y_n)$的联合分布为$p(y,\theta)$；
  2. 按情况引入适当的随机变量$z$（也称为潜变量）构成完全数据$\{y,z\}$，然后给定$\theta,y$，确定$z$的条件密度$p(z|y,\theta)$；
  3. 计算完全数据联合密度$p(y,z|\theta)=p(z|y,\theta)p(y|\theta)$，得到对数似然函数$l(\theta)=\ln(p(y,z|\theta))$；
  4. E步：计算$\displaystyle Q(\theta|y,\theta^{(i)})=\mathbb{E}_z[\ln(p(y,z|\theta))|y,\theta^{(i)}]=\int\ln(p(y,z|\theta^{(i)}))p(z|y,\theta^{(i)})dz$；
  5. M步：计算$\theta^{(i+1)}=\argmax_{\theta}Q(\theta|y,\theta^{(i)})$

  之后不断迭代E步与M步，直到$\theta$收敛（变化量小于指定值）。【可证明EM算法收敛】

  注：有时$\theta$会有预先条件，在迭代时如果不满足条件需要进行调整（如调换参数顺序等）

概率极限理论补充

1. $X_n\stackrel{d}{\longrightarrow}X\Longleftrightarrow$对任意有界连续函数$f$，有$\displaystyle\lim_{n\to\infty}\mathbb{E}[f(X_n)]=\mathbb{E}[f(X)]$.
   • 推论（控制收敛定理）：对随机变量$X$与$\{X_n,n\geq 1\}$，若$X_n\stackrel{d}{\longrightarrow}X$，且存在随机变量$Z>0,\mathbb{E}(Z)< \infty$使$|X|\leq Z,|X_n|< Z(n\geq 1)$，则$\displaystyle\lim_{n\to\infty}\mathbb{E}(X_n)=\mathbb{E}(X)$。

   本质就是积分与极限交换次序，详细理论可见实变函数。

2. Lp收敛：若对随机变量序列$\{X_n,n\geq 1\}$与随机变量$X$，满足 $$\lim_{n\to\infty}\mathbb{E}|X_n-X|^p=0$$ 则称$X_n$Lp收敛到$X$，记作$X_n\stackrel{L^p}{\longrightarrow}X$。
   • 性质：Lp收敛可以推出依概率收敛，但与几乎处处收敛无法互相推出。
     （更多性质可参见实变函数）
3. 随机变量的收敛速度（$O_p$与$o_p$）
   • $O_p$（有界概率阶）：记$X_n = O_p(a_n)$，若对任意$\varepsilon > 0$，存在常数$M_\varepsilon > 0$和整数$N_\varepsilon$，使得 $$P\left(\left|\frac{X_n}{a_n}\right| > M_\varepsilon\right) < \varepsilon, \quad \forall n \geq N_\varepsilon.$$ 这意味着$\dfrac{X_n}{a_n}$是依概率有界的。
     • 例：如果 $\sqrt n(\hat{\theta}_n-\theta)\stackrel{d}{\longrightarrow}N(0,\sigma^2)$，那么$\hat{\theta}_n-\theta=O_p\left(\dfrac{1}{\sqrt{n}}\right)$。
   • $o_p$（概率意义下的高阶无穷小）：记$X_n=o_p(a_n)$，若 $$\frac{X_n}{a_n}\stackrel{p}{\longrightarrow}0$$
     • 若$X_n\stackrel{p}{\longrightarrow}0$，则$X_n=o_p(1)$；
     • 若$\hat{\theta}_n$是$\theta$的相合估计且$\sqrt n(\hat{\theta}_n-\theta)=O_p(1)$，则$\hat{\theta}_n-\theta=o_p(1)$。
4. 连续映射定理
   • 设$X_n\stackrel{d}{\longrightarrow}X,Y_n\stackrel{p}{\longrightarrow}c$（$c$为常数），函数$g(x,y)$在任意$x\in \{X$的支撑集$\}$（非零区域）与$y=c$处连续，则$g(X_n,Y_n)\stackrel{d}{\longrightarrow}g(X,c)$。

     当条件均改为依概率收敛（几乎处处收敛），则结论（改为依概率收敛/几乎处处收敛）仍然成立。

   • Slutsky定理：当$g(x,y)=x+y$时，$X_n+Y_n\stackrel{d}{\longrightarrow}X+c$。（当$Y_n=o_p(1)$时，$X_n+Y_n\stackrel{d}{\longrightarrow}X$）
5. Delta方法
   • 设$X_1, X_2, \dots, X_n, \dots$是一列随机变量，且存在某个常数$a$和正常数$b$使得 $$n^b (X_n - a) \xrightarrow{d} X,$$ 假设$g(x)$是一个在$x = a$处连续可导的函数，且$g'(a) \neq 0$，那么 $$n^b \{ g(X_n) - g(a) \} \xrightarrow{d} g'(a)X.$$ （本质为一阶泰勒展开+Slutsky定理）
   • 常用形式：
     设$Y_1, \dots, Y_n, \dots\stackrel{i.i.d}{\sim}Y$且方差有限。记$\displaystyle\mu = \mathbb{E}(Y),\sigma^2 = \text{Var}(Y),X_k =\frac{1}{n}\sum_{j=1}^n Y_j$。
     取$a = \mu = \mathbb{E}(Y),b = \dfrac{1}{2}$，那么 $$\begin{aligned} \sqrt{n}(X_n - \mu) &\xrightarrow{d} N(0, \sigma^2)\\ \Longrightarrow\sqrt{n}\{g(X_n) - g(\mu)\} &\xrightarrow{d} N(0, \{g'(\mu)\}^2\sigma^2). \end{aligned}$$

渐近正态性

• 定义：称参数$\theta$的相合估计$\hat{\theta}$为渐近正态的，若存在趋于$0$的非零序列$\sigma_n(\theta)$，使 $$\frac{\hat{\theta}_n-\theta}{\sigma_n(\theta)}\stackrel{d}{\longrightarrow}N(0,1)$$ 也称$\hat{\theta}_n$服从渐近正态分布$N(\theta,\sigma_n^2(\theta))$，记为$\hat{\theta}_n\sim AN(\theta,\sigma_n^2(\theta))$（称$\sigma_n^2(\theta)$为$\hat{\theta}_n$的渐近方差）

  可理解为中心极限定理的推广

  • 大多数渐近正态的相合估计依概率收敛速度均为$\dfrac{1}{\sqrt{n}}$。

MLE的渐近正态性

• Fisher信息量：设总体$X$的密度函数为$p(x;\theta),\theta \in \Theta$。假设

  $$I(\theta) = \int_{-\infty}^{\infty} \left[ \frac{\partial \ln p(x; \theta)}{\partial \theta} \right]^2 p(x; \theta) dx = \mathbb{E} \left[ \frac{\partial \ln p(X; \theta)}{\partial \theta} \right]^2$$

  对于任意$\theta \in \Theta$都存在，称$I(\theta)$为参数$\theta$的费希尔信息量。

  $\dfrac{\partial \ln p(X; \theta)}{\partial \theta}$也称为得分函数（score function），记作$s(X,\theta)$。其性质如下：$

  • $\mathbb{E}_\theta[s(X,\theta)]=0,\mathrm{Var}_\theta[s(X,\theta)]=I(\theta)$；
  • $I(\theta)=\mathbb{E}_\theta[s^2(X,\theta)]=-\mathbb{E}_\theta\left[\dfrac{\partial s(X,\theta)}{\partial\theta}\right]=-\mathbb{E}_\theta\left[\dfrac{\partial^2 \ln p(X; \theta)}{\partial\theta^2}\right]$.

• 设总体有密度函数$p(x; \theta)$,$\theta \in \Theta$,$\Theta$为非退化区间。假设

  1. $\forall x$，偏导$\dfrac{\partial \ln p}{\partial \theta}$,$\dfrac{\partial^2 \ln p}{\partial \theta^2}$和$\dfrac{\partial^3 \ln p}{\partial \theta^3}$对所有的$\theta \in \Theta$都存在；
  2. $\forall \theta \in \Theta$，存在满足 $$\int_{-\infty}^{\infty} H_1(x) dx < \infty, \quad \sup_{\theta \in \Theta} \int_{-\infty}^{\infty} H_2(x) p(x; \theta) dx < \infty$$ 的函数$H_1(x)$和$H_2(x)$使得 $$\left| \frac{\partial p}{\partial \theta} \right| + \left| \frac{\partial^2 p}{\partial \theta^2} \right| < H_1(x), \quad \left| \frac{\partial^3 \ln p}{\partial \theta^3} \right| < H_2(x).$$
  3. 对于任意$\theta \in \Theta$, 费希尔信息量满足$0 < I(\theta) < \infty$。

  若$X_1, \ldots, X_n$是来自该总体的样本，则未知参数$\theta$的最大似然估计$\hat{\theta}_n$存在，具有相合性和渐近正态性，且$\hat{\theta} \sim AN\left(\theta, \dfrac{1}{nI(\theta)}\right)$。

  上述条件也称为正规条件；Fisher信息量越大，渐近方差越小。

• 渐近方差可用于比较相合估计的好坏

  • 例（Hardy-Weinberg模型）：$X\sim\begin{pmatrix}1&2&3\\p_1&p_2&p_3\end{pmatrix}$，其中$\begin{cases}p_1=\theta^2\\p_2=2\theta(1-\theta)\\p_3=(1-\theta)^2\end{cases}$，则$\theta$有三个相合估计 $$\hat{\theta}_1=\sqrt{\frac{n_1}{n}},\quad\hat{\theta}_2=1-\sqrt{\frac{n_3}{n}},\quad \hat{\theta}_3=\frac{n_1+\dfrac{n_2}{2}}{n}$$ 可验证它们均满足渐近正态性，且 $$\sigma_1^2(\theta)=\frac{1-\theta^2}{4}\quad\sigma_2^2(\theta)=\frac{1-(1-\theta)^2}{4}\quad\sigma_3^2(\theta)=\frac{\theta(1-\theta)}{2}.$$
    计算方法

    使用如下公式（摘自茆诗松《高等数理统计》第二版）：

    $$\sqrt{n}\left(\hat{\theta}\left(\frac{n_1}{n},\cdots,\frac{n_k}{n}\right)-\theta\right)\stackrel{d}{\longrightarrow}N(0,\sigma_k^2)$$

    其中

    $$\sigma_k^2=\sum_{j=1}^kp_j\left(\frac{\partial h}{\partial p_j}\right)^2-\left(\sum_{j=1}^kp_j\frac{\partial h}{\partial p_j}\right)^2\quad (\theta = h(p_1,\cdots,p_k))$$
    由此可知$\sigma_3^2(\theta)$是最好的相合估计（恰为最大似然估计）。

最小方差无偏估计

均方误差

• 之前的相合性和渐近正态性都是基于依概率/分布收敛对估计量进行刻画，但这不适用于有限样本。
• 对于样本量有限的样本，一般使用$\mathbb{E}|\hat{\theta}-\theta|^\alpha$进行度量【$\alpha=2$时为均方误差，最常用】
  • $\mathrm{MSE}(\hat{\theta})=\mathbb{E}(\hat{\theta}-\theta)^2=\underbrace{\mathrm{Var}(\hat{\theta})}_{\text{点估计方差}}+\underbrace{(\mathbb{E}\hat{\theta}-\theta)^2}_{\text{偏差（无偏估计时为}0\text{）}}$
  • 均方误差下一些有偏估计会优于无偏估计
• 定义：设有样本$x_1,\cdots,x_n$，对参数$\theta$，设有估计类$\Omega$，若对该类的点估计$\hat{\theta}=\hat{\theta}(x_1,\cdots,x_n)\in\Omega$，满足对任意$\theta$，任意$\tilde{\theta}\in\Omega$，有 $$\mathrm{MSE}_{\theta}(\hat{\theta})\leq\mathrm{MSE}_{\theta}(\tilde{\theta})$$ 则称$\hat{\theta}$为估计类$\theta$中的一致最小均方误差估计。

一致最小方差无偏估计（UMVUE）

• 不加限制时，一致最小均方误差估计一般不存在。所以将其限制为无偏估计（即$\mathrm{MSE}(\hat{\theta})=\mathrm{Var}(\hat{\theta})$），此时称其为一致最小方差无偏估计，简称UMVUE。
• 充要条件：设$\hat{\theta}$为$\theta$的一个无偏估计，$\mathrm{Var}(\hat{\theta})< \infty$。则$\hat{\theta}$是UMVUE$\Longleftrightarrow$对任意满足$\mathbb{E}[\varphi(\mathbf{X})]=0,\mathrm{Var}(\mathbf{X})< \infty$的统计量$\varphi(\mathbf{X})$， $$\mathrm{Cov}_\theta(\hat{\theta}(\mathbf{X}),\varphi(\mathbf{X}))=\mathbb{E}_\theta(\hat{\theta}(\mathbf{X})\varphi(\mathbf{X}))=0,\quad \forall\theta\in\Theta$$
• 性质：
  1. 设$\hat{\theta}_1$和$\hat{\theta}_2$分别是两个可估参数$\theta_1$和$\theta_2$的UMVUE，那么对于任意常数$c_1$和$c_2$，有$c_1\hat{\theta}_1 + c_2\hat{\theta}_2$是$c_1\theta_1 + c_2\theta_2$的UMVUE。
  2. 设$\hat{\theta}_1$和$\hat{\theta}_2$均为可估参数$\theta$的UMVUE，则$P(\hat{\theta}_1=\hat{\theta}_2)=1$。

充分性原则

注：需要和前面的充分性原则作区分。

• 核心：如果充分统计量和UMVUE均存在，则UMVUE一定可表示为充分统计量的函数。
• Rao-Blackwell定理：设总体概率函数是$p(x, \theta)$，设$X_1, \ldots, X_n$是来自该总体的简单随机样本，$T = T(X_1, \ldots, X_n)$是充分统计量，则对$\theta$的任意无偏估计$\hat{\theta} = \hat{\theta}(X_1, \ldots, X_n)$，令$\tilde{\theta} = \mathbb{E}(\hat{\theta}|T)$，那么$\tilde{\theta}$也是$\theta$的无偏估计，且 $$\text{Var}(\tilde{\theta}) \leq \text{Var}(\hat{\theta}).$$
• 充分完备统计量（本质：排除了与$\theta$无关的噪声）：
  • 定义：设$\{p(x; \theta) : \theta \in \Theta\}$是一个分布族，$X_1, \ldots, X_n$是来自$p(x; \theta)$的样本，其中参数$\theta$未知。如果统计量$T = T(X_1, \ldots, X_n)$满足 $$\mathbb{E}_\theta \{f(T)\} = 0\text{对于所有}\theta \in \Theta\text{都成立}\Longleftrightarrow f\equiv 0$$ 则称$T$是关于分布族$\{p(x; \theta) : \theta \in \Theta\}$的充分完备统计量，简称完备统计量。
  • Lehmann-Scheff定理：设$\{p(x; \theta) : \theta \in \Theta\}$是一个分布族，$X = (X_1, \ldots, X_n)$是来自$p(x; \theta)$的样本，其中参数$\theta$未知。假设统计量$T = T(X)$是关于分布族$\{p(x; \theta) : \theta \in \Theta\}$的充分完备统计量。如果$g(\theta)$存在一个无偏估计$\varphi(X)$，那么它的UMVUE是$\mathbb{E}\{\varphi(X)|T\}$。
  • 构造$g(\theta)$的UMVUE的简单办法：
    1. 找到$g(\theta)$的一个无偏估计$\varphi(X)$和分布族$\{p(x; \theta) : \theta \in \Theta\}$下的充分完备统计量$T(X)$。
    2. 计算$\mathbb{E}\{\varphi(X)|T\}$，这就是所要的UMVUE。
• 如何构造充分完备统计量：

  • 指数型分布族：假设总体概率函数具有如下形式

    $$p(x; \theta) = c(\theta) \exp \left\{ \sum_{j=1}^k c_j(\theta) T_j(x) \right\} h(x),$$

    其中

    • $0 < c(\theta) < \infty, \, c_1(\theta), \ldots, c_k(\theta) < \infty$；
    • 所有$T_j(x)\,(j = 1, \ldots, k)$和$h(x)$都不含参数$\theta$；
    • 支撑集$\{ x : p(x; \theta) > 0 \}$不依赖于$\theta$。

    则称$\{ p(x; \theta) : \theta \in \Theta \}$为指数型分布族或指数族。

    二项分布（多项分布）、泊松分布、负二项分布、几何分布、Gamma分布、正态分布、Beta分布均属于指数型分布族。

  • 在上述指数族中，记$\gamma_j = c_j(\theta)\,(j = 1, \ldots, k)$和$\gamma = (\gamma_1, \ldots, \gamma_k)$。假设$\gamma$与$\theta$之间构成双射，记$\theta=\theta(\gamma),c^*(\gamma) = c(\theta(\gamma))$，那么指数族概率函数可重新表示为

    $$p(x; \gamma) = c^*(\gamma) \exp \left\{ \sum_{j=1}^k \gamma_j T_j(x) \right\} h(x).$$

    这种形式称作指数族分布的标准形式，新的参数空间记为$\Omega$。

  • 指数族下的充分完备统计量：假设$X_1, \ldots, X_n$是来自某总体的样本。如果总体概率函数具有如上所述的标准指数族形式，且参数空间$\Omega$包含有$k$维空间的内点，那么

    $$\left(\sum_{i=1}^n T_1(X_i), \ldots, \sum_{i=1}^n T_k(X_i)\right)$$

    是$\theta$的充分完备统计量。（$T_k(X_i)$常为$X_i$或$X_i^2$）

C-R不等式（Cramer-Rao 不等式）

• 设总体分布$p(x; \theta)$满足正规条件（可参见上述渐近正态性），$x_1, x_2, \cdots, x_n$是来自该总体的样本，$T = T(x_1, x_2, \cdots, x_n)$是$g(\theta)$的任一个无偏估计，$g'(\theta) = \dfrac{\partial g(\theta)}{\partial \theta}$存在，且对$\theta$中一切$\theta$，对 $$g(\theta) = \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} T(x_1, \cdots, x_n) \prod_{i=1}^n p(x_i; \theta) \, dx_1 \cdots dx_n$$ 的微商可在积分号下进行，即 $$g'(\theta) = \int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} T(x_1, \cdots, x_n) \left( \frac{\partial}{\partial \theta} \ln \prod_{i=1}^n p(x_i; \theta) \right) \, dx_1 \cdots dx_n.$$ （对离散总体，则将上述积分改为求和符号后，等式仍然成立。）则有 $$\text{Var}(T) \geq\frac{[g'(\theta)]^2}{nI(\theta)}.$$
  • 称$\dfrac{[g'(\theta)]^2}{nI(\theta)}$为$g(\theta)$的C-R下界。特别地，对$\theta$的无偏估计$\hat{\theta}$，有 $$\text{Var}(T) \geq\frac{1}{nI(\theta)}.$$
  • 若上述不等式能取到等号，则称$T=T(x_1,\cdots,x_n)$为$\theta$的有效估计。有效估计一定是UMVUE。

  需要指出的是：能达到C-R下界的无偏估计并不多，大多数场合无偏估计（UMVUE）都达不到C-R下界。

• 渐近有效性：如果当$n\to\infty$时，估计量$\theta$的渐近方差达到C-R下界，则称其满足渐近有效性。

  • 设$X_1, \dots, X_n$是来自概率函数$f(x, \theta)$的简单样本，假设C-R不等式成立的所有正规条件都成立。如果参数$\theta$的估计量$T_n$满足

    $$T_n - g(\theta) = \frac{1}{n} \sum_{i=1}^n U(X_i, \theta) + e_n$$

    其中

    • $\mathbb{E}\{U(X_i, \theta)\} = 0$；
    • $\sigma^2(\theta) = \mathrm{Var}\{U(X_i, \theta)\} < \infty$；
    • $Ee_n^2 < \infty$；
    • $e_n = o_p(n^{-1/2})$，

    那么

    $$\sqrt{n}(T_n - g(\theta)) \xrightarrow{d} N(0, \sigma^2(\theta)).$$

  • 对于参数$\theta$，用$I(\theta)$表示概率函数$f(x, \theta)$下的Fisher信息量，那么

    $$\sigma^2(\theta) \geq \frac{\{g'(\theta)\}^2}{I(\theta)}.$$

    而当$T_n$是$g(\theta)$的最大似然估计，则取到等号。即在渐近意义下，最大似然估计是估计类中的最优估计。

贝叶斯估计

• 核心思想：将参数视作随机变量，同时受样本信息和人的经验影响。

• 贝叶斯推断基础（三种信息）：

  • 总体信息：总体分布的信息；
  • 样本信息：观测值的信息（样本及其特征数）；
  • 先验信息：参数规律的总结，得到先验分布。

  三者利用贝叶斯公式结合得到参数的后验分布。

• 后验分布的计算：

  1. 设样本为$x_1,\cdots,x_n$，则样本联合概率密度函数为$\displaystyle p(\mathbf{x}|\theta_0)=\prod_{i=1}^n p(x_i|\theta_0)$【总体信息+样本信息】；
  2. 获取$\theta_0$的先验分布$\pi(\theta)$；
  3. 计算样本与参数的联合概率密度函数$h(\mathbf{x},\theta)=p(\mathbf{x}|\theta)\pi(\theta)$；
  4. 对$\theta$求积分，得到边际概率密度函数$\displaystyle m(\mathbf{x})=\int_{\Theta}h(\mathbf{x},\theta)\mathrm{d}\theta$；
  5. 二者相除，得到后验概率密度函数$\displaystyle \pi(\theta|\mathbf{x})=\frac{h(\mathbf{x},\theta)}{m(\mathbf{x})}$。

  总结：$\displaystyle\pi(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)\pi(\theta)}{\displaystyle\int_{\Theta}p(\mathbf{x}|\theta)\pi(\theta)\mathrm{d}\theta}$。
  小技巧：不必直接计算$m(\mathbf{x})$，可以先将$h(\mathbf{x},\theta)$中与$\theta$无关的乘子去掉，再进行积分。

• 估计方法：

  • 最大后验估计（后验密度函数取最大值时对应的$\theta$）；
  • 后验中位数估计（后验分布的中位数）；
  • 后验期望估计（公式：$\displaystyle\hat{\theta}_{B}=\int_{\Theta}\theta\pi(\theta|\mathbf{x})\mathrm{d}\theta$）【最常用】

共轭先验分布

• 设$\theta$是总体分布$p(x; \theta)$中的参数，$\pi(\theta)$是其先验分布，如果对于任意来自$p(x; \theta)$的样本观测值得到的后验分布族$\pi(\theta|\mathbf{x})$与$\pi(\theta)$属于同一个分布族，则称该分布（族）是$\theta$的共轭先验分布（族）。
• 常见指数分布族的共轭先验分布（源自知乎）：

区间估计

• 定义：设$\theta$是总体参数，参数空间为$\Theta$。$X_1, \ldots, X_n$是来自该总体的样本。对于给定$\alpha(0 < \alpha < 1)$，假设有两个统计量 $$\hat{\theta}_L = \hat{\theta}_L(X_1, \ldots, X_n) ,\quad \quad \hat{\theta}_U = \hat{\theta}_U(X_1, \ldots, X_n)$$ 对于任意$\theta \in \Theta$满足 $$P_\theta(\hat{\theta}_L \leq \theta \leq \hat{\theta}_U) \geq 1 - \alpha.$$ 则称随机区间$[\hat{\theta}_L, \hat{\theta}_U]$为$\theta$的置信水平为$1 - \alpha$的置信区间，简称为$\theta$的$1 - \alpha$置信区间。$\hat{\theta}_L$和$\hat{\theta}_U$分别称为$\theta$的（双侧）置信下限和置信上限。

  产生顺序：$\Theta\rightarrow\theta\rightarrow$样本$\rightarrow(\hat{\theta}_L,\hat{\theta}_U)$【参考点估计】

  • 若$P_\theta(\hat{\theta}_L \leq \theta \leq \hat{\theta}_U) = 1 - \alpha$，则称$[\hat{\theta}_L, \hat{\theta}_U]$为$\theta$的$1-\alpha$同等置信区间。
  • 若$P_\theta(\hat{\theta}_L \leq \theta)\geq 1-\alpha$，则称$\hat{\theta}_L$为$\theta$的（单侧）置信下限。【（单侧）置信上限、同等置信上（下）限定义同理，略】

  注：上面的概率都是区间覆盖$\theta$的概率，由样本决定【不是$\theta$落入区间的概率】

• 寻找（同等）置信区间的方法——枢轴量法
  • 枢轴量定义：$G(\mathbf{x},\theta)$，即依赖样本数据及未知参数，且其分布已知（不依赖未知参数）。
    • 若$G$为枢轴量，对任意不依赖$\theta$的函数$h$，$h(G)$也是枢轴量；
    • 一般基于$\theta$的MLE及其分布进行构造。
  • 具体方法：
    1. 选取适当常数$c,d$使得对给定$\alpha\in(0,1)$，满足$P_\theta(c\leq G\leq d)=1-\alpha$；
       • 或者也可以找$P(G\geq c)=P(G\leq d)=\dfrac{\alpha}{2}$，此时得到的就是等尾置信区间。
    2. 将$c\leq G\leq d$转化为$\hat{\theta}_L \leq \theta \leq \hat{\theta}_U$，从而得到一个置信上（下）限和（同等）置信区间。
       • 最好能找到区间平均长度$\mathbb{E}[\hat{\theta}_U-\hat{\theta}_L]$最小的区间。

单正态总体区间估计

即对服从$N(\mu,\sigma^2)$的总体参数$\mu,\sigma^2$构造置信区间。具体包含以下三种情形：

1. $\sigma$已知时$\mu$的置信区间
   • 枢轴量：$\displaystyle G=\frac{\sqrt{n}(\overline{X}-\mu)}{\sigma}\sim N(0,1)$；
   • $\mu$的一个$1-\alpha$同等置信区间为$\displaystyle\left[\overline{X}-\frac{u_{1-\frac{\alpha}{2}}\sigma}{\sqrt{n}},\overline{X}+\frac{u_{1-\frac{\alpha}{2}}\sigma}{\sqrt{n}}\right]$，也记作$\displaystyle\overline{X}\pm\frac{u_{1-\frac{\alpha}{2}}\sigma}{\sqrt{n}}$。
2. $\sigma$未知时$\mu$的置信区间
   • 枢轴量：$\displaystyle G=\frac{\sqrt{n}(\overline{X}-\mu)}{s}\sim t(n-1)$（$s$为样本标准差）；
   • $\mu$的一个$1-\alpha$同等置信区间为$\displaystyle\overline{X}\pm\frac{t_{1-\frac{\alpha}{2}}(n-1)s}{\sqrt{n}}$。
3. $\mu$未知时$\sigma$的置信区间
   • 枢轴量：$G=\dfrac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1)$
   • 使用等尾置信区间$c=\chi^2_{\frac{\alpha}{2}}(n-1),d=\chi^2_{1-\frac{\alpha}{2}}(n-1)$，得到$\sigma$的一个$1-\alpha$置信区间为$\displaystyle\left[\sqrt{\frac{(n-1)s^2}{\chi^2_{1-\frac{\alpha}{2}}(n-1)}},\sqrt{\frac{(n-1)s^2}{\chi^2_{\frac{\alpha}{2}}(n-1)}}\right]$。

大样本置信区间

• 例：已知总体分布为$b(1,p)$的样本$x_1,\cdots,x_n$，则有$\overline{X}\stackrel{\cdot}{\sim}N\left(p,\dfrac{p(1-p)}{n}\right)$，故$G=\dfrac{\overline{X}-p}{\sqrt{\frac{p(1-p)}{n}}}$可作为近似枢轴量。
  • 由此可得$p$的近似区间估计为$\overline{X}\pm u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{\overline{X}(1-\overline{X})}{n}}$.
• 一般情形（适用于任何满足渐近正态性的无偏估计）：假定$X_1, X_2, \dots, X_n$是样本，设总体方差$\sigma^2$有限，求总体均值为$\mu$的$1 - \alpha$置信区间。
  • 由中心极限定理： $$\frac{\overline{X} - \mu}{\sigma\sqrt{n}}\stackrel{\cdot}{\sim}N(0, 1).$$
  • 若$\sigma$已知，$\mu$的$1 - \alpha$近似区间估计是$\overline{X} \pm u_{1-\frac{\alpha}{2}}\dfrac{\sigma}{\sqrt{n}}$；
  • $\sigma$未知时，把它替换为一个相合估计$s$，从而得到真正的$\mu$的$1 - \alpha$近似区间估计$\overline{X} \pm u_{1-\frac{\alpha}{2}}\dfrac{s}{\sqrt{n}}$。
• 样本量的确定：把某比率$p$作为关心的参数，在某种刻画$p$的估计精度的要求下，确定至少需要的样本量。【通常限制为给定$\alpha$和区间长度上限$d_0$】

两个正态总体下的区间估计

• 设两组样本$x_1,\cdots,x_m\stackrel{i.i.d}{\sim}N(\mu_1,\sigma_1^2),y_1,\cdots,y_n\stackrel{i.i.d}{\sim}N(\mu_2,\sigma_2^2)$，且相互独立。样本均值为$\overline{X},\overline{Y}$，样本方差为$s_x^2,s_y^2$。

1. $\sigma_1^2,\sigma_2^2$已知时$\mu_1-\mu_2$的置信区间
   • 枢轴量：$G=\dfrac{\overline{X}-\overline{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{m}+\frac{\sigma_2^2}{n}}}\sim N(0,1)$
   • 则$\mu_1-\mu_2$的一个$1-\alpha$置信区间为$(\overline{X}-\overline{Y})\pm u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{\sigma_1^2}{m}+\dfrac{\sigma_2^2}{n}}$
2. $\sigma_1^2=\sigma_2^2=\sigma^2$未知时$\mu_1-\mu_2$的置信区间
   • 枢轴量：$G=\dfrac{\overline{X}-\overline{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{1}{m}+\frac{1}{n}}\cdot s_w}\sim t(m+n-2)$，其中$s_w^2=\dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$
   • $\mu_1-\mu_2$的一个$1-\alpha$置信区间：$(\overline{X}-\overline{Y})\pm\sqrt{\dfrac{1}{m}+\dfrac{1}{n}}\cdot s_w\cdot t_{1-\frac{\alpha}{2}}(m+n-2)$
3. $\sigma_1^2,\sigma_2^2$未知，但$\dfrac{\sigma_1^2}{\sigma_2^2}=c$已知时$\mu_1-\mu_2$的置信区间
   • 枢轴量：$G=\dfrac{\overline{X}-\overline{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{1}{m}+\frac{c}{n}}\cdot s_w}\sim t(m+n-2)$，其中$s_w^2=\dfrac{(m-1)s_x^2+\frac{1}{c}(n-1)s_y^2}{m+n-2}$
   • $\mu_1-\mu_2$的一个$1-\alpha$置信区间：$(\overline{X}-\overline{Y})\pm\sqrt{\dfrac{1}{m}+\dfrac{c}{n}}\cdot s_w\cdot t_{1-\frac{\alpha}{2}}(m+n-2)$
4. $\sigma_1^2,\sigma_2^2$均未知但$m,n$较大时$\mu_1-\mu_2$的置信区间
   • 使用大样本置信区间：$G=\dfrac{\overline{X}-\overline{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{s_x^2}{m}+\frac{s_y^2}{n}}}\stackrel{\cdot}{\sim} N(0,1)$
   • 故$\mu_1-\mu_2$的一个近似$1-\alpha$置信区间为$(\overline{X}-\overline{Y})\pm u_{1-\frac{\alpha}{2}}\sqrt{\dfrac{s_x^2}{m}+\dfrac{s_y^2}{n}}$
5. 一般情况下$\mu_1-\mu_2$的置信区间（方差未知且$m,n$不太大）【也称为Behrens-Fisher问题】
   • 记$s_0^2=\dfrac{s_x^2}{m}+\dfrac{s_y^2}{n}$，则$T=\dfrac{\overline{X}-\overline{Y}-(\mu_1-\mu_2)}{s_0}$近似服从$t(l)$，其中$l=\dfrac{s_0^4}{\frac{s_x^4}{m^2(m-1)}+\frac{s_y^4}{n^2(n-1)}}$取最近整数。
   • 由此可得$\mu_1-\mu_2$的近似$1-\alpha$置信区间为$\overline{X}-\overline{Y}\pm s_0\cdot t_{1-\frac{\alpha}{2}}(l)$
6. $\dfrac{\sigma_1^2}{\sigma_2^2}$的置信区间
   • 枢轴量：$F=\dfrac{s_x^2/\sigma_1^2}{s_y^2/\sigma_2^2}\sim F(m-1,n-1)$
   • $\dfrac{\sigma_1^2}{\sigma_2^2}$的一个$1-\alpha$置信区间为$\displaystyle\left(\frac{s_x^2}{s_y^2}\cdot\frac{1}{F_{1-\frac{\alpha}{2}}(m-1,n-1)},\frac{s_x^2}{s_y^2}\cdot\frac{1}{F_{\frac{\alpha}{2}}(m-1,n-1)}\right)$

假设检验

基本思想

• 假设检验问题：参数是否为给定值/在给定值范围内？

假设检验的基本步骤

1. 建立假设
   设样本$X_1,\cdots,X_n$服从某参数分布$F(x,\theta)$（$\theta\in\Theta$）：

   • 取$\Theta_0\subset\Theta$，称命题$H_0:\theta\in\Theta_0$为原假设（或零假设）；
   • 取$\Theta_1\subset\Theta,\Theta_0\cap\Theta_1=\varnothing$（一般取$\Theta_1=\Theta-\Theta_0$），称命题$H_1:\theta\in\Theta_1$为$H_0$的对应假设（或备择假设）

   由此假设检验问题可描述为$H_0:\theta\in\Theta_0\quad\text{vs}\quad H_1:\theta\in\Theta_1$。
   若$\Theta_0$只包含一点，则称$H_0$为简单原假设，否则称为复合原假设【备择假设同理】

   • 特别地，$H_0:\theta=\theta_0$时，称$H_1':\theta\neq\theta_0$为双侧假设，$H_1'':\theta< \theta_0,H_1''':\theta>\theta_0$为单侧假设（或单边假设）

   后续假设检验基本就考虑这三种假设检验问题。（$H_0\quad\text{vs}\quad H_1'(H_1'',H_1''')$）

2. 选择检验统计量，给出拒绝域形式
   无法直接判断$H_0,H_1$是否成立，所以策略是：找一个$\theta$的一个好的估计量$\hat{\theta}$，当$\hat{\theta}$越倾向$\Theta_0$，则$H_0$越可能成立（$H_1$同理）

   • 将样本空间划分为不相交的两部分$W$和$\overline{W}$，其中$W$称为拒绝域（样本落入时拒绝$H_0$），$\overline{W}$称为接受域（样本落入时不拒绝$H_0$）

   拒绝域的形式与备择假设的形式密切相关。

3. 选择显著性水平
   两类错误：

   • 第一类错误：$H_0$成立但样本落入拒绝域$W$，导致拒绝$H_0$【拒真】；
   • 第二类错误：$H_1$成立但样本落入接受域$\overline{W}$，导致不拒绝$H_0$【取伪】。

   对应的两类错误率：

   $$\begin{cases} a(\theta)=P_\theta(X\in W),\theta\in\Theta_0\\ b(\theta)=P_\theta(X\in\overline{W}),\theta\in\Theta_1 \end{cases}$$

   对于任何检验都无法同时减少两类错误。

   • 势函数（功效函数）：设拒绝域$W$，观测值$X=(X_1,\cdots,X_n)$，则函数记为$P_\theta(X\in W),\theta\in\Theta$。
     • 与错误率的关系：$a(\theta)=g(\theta)\,(\theta\in\Theta_0),\quad b(\theta)=1-g(\theta)\,(\theta\in\Theta_1)$
   • 如何权衡？进行折中——仅对第一类错误率进行限制【Fisher显著性检验】
     • 若检验满足$\forall\theta\in\Theta_0,g(\theta)\leq\alpha$（$\displaystyle\sup_{\theta\in\Theta_0}g(\theta)\leq\alpha$），则称其为显著性水平为$\alpha$的显著性检验。【$\alpha$不能太小，一般取$0.05,0.1$或$0.01$】
     • 原则：适当控制$\alpha(\theta)$的前提下尽量降低$b(\theta)$。【让功效函数曲线尽量在$\Theta_0$中尽量低，在$\Theta_1$中尽量高】

4. 给出拒绝域
   确定$\alpha$后给出$W$的明确范围【常用检验统计量表示】

   • 检验统计量在$H_0$成立时完全已知，检验时根据样本计算检验统计量，判断其是否属于拒绝域。

5. 做出判断

   • 注：不拒绝原假设在一些情况下可看作接受原假设，但二者并非完全等同。

• 理论依据（小概率原理）：单次试验中极小概率事件几乎不发生
  • 如果$H_0$成立，而$X\in W$发生，则认为产生矛盾，拒绝原假设；若$X\in W$不发生，则没有足够证据证明$H_0$不对，无法拒绝$H_0$。
• $H_0$和$H_1$的选取原则
  • 一般将成立时被误判为不成立（第一类错误）会引发严重后果的命题选为原假设；
  • 希望证明不正确的命题选为原假设，希望证明正确的命题选为备择假设；
  • 大众普遍认为成立的命题选为原假设。
• 检验的$p$值
  • 定义：利用样本观测值能拒绝原假设的最小显著性水平，记作$\text{pv}$。【属于统计量】
  • 假设检验中，当$\text{pv}\leq\alpha$时，拒绝原假设；$\text{pv}>\alpha$时，不拒绝原假设。

  $p$值检验与样本是否落入拒绝域等价。$

正态总体参数假设检验

注：以下检验表格中$p$值里带星号的都是观测值代入统计量得到的结果。

1. 单正态总体均值假设检验

   检验法	$H_0$	$H_1$	检验统计量	拒绝域	$p$值
   $u$检验（$\sigma$已知）	$\mu \leq \mu_0$	$\mu > \mu_0$	$u = \dfrac{\overline{X} - \mu_0}{\sigma\sqrt{n}}$	$\{u \geq u_{1-\alpha}\}$	$1 - \Phi(u_*)$
   	$\mu \geq \mu_0$	$\mu < \mu_0$	同上	$\{u \leq u_{\alpha}\}$	$\Phi(u_*)$
   	$\mu = \mu_0$	$\mu \neq \mu_0$	同上	$\{\vert u\vert \geq u_{1-\frac{\alpha}{2}}\}$	$2 - 2\Phi(\vert u_*\vert)$
   $t$检验（$\sigma$未知）	$\mu \leq \mu_0$	$\mu > \mu_0$	$t = \dfrac{\overline{X} - \mu_0}{S\sqrt{n}}$	$\{t \geq t_{1-\alpha}(n-1)\}$	$P(\tilde{t} > t_*)$
   	$\mu \geq \mu_0$	$\mu < \mu_0$	同上	$\{t \leq t_{\alpha}(n-1)\}$	$P(\tilde{t} < t_*)$
   	$\mu = \mu_0$	$\mu \neq \mu_0$	同上	$\{\vert t\vert \geq t_{1-\frac{\alpha}{2}}(n-1)\}$	$P(\vert \tilde{t}\vert \geq \vert t_*\vert)$

   其中$\tilde{t}$表示服从$t(n-1)$的随机变量。

   • 实际还有两类假设： $$\begin{cases} H_0:\mu=\mu_0\quad\text{vs}\quad H_1:\mu>\mu_0\\ H_0:\mu=\mu_0\quad\text{vs}\quad H_1:\mu<\mu_0 \end{cases}$$ 但因为其拒绝域分别与$H_0:\mu \leq \mu_0\quad\text{vs}\quad H_1:\mu > \mu_0$和$H_0:\mu \geq \mu_0\quad\text{vs}\quad H_1:\mu < \mu_0$相同（势函数单调），所以不作特别处理（下同）。

2. 两正态总体均值假设检验

   检验法	$H_0$	$H_1$	检验统计量	拒绝域	$p$值
   $u$检验（方差已知）	$\mu_1 - \mu_2 \leq 0$	$\mu_1 - \mu_2 > 0$	$u = \dfrac{\overline{X} - \overline{Y}}{\sqrt{\dfrac{\sigma_1^2}{m} + \dfrac{\sigma_2^2}{n}}}$	$\{u \geq u_{1-\alpha}\}$	$1 - \Phi(u_*)$
   	$\mu_1 - \mu_2 \geq 0$	$\mu_1 - \mu_2 < 0$	同上	$\{u \leq u_{\alpha}\}$	$\Phi(u_*)$
   	$\mu_1 - \mu_2 = 0$	$\mu_1 - \mu_2 \neq 0$	同上	$\{\vert u\vert\leq u_{1-\frac{\alpha}{2}}\}$	$2-2\Phi(\vert u_*\vert)$
   $t$检验（方差未知但相等）	$\mu_1 - \mu_2 \leq 0$	$\mu_1 - \mu_2 > 0$	$t = \dfrac{\overline{X} - \overline{Y}}{s_w \sqrt{\dfrac{1}{m} + \dfrac{1}{n}}}$	$\{\vert t\vert \geq t_{1-\alpha}(m+n-2)\}$	$P(\tilde{t}_1 > t_*)$
   	$\mu_1 - \mu_2 \geq 0$	$\mu_1 - \mu_2 < 0$	同上	$\{t \leq t_{\alpha}(m+n-2)\}$	$P(\tilde{t}_1 < t_*)$
   	$\mu_1 - \mu_2 = 0$	$\mu_1 - \mu_2 \neq 0$	同上	$\{\vert t\vert \geq t_{1-\frac{\alpha}{2}}(m+n-2)\}$	$P(\vert\tilde{t}_1\vert > \vert t_*\vert)$
   大样本$u$检验（方差未知）	$\mu_1 - \mu_2 \leq 0$	$\mu_1 - \mu_2 > 0$	$u = \dfrac{\overline{X} - \overline{Y}}{\sqrt{\dfrac{s_x^2}{m} + \dfrac{s_y^2}{n}}}$	$\{u \geq u_{1-\alpha}\}$	$1 - \Phi(u_*)$
   	$\mu_1 - \mu_2 \geq 0$	$\mu_1 - \mu_2 < 0$	同上	$\{u \leq u_{\alpha}\}$	$\Phi(u_*)$
   	$\mu_1 - \mu_2 = 0$	$\mu_1 - \mu_2 \neq 0$	同上	$\{\vert u\vert \geq u_{1-\frac{\alpha}{2}}\}$	$2 - 2\Phi(\vert u_*\vert)$
   近似$t$检验（$m,n$不很大）	$\mu_1 - \mu_2 \leq 0$	$\mu_1 - \mu_2 > 0$	$t = \dfrac{\overline{X} - \overline{Y}}{\sqrt{\dfrac{s_x^2}{m} + \dfrac{s_y^2}{n}}}$	$\{t \geq t_{1-\alpha}(l)\}$	$P(\tilde{t}_2 > t_*)$
   	$\mu_1 - \mu_2 \geq 0$	$\mu_1 - \mu_2 < 0$	同上	$\{t \leq t_{\alpha}(l)\}$	$P(\tilde{t}_2 < t_*)$
   	$\mu_1 - \mu_2 = 0$	$\mu_1 - \mu_2 \neq 0$	同上	$\{\vert t\vert \geq t_{1-\frac{\alpha}{2}}(l)\}$	$P(\vert\tilde{t}_2\vert > \vert t_*\vert)$

   其中：

   • $s_w=\dfrac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2}$；
   • $\tilde{t}_1 \sim t(m+n-2)$，$\tilde{t}_2 \sim t(l)$，其中 $$l = \left( \frac{s_x^2}{m} + \frac{s_y^2}{n} \right)^{2} \Big/ \left\{ \frac{s_x^4}{m^2(m-1)} + \frac{s_y^4}{n^2(n-1)} \right\}.$$

3. 成对数据检验

   • 与两正态总体检验区别：将成对数据看作一个总体
   • 例：检验成对数据$\{(X_1,Y_1),\cdots,(X_n,Y_n)\}$中$X$均值与$Y$均值是否相同，就先求成对差$D_i=X_i-Y_i$再检验$\{D_i\}$均值是否为$0$。【一般使用t检验】
   • 优点：检验目的更加明确，数据的误差更小，功效更高（从而第二类错误更小）。

4. 正态总体方差假设检验

   检验法	$H_0$	$H_1$	检验统计量	拒绝域	$p$值
   $\chi^2$检验（单总体样本）	$\sigma^2 \leq \sigma_0^2$	$\sigma^2 > \sigma_0^2$	$\chi^2 = \dfrac{(n-1)S^2}{\sigma_0^2}$	$\{\chi^2 \geq \chi^2_{1-\alpha}\}$	$P(\tilde{\chi}^2 \geq \chi^2_*)$
   	$\sigma^2 \geq \sigma_0^2$	$\sigma^2 < \sigma_0^2$	同上	$\{\chi^2 \leq \chi^2_{\alpha}\}$	$P(\tilde{\chi}^2 \leq \chi^2_*)$
   	$\sigma^2 = \sigma_0^2$	$\sigma^2 \neq \sigma_0^2$	同上	$\{\chi^2 \leq \chi^2_{\frac{\alpha}{2}}$或$\chi^2 \geq \chi^2_{1-\frac{\alpha}{2}}\}$	$2 \min\{P(\chi^2 \leq \chi^2_*), P(\tilde{\chi}^2 \geq \chi^2_*)\}$
   $F$检验（两总体样本）	$\sigma_1^2 \leq \sigma_2^2$	$\sigma_1^2 > \sigma_2^2$	$F = \dfrac{s_x^2}{s_y^2}$	$\{F \geq F_{1-\alpha}\}$	$P(\tilde{F} \geq F_*)$
   	$\sigma_1^2 \geq \sigma_2^2$	$\sigma_1^2 < \sigma_2^2$	同上	$\{F \leq F_{\alpha}\}$	$P(\tilde{F} \leq F_*)$
   	$\sigma_1^2 = \sigma_2^2$	$\sigma_1^2 \neq \sigma_2^2$	同上	$\{F \leq F_{\frac{\alpha}{2}}$或$F \geq F_{1-\frac{\alpha}{2}}\}$	$2 \min\{P(\tilde{F} \leq F_*), P(\tilde{F} \geq F_*)\}$

   其中$\chi^2_*$和$F_*$分别是根据样本计算得到的$\chi^2$和$F$的值，且

   $$\begin{aligned} &\tilde{\chi}^2 \sim \chi^2(n-1),\tilde{F} \sim F(m-1, n-1)\\ &\chi^2_a = \chi^2_a(n-1),F_a = F_a(m-1, n-1). \end{aligned}$$

其他分布参数假设检验

1. 指数分布参数检验
   设$X_1,\cdots,X_n$为服从$\text{Exp}\left(\dfrac{1}{\theta}\right)$的样本，对参数$\theta$进行假设检验：

   $H_0$	$H_1$	检验统计量	拒绝域	$p$值
   $\theta\leq\theta_0$	$\theta>\theta_0$	$\chi^2=\dfrac{2n\overline{X}}{\theta}$	$\{\chi^2\geq\chi^2_{1-\alpha}(2n)\}$	$P(\chi^2 \geq \chi^2_*)$
   $\theta\geq\theta_0$	$\theta< \theta_0$	同上	$\{\chi^2\leq\chi^2_{\alpha}(2n)\}$	$P(\tilde{\chi}^2 \leq \chi^2_*)$
   $\theta=\theta_0$	$\theta\neq\theta_0$	同上	$\{\chi^2\leq\chi^2_{\frac{\alpha}{2}}(2n)\}$或$\{\chi^2\geq\chi^2_{1-\frac{\alpha}{2}}(2n)\}$	$2 \min\{P(\chi^2 \leq \chi^2_*), P(\tilde{\chi}^2 \geq \chi^2_*)\}$

2. 二项分布比率$p$的假设检验
   对$n$次伯努利实验，设$X$为事件发生的次数，则$X\sim b(n,p)$，对参数$p$进行假设检验：

   拒绝域检验较麻烦，一般选用$p$值检验。

   $H_0$	$H_1$	$p$值
   $p\leq p_0$	$p> p_0$	$P(\tilde{X}\geq X_*)$
   $p\geq p_0$	$p< p_0$	$P(\tilde{X}\leq X_*)$
   $p= p_0$	$p\neq p_0$	$2\min\{P(\tilde{X}\geq X_*),P(\tilde{X}\leq X_*)\}$

   其中$X_*$为样本观测值，$\tilde{X}\sim b(n,p_0)$。

3. 大样本假设检验
   例：总体均值为$\theta$，方差为$\sigma^2$，则利用中心极限定理，$\displaystyle u=\frac{\overline{X}-\theta_0}{\hat{\sigma}/\sqrt{n}}\stackrel{\cdot}{\sim}N\left(\frac{\theta-\theta_0}{\sigma/\sqrt{n}},1\right)$可作为检验统计量。（$\hat{\sigma}$为样本得到的标准差）

   注：$u=\dfrac{\overline{X}-\theta_0}{\sigma/\sqrt{n}}$也可以作为检验统计量。

   $H_0$	$H_1$	拒绝域	$p$值
   $\theta\leq\theta_0$	$\theta>\theta_0$	$\{u \ge u_{1-\alpha}\}$	$1-\Phi(u_*)$
   $\theta\geq\theta_0$	$\theta< \theta_0$	$\{u \le u_{\alpha}\}$	$\Phi(u_*)$
   $\theta=\theta_0$	$\theta\ne\theta_0$	$\{\vert u\vert > u_{1-\frac{\alpha}{2}}\}$	$2-2\Phi(\vert u_*\vert)$

   其中$u_*$表示样本得到的$u$值。

似然比检验与分布拟合检验

似然比检验

• 似然比检验由Neyman和Pearson于1928年提出，其于假设检验的地位类似MLE在参数估计的地位。
• 似然比定义：设$X_1, \dots, X_n$是来自密度为$p(x; \theta)$（$\theta \in \Theta$）的总体的样本，考虑如下检验问题： $$H_0: \theta \in \Theta_0 \quad \text{vs} \quad H_1: \theta \in \Theta_1 = \Theta - \Theta_0.$$ 记参数$\theta$的似然函数为$\displaystyle L(\theta) = \prod_{i=1}^n p(x_i; \theta)$，则统计量 $$\Lambda(X_1, \dots, X_n) = \frac{\sup_{\theta \in \Theta} L(\theta)}{\sup_{\theta \in \Theta_0} L(\theta)}$$ 称作上述检验问题的似然比。
• 似然比也可表示为$\Lambda(X_1, \dots, X_n)=\dfrac{L(\argmax_{\theta\in\Theta}L(\theta))}{L(\argmax_{\theta\in\Theta_0}L(\theta))}\geq 1$，即两个不同参数空间上的最大似然估计似然函数之比。当$H_0$成立时，$\Lambda$接近$1$；反之$H_1$成立时，$\Lambda$比$1$大。
• 似然比检验（简称LRT）：拒绝域取$W=\{\Lambda>c\}$，其中$c$满足 $$\sup_{\theta\in\Theta_0}P_\theta(\Lambda(X_1,\cdots,X_n)\geq c)\leq\alpha.$$ 在正规条件（可参见上述渐近正态性）下，$2\ln\Lambda\stackrel{\cdot}{\sim}\chi^2(k)$，其中$k$为$\Theta$到$\Theta_0$参数自由度减少个数。因此拒绝域可取$W=\{2\ln\Lambda\geq\chi^2_{1-\alpha}(k)\}$。

  证明略，可参见似然比的渐近卡方性。

分布拟合检验

1. 分类数据
   • 问题形式：设总体分为$r$类：$A_1, \ldots, A_r$，各类所占的比例分别是$p_1, \ldots, p_r$。要检验的假设是 $$H_0: p_i = p_{i0}, \quad i = 1, 2, \ldots, r$$ 其中$p_{i0} > 0$已知，且满足$\displaystyle\sum_{i=1}^r p_{i0} = 1$。备择假设在没有明确指出时指的是$H_1:\, H_0$不成立。
   • Pearson拟合优度检验：设总体分为$r$类：$A_1, \ldots, A_r$，各类所占的比例分别是$p_{10} > 0, \ldots, p_{r0} > 0$。设容量为$n$的样本中属于$A_i$类的共有$n_i$，$\displaystyle\sum_{i=1}^r n_i = n$。当$n \to \infty$时， $$\chi^2 = \sum_{i=1}^r \frac{(n_i - np_{i0})^2}{np_{i0}} \xrightarrow{d} \chi^2(r-1).$$ 由此得到拒绝域为$W=\{\chi^2\geq\chi^2_{1-\alpha}(r-1)\}$，对应$p$值为$P(\tilde{\chi}^2\geq\chi^2_\alpha(r-1))$（$\tilde{\chi}^2\sim\chi^2(r-1)$）。
     • 检验通常要求每一类的观测数不小于$5$，不满足要求时，可把相邻类别进行合并。
   • 注：实际问题中，$p_{i0} = p_{i0}(\gamma)$可能依赖于一个$k$-维未知参数$\gamma$。这时上述检验不能直接使用，需要作如下改动：
     • 首先在$H_0$下，利用极大似然估计$\hat{\gamma} = \arg \max L(\gamma)$对$\gamma$进行估计，其中似然函数 $$L(\gamma) = \frac{n!}{n_1! \cdots n_r!} \{p_{10}(\gamma)\}^{n_1} \cdots \{p_{r0}(\gamma)\}^{n_r}.$$
     • 再记$\hat{p}_i = p_{i0}(\hat{\gamma})$，并定义 $$\chi^2 = \sum_{j=1}^r \frac{(n_j - n \hat{p}_j)^2}{n \hat{p}_j}$$ 当$H_0$成立时，这个检验统计量服从渐近$\chi^2_{r-k-1}$。由此可进行检验。
2. 分布函数
   • 假设$X_1, \dots, X_n$是来自总体$F(x)$的样本，要检验的是 $$H_0: F(x) = F_0(x), \quad \forall x \in \mathbb{R},$$ 其中$F_0$是某个完全已知的分布，或者依赖于有限个参数且函数形式已知的分布函数，称作理论分布。检验问题是检验观测数据是否与理论分布$F_0$相符合。
   • 假设总体$X$是取值为$a_1, a_2, \ldots$的离散随机变量。把某些相邻的$a_i$进行合并，使得总体分为有限类$A_1, A_2, \ldots, A_r$，并使得样本观测值$X_1, \ldots, X_n$落入每一类$A_i$的个数$n_i$不小于$5$。当$X \sim F_0(x)$时，记$p_i = P(X \in A_i)$。假设$H_0$：总体分布$F(x) = F_0(x)$就转化为 $$H_0: A_i \text{ 所占的比例为 } p_i, \quad j = 1, \ldots, r.$$ 后续步骤和分类数据检验相同。
   • 假设总体$X$为连续随机变量，分布函数为$F(x)$。要检验$H_0$：总体分布$F(x) = F_0(x)$。
     • 选$r-1$个实数$a_1 < a_2 < \cdots < a_{r-1}$，把实数轴分为$r$个区间 $$A_1 = (-\infty, a_1], \quad A_2 = (a_1, a_2], \quad \cdots, \quad A_r = (a_{r-1}, \infty).$$ 相当于把总体分为$r$类。
     • 当$X \sim F_0(x)$时，记$p_i = P(X \in A_i) = F_0(a_i) - F_0(a_{i-1})$，其中$a_0 = -\infty, a_r = \infty$。
     • 设$X_1, \cdots, X_n$是来自总体$X$的样本，用$n_i$表示样本观测值落入$A_i$的个数。那么检验问题就转化为 $$H_0: A_i \text{ 所占的比例为 } p_i, \quad i = 1, \cdots, r.$$ 后续步骤和分类数据检验相同。
     • 注：分组点$\{a_i\}$选取不同可能会得到不同的检验结果，所以对连续分布进行$\chi^2$拟合优度检验需要慎重。
       • 可以尝试使用不同的分组点进行检验，只要有一种情况得到拒绝原假设的结论就要引起重视。
3. 列联表独立性检验
   • 列联表定义：按照两个或者多个特征进行分类得到的频数数据，称作交叉分类数据。它们一般都以表格的形式给出，这种表格称作列联表。（此处只涉及二维情形）
   • 设两个属性$A$和$B$分别有$r$个类（$A_1,\cdots,A_r$）和$c$个类（$B_1,\cdots,B_c$），则列联表形式如下：

     A \ B	1	$\cdots$	j	$\cdots$	c	和
     1	$n_{11}$	$\cdots$	$n_{1j}$	$\cdots$	$n_{1c}$	$n_{1\cdot}$
     $\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$
     i	$n_{i1}$	$\cdots$	$n_{ij}$	$\cdots$	$n_{ic}$	$n_{i\cdot}$
     $\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$	$\vdots$
     r	$n_{r1}$	$\cdots$	$n_{rj}$	$\cdots$	$n_{rc}$	$n_{r\cdot}$
     和	$n_{\cdot 1}$	$\cdots$	$n_{\cdot j}$	$\cdots$	$n_{\cdot c}$	$n$

   • 在$r \times c$列联表中，记$p_{i\cdot} = P(X$属于$A_i)$，$p_{\cdot j} = P(X$属于$B_j)$，$p_{ij} = P(X$同时属于$A_i$和$B_j)$。那么 $$p_{i\cdot} = \sum_{j=1}^{c} p_{ij}, \quad p_{\cdot j} = \sum_{i=1}^{r} p_{ij}, \quad \sum_{i=1}^{r} \sum_{j=1}^{c} p_{ij} = 1.$$ 于是原假设$A$和$B$独立可表述为 $$H_0 : p_{ij} = p_{i\cdot}p_{\cdot j}, \quad i = 1, 2, \dots, r,\quad j = 1, 2, \cdots, c.$$
   • 参数$p_{ij}, p_{i\cdot}$和$p_{\cdot j}$的 MLE 分别是$\dfrac{n_{ij}}{n},\dfrac{n_{i\cdot}}{n}$和$\dfrac{n_{\cdot j}}{n}$（分别记作$\hat{p}_{ij},\hat{p}_{i\cdot}$和$\hat{p}_{\cdot j}$）。当$H_0 : p_{ij} = p_{i\cdot}p_{\cdot j}$成立时，$\hat{p}_{ij}$应当与$\hat{p}_{i\cdot}\hat{p}_{\cdot j}$比较接近，由此确定检验统计量 $$\chi^2 = \sum_{i=1}^{r} \sum_{j=1}^{c} \frac{(n_{ij} - n\hat{p}_{i\cdot}\hat{p}_{\cdot j})^2}{n\hat{p}_{i\cdot}\hat{p}_{\cdot j}}$$
   • $H_0$下$\chi^2$的渐近卡方分布的自由度为 $$(rc - 1) - (r + c - 2) = (r-1)(c-1)$$ 因为$p_{i\cdot}$和$p_{\cdot j}$中自由的参数有$(r-1) + (c-1) = r + c - 2$个。由此确定检验的拒绝域是$W = \{ \chi^2 \ge \chi_{1-\alpha}^2((r-1)(c-1)) \}$。

正态性检验

注：本节涉及的检验方法基本都需要查表或借助计算机程序计算，故仅作欣赏。（感觉考试不大可能考）

1. 正态概率图【定性方法】
   正态概率纸是一种特殊的坐标图。它的横坐标是等间隔的，纵坐标标出的是标准正态分布函数值。其使用方法为：
   • 利用样本在概率纸上描点，如果数据点呈直线分布，则认为数据来自的总体是正态；否则不是。
   • 原理：如果总体是正态分布，那么$\displaystyle\left(\frac{X_{(i)} - \mu}{\sigma}, \Phi^{-1}\left(\frac{i}{n+1}\right)\right)$大约呈直线分布。等价地，$\displaystyle \left(X_{(i)}, \Phi^{-1}\left(\frac{i}{n+1}\right)\right)$大约呈线性分布。

   根据人们的经验，有时$\dfrac{i}{n+1}$也被修正为$\dfrac{i-0.375}{n+0.25}$。

   • 当数据不直接满足正态性时，也可尝试进行适当变换（如根号/倒数/对数变换）。一种通用的变换是Box-Cox变换： $$z(y|\lambda)=\begin{cases} \dfrac{y^\lambda-1}{\lambda},\lambda\neq 0\\ \ln(y),\lambda=0 \end{cases}$$
   • 在R语言中，还可以使用Q-Q图进行正态性检验（其原理与正态概率纸相似）
2. W检验
   由Shapiro和Wilk于1963年提出，适用于样本量介于$8$和$50$之间的情况。（当然借助计算机也可以处理大样本检验）
   • 设$X_1, \ldots, X_n$是样本，$X_{(1)} \leq X_{(2)} \leq \cdots \leq X_{(n)}$是次序统计量。W检验统计量定义为 $$W = \frac{\left\{ \displaystyle\sum_{i=1}^n (a_i - \overline{a})(X_{(i)} - \overline{X}) \right\}^2}{\displaystyle\sum_{i=1}^n (a_i - \overline{a})^2 \sum_{i=1}^n (X_{(i)} - \overline{X})^2} = \frac{\left\{\displaystyle\sum_{i=1}^{[n/2]} a_i (X_{(i)} - X_{(n-i+1)}) \right\}^2}{\displaystyle\sum_{i=1}^n (X_{(i)} - \overline{X})^2}$$ 其中$a_1, \ldots, a_n$是容量为$n$的特定值。
     • 对于假设$H_0:$总体服从正态分布，其检验拒绝域是$\{W \leq W_\alpha\}$。【需查表or程序计算】
3. 偏度-峰度检验

   原理：正态分布总体的峰度和偏度均为$0$。

   • 设$X_1, \ldots, X_n$是样本，样本偏度和样本峰度分别是

     $$\hat{\beta}_s = \frac{n^{-1} \sum_{i=1}^n (X_i - \overline{X})^3}{S_n^3}, \quad \hat{\beta}_k = \frac{n^{-1} \sum_{i=1}^n (X_i - \overline{X})^4}{S_n^4} - 3$$

     其中$\overline{X}$为样本均值，$\displaystyle S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \overline{X})^2$。

   • 可以选择样本偏度$\hat{\beta}_s$和样本峰度$\hat{\beta}_k$作为正态性检验的统计量，拒绝域形状如下

     $$W_1 = \{|\hat{\beta}_s| \geq c_1\}, \quad W_2 = \{|\hat{\beta}_k| \geq c_2\}.$$

     又因为正态总体下$\hat{\beta}_s$和$\hat{\beta}_k$的抽样分布不依赖于正态参数，不妨假设总体是$N(0, 1)$，从而$\mathbf{X}$服从$n$维标准正态分布。

     • 使用蒙特卡洛模拟进行检验：
     1. 从$n$维标准正态分布中产生随机向量$Y$。计算$T(Y)$（峰度或偏度）；
     2. 独立地重复上一步$M$次，得到$M$个$T(Y)$，记作$T_1, \dots, T_M$；
     3. $T_1, \dots, T_M$的经验分布是$T(Y)$的近似抽样分布。

     上述检验的$p$值是$\displaystyle P(|T(X)| \geq |T_*|) \approx\frac{1}{M}\sum_{i=1}^M I(|T_i| \geq |T_*|)$，其中$T_*$是当前样本下的$T(X)$值。

4. Kolmogrov-Smirnov 检验和 Anderson-Darling 检验
   略，可参见KS,AD检验。

另外，华师大统计学教授梁小筠曾编写过一本《正态性检验》，虽然较为久远，但依然具有研究价值。致敬！

非参数检验

• 对总体分布最弱的假设是不做任何假设，在此基础上所做的统计推断称作非参数统计推断。不做任何分布假设的条件下对总体所做的假设检验就是非参数检验。

游程检验

• 检验目标：判断数据是否为随机选取
• 记样本中位数为$m_e$，将每个样本$X_i$转换为$\mathbf{1}_{\{X_i\geq m_e\}}$，得到一个0-1序列。
  • 序列从左到右，出现一连串$0$时称为$0$游程，出现一连串$1$时称为$1$游程。
  • 用$R$表示序列的总游程数，则$2\leq R\leq n$。当
• $R$太大时，则序列有周期性变化趋势；$R$太小时，则序列0-1分明。这两种情形都被认为不满足随机抽取原则，因此当$H_0$设为样本序列符合随机抽取原则时，拒绝域形式即为$\{R\leq c_1$或$R\geq c_2\}$。
• 设序列中$0$的个数为$n_1$，$1$的个数为$n_2$（$n_1+n_2=n$），则$H_0$下$R$的分布为 $$\begin{cases} \displaystyle P(R=2k)=\frac{2\binom{n_1-1}{k-1}\binom{n_2-1}{k-1}}{\binom{n_1+n_2}{n_1}},\quad k=1,2,\cdots,\lfloor\frac{n}{2}\rfloor\\[10pt] \displaystyle P(R=2k+1)=\frac{\binom{n_1-1}{k}\binom{n_2-1}{k-1}+\binom{n_1-1}{k-1}\binom{n_2-1}{k}}{\binom{n_1+n_2}{n_1}},\quad k=1,2,\cdots,\lfloor\frac{n-1}{2}\rfloor \end{cases}$$ 由此可根据$\alpha$确定拒绝域。【需要查表，略】
• 也可以使用$p$值检验：$\text{pv}=2\min\{P(R\leq R_*).P(R\geq R_*)\}$，其中$R_*$表示样本得到的总游程数。
• 游程的渐近分布：当样本随机来自某同一总体时，如果$n_1$和$n_2$趋于无穷且$\dfrac{n_1}{n_2}$趋于一个正常数$c$，那么 $$\sqrt{\frac{(1+c)^2}{4cn_1}} \left( R - \frac{2n_1}{1+c} \right) \xrightarrow{d} N(0, 1).$$
  • 当$n_1, n_2$较大时上式中的$c$可替换为$\dfrac{n_1}{n_2}$。
  • 从而对于给定显著性水平$\alpha$，等尾临界值可取为 $$c_1 = \left[ \frac{2n_1n_2}{n_1+n_2} \left( 1 + \frac{u_{\frac{\alpha}{2}}}{\sqrt{n_2}} \right) \right], \quad c_2 = \left[ \frac{2n_1n_2}{n_1+n_2} \left( 1 + \frac{u_{1-\frac{\alpha}{2}}}{\sqrt{n_2}} \right) \right] + 1$$ 其中$[\cdot]$表示取整部。当$n_1, n_2 > 20$时，上式近似效果足够好。
• 游程检验还可以检验两组样本是否属于同一总体（或同分布）
  • 例：两组样本分别为$X=\{X_1,\cdots,X_n\}$和$Y=\{Y_1,\cdots,Y_m\}$，将其合并再从小到大排序，得到$Z_1\leq\cdots\leq Z_{n+m}$。
  • 定义$W_i=\mathbf{1}_{\{Z_i\in Y\}}$，得到$W_1,\cdots,W_{n+m}$，计算其游程数$R$。对于假设$H_0:$两组样本总体相同（同分布），其拒绝域为$\{R\geq c\}$，随后可通过查表判断。

符号检验

• 适用于对总体分位数的假设检验。
• 形式：$H_0:\xi_{p_0}\leq\xi_0\quad\text{vs}\quad\ H_1:\xi_{p_0}>\xi_0$（其他两种形式类似，作略）
  • 对每个$X_i$定义$U_i = I(X_i > \xi_0)$，记$q = P(X_i > \xi_0)$。那么$U_i \overset{i.i.d}{\sim} b(1, q)$
  • 同时，$\xi_{p_0} \leq \xi_0$意味着$q = P(X_i > \xi_0) \leq P(X_i > \xi_{p_0}) = 1 - p_0$。所以要检验的问题等价于 $$H_0: q \leq 1 - p_0 \quad \text{vs} \quad H_1: q > 1 - p_0$$
  • 记$\displaystyle S^+=\sum_{i=1}^n U_i\sim b(n,q)$，则较小的$S^+$倾向于支持原假设成立，较大的$S^+$意味着原假设不成立。由此问题可转化为二项分布中比例$q$的检验问题。
• 符号检验也可用于成对数据比较：
  • 对于数据对$\{(X_i,Y_i)\}_{i=1}^n$，假设$H_0$为$X$与$Y$同分布；
  • 记$Z_i=X_i-Y_i$，则原假设成立时$Z_i$分布关于y轴对称（中位数为$0$）
  • 于是定义$\displaystyle S^+=\sum_{i=1}^n\mathbf{1}_{\{Z_i>0\}}\sim b(n,p)$，其中$p=P(Z>0)$。那么假设就变为 $$H_0:p=0.5\quad\text{vs}\quad H_1:p\neq 0.5$$ 后面检验计算就与二项分布比率检验相同，故作略。

秩和检验

在符号检验的基础上增加观测值到中位数的距离度量

• 秩的定义：设$X_1,\cdots,X_n$是一个样本，假设所有观测值都不同，对样本从小到大排序，如果$X_i$处于第$R_i$大的位置，称$X_i$的秩是$R_i$。（也可理解为经验分布函数值乘以样本数）
  • 如果样本存在重复值（也称为结），则这些重复值的秩为原有秩取均值。称$R=(R_1,\cdots,R_n)$为秩统计量。
• 符号秩和检验：对于检验问题 $$H_0:\xi_{0.5}\leq\xi_0\quad\text{vs}\quad\ H_1:\xi_{0.5}>\xi_0$$ 用$R_i$表示$|X_i - \xi_0|$在$\{|X_1 - \xi_0|, \cdots, |X_n - \xi_0|\}$中的秩，称$\displaystyle W^+ = \sum_{i=1}^n R_i I(X_i > \xi_0)$为符号秩和统计量，相应的检验称作符号秩和检验。
  • 原假设下$W^+$的分布只依赖$n$，且分布关于$\dfrac{n(n+1)}{4}$对称【需查表，作略】。由此可知上述检验属于双侧检验，其拒绝域为$\{ W^{+} \leq W_{\frac{\alpha}{2}}^{+}(n) \} \cup \{ W^{+} \geq W_{1-\frac{\alpha}{2}}^{+}(n) \}$。（其他形式假设同理）
  • $W^+$的渐近分布：$\displaystyle\frac{W^+ - \frac{n(n+1)}{4}}{\sqrt{\frac{n(n+1)(2n+1)}{24}}} \xrightarrow{d} N(0, 1)$。
• 两样本Wilcoxon秩和检验：

  • 设$X_1, \dots, X_m$是来自总体$F(x - \theta_1)$的样本，$Y_1, \dots, Y_n$是来自总体$F(x - \theta_2)$的样本，其中$F$未知。要检验以下三种假设

    1. $H_0: \theta_1 \leq \theta_2 \quad\text{vs}\quad H_1: \theta_1 > \theta_2$
    2. $H_0: \theta_1 \geq \theta_2 \quad\text{vs}\quad H_1: \theta_1 < \theta_2$
    3. $H_0: \theta_1 = \theta_2 \quad\text{vs}\quad H_1: \theta_1 \neq \theta_2$

    将两个样本合并再从小到大排序，假设观测值$X_1, \dots, X_m$的秩分别是$Q_1, \dots, Q_m$，观测值$Y_1, \dots, Y_n$的秩是$R_1, \dots, R_n$，那么Wilcoxon秩和检验统计量定义为$\displaystyle W = \sum_{i=1}^{n} R_i$。

  • 三种假设的拒绝域分别为

    $$\begin{aligned} W_{\mathrm{I}} &= \{W \leq W_{\alpha}(m, n)\} \\ W_{\mathrm{II}} &= \{W \geq W_{1-\alpha}(m, n)\} \\ W_{\mathrm{III}} &= \{W \leq W_{\frac{\alpha}{2}}(m, n)\} \cup \{W \geq W_{1-\frac{\alpha}{2}}(m, n)\}. \end{aligned}$$

    其中$W_{\alpha}(m, n)$为$W$在$\theta_1=\theta_2$时的分位数。【需查表，略】

  • 可知$W$关于$\dfrac{n(m + n + 1)}{2}$对称，且$\displaystyle\frac{W - \frac{1}{2}n(m + n + 1)}{\sqrt{\frac{mn(m+n+1)}{12}}}\xrightarrow{d}N(0, 1)$。