呃啊，马上要期中（末）考试了，紧急整理一波……（主要摘录茆书的习题+补充题）

统计量及其分布

设离散总体的分布列为

P(X = k) = \frac{1}{N}, \quad k = 1, 2, \cdots, N.

现进行不放回抽样， $x_1, x_2, \cdots, x_n$ 为样本， $\displaystyle\overline{x} = \frac{1}{n} \sum_{i=1}^n x_i$ 为样本均值，求 $\mathbb{E}(\overline{x})$ 与 $\text{Var}(\overline{x})$ （表示成 $N$ 的函数）。

点击查看答案

注意：本题的样本由于来自不放回抽样，所以不是简单随机样本，不具有独立同分布性质。

先计算样本的期望、方差和协方差：

\begin{aligned} \mathbb{E}(x_i)&=\sum_{k=1}^Nk\cdot\frac{1}{N}=\frac{N+1}{2},\\ \text{Var}(x_i)&=\mathbb{E}(x_i^2)-(\mathbb{E}(x_i))^2\\ &=\sum_{k=1}^Nk^2\cdot\frac{1}{N}-\left(\frac{N+1}{2}\right)^2\\ &=\frac{N(N+1)(2N+1)}{6N}-\frac{(N+1)^2}{4}=\frac{N^2-1}{12},\\ \text{Cov}(x_i,x_j)&=\mathbb{E}(x_ix_j)-\mathbb{E}(x_i)\mathbb{E}(x_j)\\ &=\sum_{k\neq l}^N\frac{kl}{N(N-1)}-\left(\frac{N+1}{2}\right)^2\\ &=\frac{\left(\sum_{i=1}^Ni\right)^2-\left(\sum_{i=1}^Ni^2\right)}{N(N-1)}-\left(\frac{N+1}{2}\right)^2\\ &=\frac{N(N+1)(N-1)(3N+2)}{12N(N-1)}-\left(\frac{N+1}{2}\right)^2\\ &=-\frac{N+1}{12},\quad 1\leq i\neq j\leq N \end{aligned}

所以

\begin{aligned} \mathbb{E}(\overline{x})&=\frac{1}{n}\sum_{i=1}^N \mathbb{E}(x_i)=\frac{N+1}{2},\\ \text{Var}(\overline{x})&=\frac{1}{n^2}\left[\sum_{i=1}^n\text{Var}(x_i)+\sum_{i\neq j}^n\text{Cov}(x_i,x_j)\right]\\ &=\frac{N^2-1}{12n}-\frac{n(n-1)(N+1)}{12n^2}\\ &=\frac{(N+1)(N-n)}{12n}. \end{aligned}

设总体 $X$ 的分布函数为 $F(x)$ ，经验分布函数为 $F_n(x)$ ，试证

\mathbb{E}[F_n(x)] = F(x), \quad \text{Var}[F_n(x)] = \frac{1}{n} F(x)[1 - F(x)].

点击查看答案

证明：设 $x_1, x_2, \cdots, x_n$ 是取自总体分布函数为 $F(x)$ 的样本，则经验分布函数为

F_n(x) = \begin{cases} 0, & \text{当 } x < x_{(1)}, \\ k/n, & \text{当 } x_{(k)} \leq x < x_{(k+1)}, \quad k = 1, 2, \cdots, n-1, \\ 1, & \text{当 } x \geq x_{(n)}. \end{cases}

若令 $y_i = I_{\{x_i \leq x\}}, \ i = 1, 2, \cdots, n$ ，则 $y_1, y_2, \cdots, y_n$ 是独立同分布的随机变量，且

\mathbb{E}(y_1) = P(X_1 \leq x) = F(x), \quad \mathbb{E}(y_1^2) = P(X_1 \leq x) = F(x),

于是

\text{Var}(y_1) = F(x) - [F(x)]^2 = F(x)[1 - F(x)].

又 $F_n(x)$ 可写为 $\displaystyle F_n(x) = \frac{1}{n} \sum_{i=1}^n y_i$ ，故有

\mathbb{E}[F_n(x)] = \mathbb{E}(y_1) = F(x), \quad \text{Var}[F_n(x)] = \frac{1}{n} \text{Var}(y_1) = \frac{1}{n} F(x)[1 - F(x)].

设总体的四阶中心矩 $\nu_4 = \mathbb{E}\{X - \mathbb{E}(X)\}^4$ 存在，总体方差记为 $\sigma^2$ 。求证：样本方差

s^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2

的方差是

\text{Var}(s^2) = \frac{n(\nu_4 - \sigma^4)}{(n-1)^2} - \frac{2(\nu_4 - 2\sigma^4)}{(n-1)^2} + \frac{\nu_4 - 3\sigma^4}{n(n-1)^2}.

点击查看答案

证明：设

A_k=\frac{1}{n}\sum_{i=1}^n\left\{(x_i-\mu)^k-\mathbb{E}\left[(x_i-\mu)^k\right]\right\}

即样本 $k$ 阶中心矩和总体 $k$ 阶中心矩之差。那么

\begin{aligned} A_1&=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)=\overline{x}-\mu,\\ A_2&=\frac{1}{n}\sum_{i=1}^n(x_i-\mu)^2-\sigma^2,\\ s^2 &=\frac{1}{n-1} \sum_{i=1}^n (x_i - \mu+\mu-\overline{x})^2\\ &= \frac{1}{n-1} \left\{ \sum_{i=1}^n (x_i - \mu)^2 - n(\overline{x} - \mu)^2 \right\}\\ &= \frac{n}{n-1} \left(\sigma^2 + A_2 - A_1^2\right), \end{aligned}

又因为 $\sigma^2$ 为定值，而

\mathbb{E}\left(A_2 - A_1^2\right)=-\mathbb{E}A_1^2=-\text{Var}A_1=-\text{Var}(\overline{x})=-\frac{\sigma^2}{n}

所以

\begin{aligned} \text{Var}(s^2)&=\frac{n^2}{(n-1)^2}\text{Var}\left( A_2 - A_1^2\right)\\ &=\frac{n^2}{(n-1)^2}\left\{\mathbb{E}\left[(A_2 - A_1^2)^2\right]-\left[\mathbb{E}(A_2 - A_1^2)\right]^2\right\}\\ &=\frac{n^2}{(n-1)^2}\left\{\mathbb{E}A_2^2-2\mathbb{E}A_2A_1^2+\mathbb{E}A_1^4-\left(\frac{\sigma^2}{n}\right)^2\right\} \end{aligned}

又经过计算，

\begin{aligned} \mathbb{E}(A_2^2) &=\text{Var}(A_2)=\frac{\mathrm{Var}[(x_1 - \mu)^2]}{n} = \frac{\nu_4 - \sigma^4}{n},\\ \mathbb{E}(A_2 A_1^2) &= \frac{\mathbb{E}\left\{\left[(x_i - \mu)^2 - \sigma^2\right](x_i - \mu)^2]\right\}}{n^2} = \frac{\nu_4 - \sigma^4}{n^2},\\ \mathbb{E}(A_1^4) &=\frac{1}{n^4}\left\{n\mathbb{E}(x_1-\mu)^4+6\binom{n}{2}\mathbb{E}\left[(x_1-\mu)^2(x_2-\mu)^2\right]\right\}\\ &=\frac{1}{n^3} \mathbb{E}(x_i - \mu)^4+\frac{3(n-1)}{n^3} \mathbb{E}[(x_1 - \mu)^2 (x_2 - \mu)^2]\\ &=\frac{\nu_4}{n^3}+\frac{3(n-1)\sigma^4}{n^3}=\frac{3\sigma_4}{n^2}+\frac{\nu_4-3\sigma^4}{n^3}. \end{aligned}

因此

\text{Var}(s^2) = \frac{n(\nu_4 - \sigma^4)}{(n-1)^2} - \frac{2(\nu_4 - 2\sigma^4)}{(n-1)^2} + \frac{\nu_4 - 3\sigma^4}{n(n-1)^2}.

这个式子的含义：方差的方差 = 二阶波动 - 均值修正 + 二者耦合；由此可得渐近正态分布： $\sqrt n(s^2-\sigma^2)\xrightarrow{d}N\left(0,\nu_4-\sigma^4\right)$

设总体 $X$ 的 $3$ 阶中心矩 $\nu_3=\mathbb{E}\{X-\mathbb{E}(X)\}^3$ 存在。若 $x_1,\ldots,x_n$ 是来自该总体的样本，样本均值和样本方差分别记作 $\overline{x}$ 和 $s^2$ ，求证：

\text{Cov}(\overline{x},s^2)=\frac{\nu_3}n.

点击查看答案

沿用上一题对 $A_k$ 的定义，则 $\overline{x}=A_1+\mu,s^2=\dfrac{n}{n-1}\left(\sigma^2 + A_2 - A_1^2\right)$ ，所以

\begin{aligned} \text{Cov}(\overline{x},s^2)&=\text{Cov}\left(A_1+\mu,\frac{n}{n-1}\left(\sigma^2 + A_2 - A_1^2\right)\right)\\ &=\frac{n}{n-1}\text{Cov}(A_1,A_2 - A_1^2)\\ &=\frac{n}{n-1}\mathbb{E}(A_1A_2-A_1^3) \end{aligned}

又因为 $\mathbb{E}(A_1A_2)=\dfrac{\nu_3}{n},\mathbb{E}(A_1^3)=\dfrac{\nu_3}{n^2}$ ，故

\begin{aligned} \text{Cov}(\overline{x},s^2)&=\frac{n}{n-1}\mathbb{E}(A_1A_2-A_1^3)\\ &=\frac{n}{n-1}\left(\frac{\nu_3}{n}-\frac{\nu_3}{n^2}\right)\\ &=\frac{\nu_3}{n}. \end{aligned}

补充：关于 $A_k$ 的相关数字特征： $\mathbb{E}(A_k)=0,\quad\text{Var}(A_k)=\dfrac{1}{n}{\left(\nu_{2k}-(\nu_k)^2\right)},\quad\text{Cov}(A_kA_l)=\dfrac{1}{n}(\nu_{k+l}-\nu_k\nu_l)\quad (k\neq l)$ 。

设总体 $X$ 服从双参数指数分布，其分布函数为

F(x) = \begin{cases} 1 - \exp\left\{-\dfrac{x - \mu}{\sigma}\right\}, & x > \mu, \\ 0, & x \leq \mu, \end{cases}

其中 $-\infty < \mu < \infty, \sigma > 0$ ， $x_{(1)} \leq x_{(2)} \leq \cdots \leq x_{(n)}$ 为样本的次序统计量。试证明，

(n-i+1)\frac{2}{\sigma}(x_{(i)} - x_{(i-1)})

服从自由度为 $2$ 的 $\chi^2$ 分布 $(i = 2, 3, \cdots, n)$ .

点击查看答案

证明：令 $y_i = \dfrac{x_i - \mu}{\sigma} \sim \text{Exp}(1)$ ，则 $y_{(1)}, y_{(2)}, \cdots, y_{(n)}$ 的联合密度为

p(y_1, y_2, \cdots, y_n) = n! \exp\left\{-\sum_{i=1}^n y_i\right\}

作变换

\begin{cases} t_1 = n y_{(1)}, \\ t_2 = (n-1)(y_{(2)} - y_{(1)}), \\ \vdots \\ t_i = (n-i+1)(y_{(i)} - y_{(i-1)}), \\ \vdots \\ t_n = y_{(n)} - y_{(n-1)}, \end{cases}\Longrightarrow \begin{cases} y_{(1)} = \dfrac{t_1}{n} \\[10pt] y_{(2)} = \dfrac{t_1}{n} + \dfrac{t_2}{n-1} \\[10pt] \vdots \\ y_{(i)} = \displaystyle\sum_{j=1}^{i} \frac{t_j}{n-j+1} \end{cases}

其雅可比行列式为 $|J| = \dfrac{1}{n!}$ 。又因为

\begin{aligned} \sum_{i=1}^n y_{(i)} &= \sum_{i=1}^n \sum_{j=1}^i \frac{t_j}{n - j + 1} \\ &= \sum_{j=1}^n(n - j + 1)\cdot\frac{t_j}{n - j + 1} = \sum_{j=1}^n t_j \end{aligned}

所以 $t_1, t_2, \cdots, t_n$ 的联合密度为

f(t_1, t_2, \cdots, t_n) = \exp\left\{-\sum_{i=1}^n t_i\right\}.

由此可得 $T_1, T_2, \cdots, T_n\stackrel{i.i.d}{\sim}\text{Exp}(1)$ ，从而

\begin{aligned} P\left((n-i+1)\frac{2}{\sigma}(x_{(i)} - x_{(i-1)}) \leq x\right) &= P\left(2(n-i+1)(y_{(i)} - y_{(i-1)}) \leq x\right) \\ &= P(2T_i \leq x) = P\left(T_i \leq\frac{x}{2}\right) = 1 - e^{-\frac{x}{2}}. \end{aligned}

这正是指数分布 $\text{Exp}\left(\frac{1}{2}\right)$ ，即 $\chi^2(2)$ 的分布函数，故命题得证。

设 $x_{(1)}$ 和 $x_{(n)}$ 分别为容量 $n$ 的样本的最小和最大次序统计量，
（1）证明极差 $R_n = x_{(n)} - x_{(1)}$ 的分布函数

F_{R_n}(x) = n \int_{-\infty}^x [F(y + x) - F(y)]^{n-1} p(y) \, dy,

其中 $F(y)$ 与 $p(y)$ 分别为总体的分布函数与密度函数；
（2）利用（1）的结论，求总体为指数分布 $\text{Exp}(\lambda)$ 时，样本极差 $R_n$ 的分布。

点击查看答案

证明：
（1）根据次序统计量的密度函数的表达式， $x_{(1)}$ 和 $x_{(n)}$ 的联合密度是

\frac{n!}{(n-2)!} p(x) \{ F(y) - F(x) \}^{n-2} p(y), \quad x < y

那么，极差 $R_n = x_{(n)} - x_{(1)}$ 的分布是

\begin{aligned} F_{R_n}(t) &= P(x_{(n)} - x_{(1)} < t)\\ &= n(n-1) \iint_{0 < y-x < t} p(x) \{ F(y) - F(x) \}^{n-2} p(y) dx dy\\ &= n(n-1) \int_{-\infty}^{\infty} \left\{ \int_{x}^{x+t} \{ F(y) - F(x) \}^{n-2} dF(y) \right\} p(x) dx\\ &= n \int_{-\infty}^{\infty} \{ F(x+t) - F(x) \}^{n-1} p(x) dx \end{aligned}

命题得证。
（2）当总体是指数分布 $\text{Exp}(\lambda)$ 时， $p(x) = \lambda e^{-\lambda x}$ ， $F(x) = 1 - e^{-\lambda x}$ ，所以样本极差 $R_n$ 的分布是

\begin{aligned} F_{R_n}(t) &= n \int_{0}^{\infty} (e^{-\lambda x} - e^{-\lambda(x+t)})^{-1} \lambda e^{-\lambda x} dx\\ &= (1 - e^{-\lambda t})^{n-1}. \end{aligned}

这说明指数分布下 $R_n$ 与 $n-1$ 个样本的最大次序统计量同分布。
另外，均匀分布 $U(a,b)$ 下 $\dfrac{R_n}{b-a}$ 的分布为 $\mathrm{Be}(n-1,2)$ .

设 $x_1, x_2, \cdots, x_n$ 是来自分布函数为 $F(x)$ ，密度函数为 $p(x)$ 的一个样本。 $x_{(1)}$ ， $x_{(2)}, \cdots, x_{(n)}$ 是其次序统计量，试求在 $x_{(r+1)}, \cdots, x_{(n)}$ 给定时， $x_{(1)}, \cdots, x_{(r)}$ 的联合条件密度函数。

点击查看答案

次序统计量 $x_{(1)}, x_{(2)}, \cdots, x_{(n)}$ 联合密度函数为

p(x_{(1)}, x_{(2)}, \cdots, x_{(n)}) = n! \prod_{i=1}^n p(x_{(i)})

而后 $n-r$ 个次序统计量 $x_{(r+1)}, \cdots, x_{(n)}$ 的联合密度函数为

p(x_{(r+1)}, \cdots, x_{(n)}) = \frac{n!}{r!} [F(x_{(r+1)})]^r \prod_{i=r+1}^n p(x_{(i)}),

故所求的联合条件密度函数为

\begin{aligned} p(x_{(1)}, \cdots, x_{(r)} \mid x_{(r+1)}, \cdots, x_{(n)}) &= \frac{p(x_{(1)}, x_{(2)}, \cdots, x_{(n)})}{p(x_{(r+1)}, \cdots, x_{(n)})} \\ &= r! \prod_{i=1}^r \frac{p(x_{(i)})}{[F(x_{(r+1)})]^r}. \end{aligned}

最后结果表明：所求条件密度函数只与 $x_{(1)}, \cdots, x_{(r)}, x_{(r+1)}$ 有关，而与 $x_{(r+2)}, \cdots, x_{(n)}$ 的取值无关。从而，其分布也仅依赖于 $X_{(r+1)}$ 的给定值 $x_{(r+1)}$ 。
这样一来，条件密度函数 $p(x_{(1)}, \cdots, x_{(r)} \mid x_{(r+1)}, \cdots, x_{(n)})$ 完全可以写成 $p(x_{(1)}, \cdots, x_{(r)} \mid x_{(r+1)})$ 。【类似“马尔可夫性”】
实际上，如果总体分布为 $\mathrm{Exp}(\lambda)$ ，将 $x_{(1)},\cdots,x_{(r)}$ 看作到达时间的话，那么其在 $x_{(r+1)}=t$ 的条件下就是均匀分布的次序统计量。【可结合泊松过程理解】

证明：若 $U \sim \chi^2(n)$ , $V \sim \chi^2(m)$ ，且 $U$ 与 $V$ 相互独立，则

\frac{U}{U+V} \sim \text{Be}\left(\frac{n}{2}, \frac{m}{2}\right).

点击查看答案

证明：由题得 $U\sim \mathrm{Ga}\left(\frac{n}{2}, \frac{1}{2}\right),V \sim \mathrm{Ga}\left(\frac{m}{2}, \frac{1}{2}\right)$ ，其密度函数分别为：

\begin{aligned} p_U(u) &= \frac{1}{\Gamma\left(\frac{n}{2}\right) 2^{\frac{n}{2}}} u^{\frac{n}{2}-1} e^{-\frac{u}{2}}, \quad u > 0,\\ p_V(v) &= \frac{1}{\Gamma\left(\frac{m}{2}\right) 2^{\frac{m}{2}}} v^{\frac{m}{2}-1} e^{-\frac{v}{2}}, \quad v > 0. \end{aligned}

考虑变换：

\begin{cases} Z = \dfrac{U}{U+V} \\[10pt] W = U+V \end{cases}\Longrightarrow \begin{cases} U = ZW \\ V = (1-Z)W \end{cases}

则其雅可比行列式为：

|J| = \left| \frac{\partial(U,V)}{\partial(Z,W)} \right| = \left|\begin{array}{cc} W & Z \\ -W & 1-Z \end{array} \right| = W.

于是联合密度函数为：

\begin{aligned} p_{Z,W}(z,w) &= \frac{1}{\Gamma\left(\frac{n}{2}\right) 2^{\frac{n}{2}}} (zw)^{\frac{n}{2}-1} e^{-\frac{zw}{2}} \cdot \frac{1}{\Gamma\left(\frac{m}{2}\right) 2^{\frac{m}{2}}} [(1-z)w]^{\frac{m}{2}-1} e^{-\frac{(1-z)w}{2}} \cdot w\\ &=\frac{1}{\Gamma\left(\frac{n}{2}\right) \Gamma\left(\frac{m}{2}\right) 2^{\frac{n+m}{2}}} z^{\frac{n}{2}-1} (1-z)^{\frac{m}{2}-1} w^{\frac{n+m}{2}-1} e^{-\frac{w}{2}}. \end{aligned}

对 $w$ 积分得 $Z$ 的边际密度：

\begin{aligned} p_Z(z) &= \int_0^\infty p_{Z,W}(z,w) \, dw \\ &= \frac{z^{\frac{n}{2}-1} (1-z)^{\frac{m}{2}-1}}{\Gamma\left(\frac{n}{2}\right) \Gamma\left(\frac{m}{2}\right) 2^{\frac{n+m}{2}}} \int_0^\infty w^{\frac{n+m}{2}-1} e^{-\frac{w}{2}} \, dw\\ &=\frac{z^{\frac{n}{2}-1} (1-z)^{\frac{m}{2}-1}}{\Gamma\left(\frac{n}{2}\right) \Gamma\left(\frac{m}{2}\right) 2^{\frac{n+m}{2}}}\Gamma\left(\frac{n+m}{2}\right) 2^{\frac{n+m}{2}}\\ &=\frac{\Gamma\left(\frac{n+m}{2}\right)}{\Gamma\left(\frac{n}{2}\right) \Gamma\left(\frac{m}{2}\right)} z^{\frac{n}{2}-1} (1-z)^{\frac{m}{2}-1} \quad (0 < z < 1). \end{aligned}

这正是Beta分布 $\mathrm{Be}\left(\frac{n}{2}, \frac{m}{2}\right)$ 的密度函数，故

\frac{U}{U+V} \sim \text{Be}\left(\frac{n}{2}, \frac{m}{2}\right).

推论：设 $X=\dfrac{\frac{U}{n}}{\frac{V}{m}}\sim F(n,m)$ ，则 $Z=\dfrac{\frac{n}{m}X}{1+\frac{n}{m}X}\sim\text{Be}\left(\dfrac{n}{2}, \dfrac{m}{2}\right)$ .

设 $X_1, \ldots, X_n, X_{n+1}$ 是来自 $N(\mu, \sigma^2)$ 的样本，记

\overline{X}_n = \frac{1}{n} \sum_{i=1}^n X_i,\quad S_n^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \overline{X}_n)^2

计算 $\mathbb{E}(S_n^3)$ 。

点击查看答案

设 $Y=\dfrac{(n-1)S_n^2}{\sigma^2}$ ，则 $Y\sim\chi^2(n-1)$ ，那么

\mathbb{E}(S_n^3)=\mathbb{E}\left[\left(\frac{\sigma^2 Y}{n-1}\right)^\frac{3}{2}\right]=\frac{\sigma^3}{(n-1)^{\frac{3}{2}}}\mathbb{E}[Y^{\frac{3}{2}}]

又因为 $\displaystyle Y\sim\mathrm{Ga}\left(\dfrac{n-1}{2},\dfrac{1}{2}\right)$ ，所以

\begin{aligned} \mathbb{E}[Y^{\frac{3}{2}}]&=\int_{0}^\infty\frac{1}{2^{\frac{n-1}{2}}\Gamma\left(\dfrac{n-1}{2}\right)}y^{\frac{n}{2}}e^{-\frac{y}{2}}dy\\ &=\frac{2^{\frac{3}{2}}\Gamma\left(\dfrac{n+2}{2}\right)}{\Gamma\left(\dfrac{n-1}{2}\right)}. \end{aligned}

故 $\displaystyle \mathbb{E}(S_n^3)=\frac{\sigma^3}{(n-1)^{\frac{3}{2}}}\cdot\frac{2^{\frac{3}{2}}\Gamma\left(\frac{n+2}{2}\right)}{\Gamma\left(\frac{n-1}{2}\right)}.$

设 $\displaystyle x_1, x_2, \cdots, x_n\stackrel{i.i.d}{\sim}N(\mu, \sigma^2),\overline{x} = \frac{1}{n} \sum_{i=1}^n x_i,s^2 = \frac{1}{n-1} \sum_{i=1}^n (x_i - \overline{x})^2$ 。
记 $\xi = \dfrac{x_1 - \overline{x}}{s}$ ，试找出 $\xi$ 与 $t$ 分布的联系（提示：作正交变换 $\displaystyle y_1 = \sqrt{n} \overline{x},y_2 = \sqrt{\frac{n}{n-1}} (x_1 - \overline{x}),y_i = \sum_{j=1}^n c_{ij}x_j, i = 3, 4, \cdots, n$ ）。

点击查看答案

基于上述正交变换可知， $y_1,\cdots,y_n$ 相互独立且

y_1\sim N(\sqrt{n}\mu,\sigma^2),\quad y_i\sim N(0,\sigma^2)\quad (i\geq 2)

又有 $\displaystyle\sum_{i=1}^nx_i^2=\sum_{i=1}^ny_i^2$ ，所以

\begin{aligned} \xi &= \frac{x_1 - \overline{x}}{s}\\ &= \frac{\sqrt{\dfrac{n}{n-1}}(x_1 - \overline{x})}{\displaystyle \sqrt{\frac{n}{n-1}\cdot \frac{1}{n-1} \left[ \sum_{i=1}^n x_i^2 - n(\overline{x})^2 \right]} }\\ &= \frac{(n-1)y_2}{\displaystyle\sqrt{n\left(\sum_{i=1}^n y_i^2 - y_1^2\right)}} \\ &= \frac{n-1}{\sqrt{n}} \cdot \frac{y_2}{\displaystyle\sqrt{y_2^2 + (n-2) \cdot \sum_{i=3}^n\frac{y_i^2}{n-2}}} \end{aligned}

记 $T =\dfrac{y_2}{\displaystyle\sqrt{\sum_{i=3}^n\frac{y_i^2}{n-2}}} \sim t(n-2)$ ，那么

\begin{aligned} \xi &= \frac{n-1}{\sqrt{n}} \cdot \frac{\displaystyle\frac{y_2}{\sqrt{\sum_{i=3}^n\frac{y_i^2}{n-2}}}}{\displaystyle\sqrt{\frac{y_2^2}{\sum_{i=3}^n\frac{y_i^2}{n-2}}+ (n-2)}} \\ &= \frac{n-1}{\sqrt{n}} \cdot \frac{T}{\sqrt{T^2 + (n-2)}} \end{aligned}

统计量和三大分布这一块似乎有不少这样的大开大合计算题，吓哭了……

参数估计

设简单样本 $X_1, \ldots, X_n \sim F$ 。对给定常数 $x_0$ ，令

F_n(x_0) = \frac{1}{n} \sum_{i=1}^n I(X_i \leq x_0)

回答以下问题：
（1）证明 $F_n(x_0)$ 是 $F(x_0)$ 的无偏估计；
（2）证明 $F_n(x_0)$ 是 $F(x_0)$ 的相合估计；
（3）证明 $F_n(x_0)$ 的渐近正态性。

点击查看答案

（1）证明：

\begin{aligned} \mathbb{E}(F_n(x_0))&=\frac{1}{n}\mathbb{E}\left[\sum_{i=1}^nI(X_i\leq x_0)\right]\\ &=\frac{1}{n}\sum_{i=1}^nP(X_i\leq x_0)\\ &=\frac{1}{n}\sum_{i=1}^nF(x_0)\\ &=F(x_0) \end{aligned}

所以 $F_n(x_0)$ 是 $F(x_0)$ 的无偏估计。
（2）设随机变量 $I_i=I(X_i \leq x_0)$ ，则 $I_1,\cdots,I_n$ 独立同分布且 $\mathbb{E}(I_j)=F(x_0)(1\leq j\leq n)$ ，所以由辛钦大数定律，

F_n(x_0)=\frac{1}{n}\sum_{j=1}^nI_i\stackrel{p}{\longrightarrow}F(x_0)

即 $F_n(x_0)$ 是 $F(x_0)$ 的相合估计。
（3）因为 $\{I_j\}$ 独立同分布且 $\mathrm{Var}(I_j)=F(x_0)(1-F(x_0))$ 有限，所以由Lindeberg-Lévy中心极限定理，

\frac{\sum_{i=1}^n I_i - n\mathbb{E}[I_1]}{\sqrt{n\mathrm{Var}(I_1)}} \stackrel{d}{\longrightarrow} N(0, 1)

即

\frac{\frac{1}{n} \sum_{j=1}^n I_j - \mathbb{E}[I_1]}{\sqrt{\frac{Var(I_1)}{n}}} = \frac{F_n(x_0) - F(x_0)}{\sqrt{\frac{F(x_0)(1-F(x_0))}{n}}} \xrightarrow{d} N(0, 1)

故 $F_n(x_0)$ 具有渐近正态性， $\sqrt{n}(F_n(x_0) - F(x_0)) \xrightarrow{d} N(0, F(x_0)(1 - F(x_0)))$ 。

设随机变量 $Y_1, \ldots, Y_n$ 满足

Y_i = x_i \beta + \varepsilon_i, \, i = 1, \ldots, n

其中 $x_1, \ldots, x_n$ 是固定常数， $\varepsilon_1, \ldots, \varepsilon_n$ 独立同分布于 $N(0, \sigma^2)$ ，其中 $\sigma^2$ 未知。回答以下问题：
（1）求关于 $(\beta, \sigma^2)$ 的一个二维充分统计量；
（2）求 $\beta$ 的 MLE 并证明它是 $\beta$ 的一个无偏估计；
（3）求 $\beta$ 的 MLE 的分布。

点击查看答案

（1）因为 $\varepsilon_1, \ldots, \varepsilon_n\stackrel{i.i.d}{\sim}N(0,\sigma^2)$ ，所以 $Y_i\sim N(x_i\beta,\sigma^2)$ ，那么 $(Y_1,\cdots,Y_n)$ 的联合概率密度函数为

\begin{aligned} p(y_1,\cdots,y_n;\beta,\sigma^2) &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - x_i\beta)^2}{2\sigma^2}\right)\\ &=(2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (y_i^2 - 2\beta x_i y_i + \beta^2 x_i^2)\right)\\ &=(2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2} \left[\sum_{i=1}^n y_i^2 - 2\beta \sum_{i=1}^n x_i y_i + \beta^2 \sum_{i=1}^n x_i^2\right]\right) \end{aligned}

由因子分解定理，可取 $\displaystyle T(\mathbf{y})=\left( \sum_{i=1}^n y_i^2,\; \sum_{i=1}^n x_i y_i \right)$ ，则

p(y_1,\cdots,y_n;\beta,\sigma^2)=g(T(\mathbf{y}),\beta,\sigma^2)\cdot\underbrace{h(\mathbf{y})}_{=1}

所以 $T(\mathbf{y})$ 是 $(\beta, \sigma^2)$ 的一个二维充分统计量。
（2）取对数似然函数

\begin{aligned} \ell(\beta,\sigma^2)&=\ln p(y_1,\cdots,y_n;\beta,\sigma^2)\\ &=-\frac{n}{2} \ln(2\pi) - \frac{n}{2} \ln(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - x_i\beta)^2 \end{aligned}

对 $\beta$ 求偏导，使其为 $0$ ：

\begin{aligned} \frac{\partial l}{\partial \beta} &= -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(y_i - x_i\beta)(-x_i) \\ &= \frac{1}{\sigma^2} \sum_{i=1}^n (x_iy_i - x_i^2\beta) = 0 \end{aligned}

解得

\hat{\beta}=\frac{\sum_{i=1}^nx_iY_i}{\sum_{i=1}^nx_i^2}.

下证其无偏性：

\begin{aligned} \mathbb{E}[\hat{\beta}] &= \mathbb{E}\left[ \frac{\sum_{i=1}^n x_i Y_i}{\sum_{i=1}^n x_i^2} \right]\\ &= \frac{1}{\sum_{i=1}^n x_i^2} \sum_{i=1}^n x_i \mathbb{E}[Y_i]\\ &=\frac{1}{\sum_{i=1}^n x_i^2} \sum_{i=1}^n x_i (x_i \beta) \\ &= \frac{\beta\sum_{i=1}^n x_i^2}{\sum_{i=1}^n x_i^2}= \beta. \end{aligned}

所以 $\hat{\beta}$ 是 $\beta$ 的一个无偏估计。
（3）因为 $\hat{\beta}$ 是 $Y_i$ 的线性组合，所以 $\hat{\beta}$ 也服从正态分布。
又因为

\begin{aligned} \mathbb{E}[\hat{\beta}]&=\beta,\\ \mathrm{Var}(\hat{\beta})&=\mathrm{Var}\left(\frac{\sum_{i=1}^n x_i Y_i}{\sum_{i=1}^n x_i^2}\right)\\ &= \frac{1}{(\sum_{i=1}^n x_i^2)^2} \sum_{i=1}^n \mathrm{Var}(x_i Y_i)\\ &=\frac{1}{(\sum_{i=1}^n x_i^2)^2} \sum_{i=1}^n x_i^2 \sigma^2 \\ &= \frac{\sigma^2\sum_{i=1}^n x_i^2}{(\sum_{i=1}^n x_i^2)^2} = \frac{\sigma^2}{\sum_{i=1}^n x_i^2}. \end{aligned}

所以 $\hat{\beta}\sim N\left(\beta,\dfrac{\sigma^2}{\sum_{i=1}^n x_i^2}\right)$ 。

一个零膨胀泊松分布的概率函数是

f(x; \lambda, \pi) = \begin{cases} (1 - \pi) + \pi e^{-\lambda} & x = 0 \\ \pi \dfrac{e^{-\lambda} \lambda^x}{x!} & x = 1, 2, \dots \end{cases}

其中 $\pi \in [0, 1],\lambda > 0$ 都是未知参数。设 $X_1, \cdots, X_n$ 是来自 $f(x; \lambda, \pi)$ 的一组简单随机样本，其中 $\theta \in (0, 1)$ 。
（1）求参数 $(\lambda, \pi)$ 的矩估计；
（2）请写出参数 $(\lambda, \pi)$ 的对数似然函数；
（3）请写出计算参数 $(\lambda, \pi)$ 的最大似然估计的EM算法。

点击查看答案

（1）因为

\begin{aligned} \mathbb{E}X&=\sum_{i=1}^\infty\pi\frac{ie^{-\lambda}\lambda^{i}}{i!}=\pi e^{-\lambda}\sum_{i=1}^\infty\frac{\lambda^{i}}{(i-1)!}\\ &=\pi\lambda e^{-\lambda}e^{\lambda}\\ &=\pi\lambda,\\[10pt] \mathbb{E}X^2&=\sum_{i=1}^\infty\pi\frac{i^2e^{-\lambda}\lambda^{i}}{i!}\\ &=\pi e^{-\lambda}\sum_{i=1}^\infty\frac{(i-1+1)\lambda^{i}}{(i-1)!}\\ &=\pi e^{-\lambda}\left(\sum_{i=2}^\infty\frac{\lambda^{i}}{(i-2)!}+\sum_{i=1}^\infty\frac{\lambda^{i}}{(i-1)!}\right)\\ &=\pi e^{-\lambda}\left(\lambda^2\sum_{j=0}^\infty\frac{\lambda^{j}}{j!}+\lambda\sum_{k=0}^\infty\frac{\lambda^{k}}{k!}\right)\\ &=\pi (\lambda^2+\lambda). \end{aligned}

所以 $\hat{\lambda}=\dfrac{\overline{x}+s_n^2}{\overline{x}}-1=\dfrac{s_n^2}{\overline{x}}$ ， $\hat{\pi}=\dfrac{\overline{x}}{\hat{\lambda}}=\dfrac{\overline{x}^2}{s_n^2}$ .
（2）因为

\begin{aligned} \mathcal{L}(\lambda,\pi)&=\prod_{i=1}^nf(x_i;\lambda,\pi)\\ &=\prod_{i=1}^n\left\{[(1 - \pi) + \pi e^{-\lambda}]\cdot\mathbf{1}_{\{x_i=0\}}+\left[\pi \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!}\right]\cdot\mathbf{1}_{\{x_i> 0\}}\right\} \end{aligned}

所以

\ell(\lambda,\pi)=\sum_{i=1}^n\left\{\ln(1 - \pi+\pi e^{-\lambda})\cdot\mathbf{1}_{\{x_i=0\}}+\left[\ln\pi-\lambda+x_i\ln\lambda-\ln(x_i!)\right]\cdot\mathbf{1}_{\{x_i> 0\}}\right\}

若设 $\displaystyle n_0=\sum_{i=1}^\infty\mathbf{1}_{\{x_i=0\}},n_1=n-n_0$ ，则

\ell(\lambda,\pi)=n_0(\ln(1 - \pi+\pi e^{-\lambda}))+n_1(\ln\pi-\lambda+x_i\ln\lambda-\ln(x_i!)).

（3）算法步骤如下：

引入潜变量 $Z_i$ ，定义

X_i\mid Z_i=1\sim P(\lambda),\quad X_i\mid Z_i=0\equiv 0

则 $Z_i\sim b(1,\pi)$ 。
2. 构造完全数据分布：因为

P(X_i=x_i,Z_i=z_i)=\begin{cases} 1-\pi,&z_i=x_i=0\\ \pi \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!},&z_i=1 \end{cases}

所以

P(x_i,z_i)=[(1-\pi)]^{1-z_i}+\left[\pi \dfrac{e^{-\lambda} \lambda^{x_i}}{x_i!}\right]^{z_i}.

取完全数据对数似然

\ell(\lambda, \pi) = \sum_{i=1}^n \left[ (1 - z_i) \ln(1 - \pi) + z_i \ln \pi + z_i(-\lambda + x_i \ln \lambda-\underbrace{\ln x_i!}_{\text{const}}) \right]

E步：计算

\begin{aligned} &\mathbb{E}_z[\ell(\lambda,\pi)|x,\lambda^{(t)},\pi^{(t)}]\\ =&\sum_{i=1}^n\sum_{z_i=0}^{1} \left[ (1 - z_i) \ln(1 - \pi) + z_i \ln \pi - z_i \lambda + z_i x_i \ln \lambda \right] \cdot P(z_i \mid x_i, \theta^{(t)})\\ =&\sum_{i=1}^n[(1 - \tau_i^{(t)}) \ln(1 - \pi) + \tau_i^{(t)} \left( \ln \pi - \lambda + x_i \ln \lambda \right)] \end{aligned}

其中

\begin{aligned} \tau_i^{(t)}&=P(z_i=1 \mid x_i, \lambda^{(t)},\pi^{(t)})\\ &=\frac{P(z_i=1,x_i\mid\lambda^{(t)},\pi^{(t)})}{P(x_i\mid \lambda^{(t)},\pi^{(t)})}\\ &=\begin{cases} \dfrac{\pi^{(t)} e^{-\lambda^{(t)}}}{(1 - \pi^{(t)}) + \pi^{(t)} e^{-\lambda^{(t)}}},&x_i=0\\ 1,&x_i>0 \end{cases} \end{aligned}

M步：最大化

Q(\lambda, \pi) = \sum_{i=1}^n \left[ (1 - \tau_i) \ln(1 - \pi) + \tau_i \ln \pi - \tau_i \lambda + \tau_i x_i \ln \lambda\right]

分别对 $\lambda,\pi$ 求偏导，取极值，得到

\begin{aligned} \pi^{(t+1)} &= \frac{1}{n} \sum_{i=1}^n \tau_i^{(t)},\\ \lambda^{(t+1)} &= \frac{\sum_{i=1}^n x_i}{\sum_{i=1}^n \tau_i^{(t)}}. \end{aligned}

设 $x_1, \ldots, x_n$ 是独立同分布随机变量， $0 < \theta < 1$ ,

P(x_1 = -1) = \frac{1 - \theta}{2}, \quad P(x_1 = 0) = \frac{1}{2}, \quad P(x_1 = 1) = \frac{\theta}{2}.

（1）求 $\theta$ 的MLE $\hat{\theta}_1$ ，并问 $\hat{\theta}_1$ 是否无偏；
（2）求 $\theta$ 的矩估计 $\hat{\theta}_2$ ；
（3）求 $\theta$ 的无偏估计的方差的C-R下界。

点击查看答案

（1）设 $x_1,\cdots,x_n$ 中取值 $-1,0,1$ 的随机变量分别有 $n_1,n_2,n_3$ 个（ $n_1+n_2+n_3=1$ ），那么

\begin{aligned} \ell(\theta)&=n_1\ln\left(\frac{1 - \theta}{2}\right)+n_2\ln\frac{1}{2}+n_3\ln\frac{\theta}{2}\\ \frac{\partial\ell(\theta)}{\partial\theta}&=-\frac{n_1}{1-\theta}+\frac{n_3}{\theta}=0. \end{aligned}

所以

\hat{\theta}_1=\begin{cases} \dfrac{n_3}{n_1+n_3},&n_1+n_3\neq 0\\ 0,&n_1+n_3= 0 \end{cases}

下面计算 $\mathbb{E}(\hat{\theta}_1)$ ：

\begin{aligned} \mathbb{E}(\hat{\theta}_1)&=\mathbb{E}(\mathbb{E}(\hat{\theta}_1|n_1+n_3))\\ &=P(n_1+n_3=0)\cdot 0+\sum_{m=1}^\infty P(n_1+n_3=m)\cdot \mathbb{E}(\hat{\theta}_1|n_1+n_3=m)\\ &=\left(1-\left(\frac{1}{2}\right)^n\right)\cdot \mathbb{E}\left(\frac{n_3}{m} \mid n_1+n_3 = m\right)\\ &=\left(1-\left(\frac{1}{2}\right)^n\right)\cdot\theta = \theta\left(1-\left(\frac{1}{2}\right)^n\right) \end{aligned}

所以 $\hat{\theta}_1$ 不是 $\theta$ 的无偏估计，而是渐近无偏估计。
（2）因为

\mathbb{E}(x_1)=-1\cdot\left(\frac{1-\theta}{2}\right)+1\cdot\frac{\theta}{2}=\theta-\frac{1}{2}

所以 $\displaystyle\hat{\theta}_2=\overline{x}+\frac{1}{2}$ .
（3）计算

\begin{aligned} \ln p(x; \theta) &= \frac{1}{2} (x^2 - x) \ln\left(\frac{1 - \theta}{2}\right) - (1 - x^2) \ln 2 + \frac{1}{2} (x^2 + x) \ln\left(\frac{\theta}{2}\right),\\ \frac{d \ln p(x; \theta)}{d\theta} &= -\frac{1}{2} (x^2 - x) \frac{1}{1 - \theta} + \frac{1}{2} (x^2 + x) \frac{1}{\theta}, \end{aligned}

所以Fisher信息量

\begin{aligned} I(\theta) &= \mathbb{E}\left(\frac{d \ln p(x; \theta)}{d\theta}\right)^2 = \left(-\frac{1}{1 - \theta}\right)^2\cdot\frac{1 - \theta}{2}+\left(\frac{1}{\theta}\right)^2\cdot\frac{\theta}{2} &= \frac{1}{2} \left(\frac{1}{1 - \theta} + \frac{1}{\theta}\right) = \frac{1}{2\theta(1 - \theta)}, \end{aligned}

所以， $\theta$ 的无偏估计的方差的 C-R 下界为 $\dfrac{2\theta(1 - \theta)}{n}$ .

设 $X_1, \ldots, X_n$ 是来自正态分布 $N(\mu, \sigma^2)$ 的一组简单随机样本，其中 $\mu$ 和 $\sigma^2$ 都未知。记

\overline{X}_n = \frac{1}{n} \sum_{i=1}^n X_i, \quad S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \overline{X}_n)^2.

回答以下问题：
（1）计算 $\text{Var}(S_n^2)$ ；
（2）构造 $\mu^3 + \sigma^4$ 的UMVUE。

点击查看答案

（1）因为样本服从正态分布，故

\frac{nS_n^2}{\sigma^2}=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)

所以

\mathrm{Var}\left(\frac{nS_n^2}{\sigma^2}\right)=2(n-1)\Longrightarrow\mathrm{Var}\left(S_n^2\right)=\frac{2(n-1)\sigma^4}{n^2}.

（2）考虑到似然函数不易求导，故考虑矩估计：

\begin{aligned} \mathbb{E}\left[\overline{X}_n^3\right]&=\frac{1}{n^3}\mathbb{E}\left[\sum_{i=1}^nx_i^3\right]\\ &=\frac{1}{n^3}[n(\mu^3 + 3\mu\sigma^2) + 3n(n-1)\mu(\mu^2 + \sigma^2) + n(n-1)(n-2)\mu^3]\\ &=\mu^3+3\mu\frac{\sigma^2}{n} \end{aligned}

又因为 $\mathbb{E}(\overline{X}_nS_n^2)=\dfrac{n-1}{n}\mu\sigma^2$ ，所以

\hat{\mu}^3=\overline{X}_n^3-\frac{3}{n-1}\overline{X}_nS_n^2

下面再求 $\hat{\sigma}^4$ 。利用第一问的结果：

\begin{aligned} \mathbb{E}[(S_n^2)^2]&=\text{Var}(S_n^2)+[\mathbb{E}(S_n^2)]^2\\ &=\frac{2(n-1)\sigma^4}{n^2}+\left(\frac{n-1}{n}\right)^2\sigma^4\\ &=\frac{n^2-1}{n^2}\sigma^4 \end{aligned}

所以 $\displaystyle\hat{\sigma}^4=\frac{n^2}{n^2-1}(S_n^2)^2$ 。综上

\hat{\mu}^3+\hat{\sigma}^4=\overline{X}_n^3-\frac{3}{n-1}\overline{X}_nS_n^2+\frac{n^2}{n^2-1}(S_n^2)^2.

又因为估计量是 $\displaystyle\left(\sum_{i=1}^n X_i,\sum_{i=1}^nX_i^2\right)$ （充分完备统计量）的函数，所以是UMVUE。

设 $X_1, X_2, \ldots, X_n$ 是来自 $N(\mu, 1)$ 的简单随机样本，其中 $\mu$ 未知。用 $\overline{X}$ 表示样本均值。令 $p = P(X_1 \geq 0)$ 。回答以下问题：
（1）求 $p$ 的最大似然估计 $\hat{p}$ ；
（2）求 $\sqrt{n}(\hat{p} - p)$ 的极限分布；
（3）求 $p$ 的UMVUE.

点击查看答案

（1）因为 $X_1\sim N(\mu,1)$ ，所以

p = P(X_1 \geq 0) = P\left(\frac{X_1 - \mu}{1} \geq \frac{0 - \mu}{1}\right) = P(Z \geq -\mu) = 1 - \Phi(-\mu) = \Phi(\mu)

其中 $\Phi(\cdot)$ 为标准正态分布的分布函数。又因为 $\overline{X}$ 是 $\mu$ 的最大似然估计，根据MLE的不变性原理，

p=\Phi(\mu)\Longrightarrow \hat{p}=\Phi(\overline{X}).

（2）根据中心极限定理，

\sqrt{n}(\overline{X}-\mu)\sim N(0,1)

则利用Delta方法，令 $g(\mu)=\Phi(\mu)$ ，则

g'(\mu)=\phi(\mu)=\frac{1}{\sqrt{2\pi}}e^{-\frac{\mu^2}{2}}

所以

\sqrt{n}(g(\overline{X})-g(\mu))\stackrel{d}{\longrightarrow} N(0,[g'(\mu)]^2)\Longrightarrow \sqrt{n}(\hat{p}-p)\stackrel{d}{\longrightarrow}N\left(0,\frac{1}{2\pi}e^{-\mu^2}\right).

（3）先找一个无偏估计量： $\hat{p}_1=I(X_1\geq 0)$ （ $\mathbb{E}(\hat{p}_1)=P(X_1\geq 0)=p$ ），又因为 $\overline{X}$ 是充分完备统计量，所以只需要求 $\mathbb{E}[\hat{p}_1|\overline{X}]=P(X_1\geq 0|\overline{X})$ 即可。
因为在正态总体下， $(X_1, \overline{X})$ 服从二元正态分布。其均值均为 $\mu$ ，

\text{Var}(X_1) = 1,\text{Var}(\overline{X}) = \frac{1}{n},\text{Cov}(X_1, \overline{X}) = \frac{1}{n}

由此可得 $X_1$ 在给定 $\overline{X} = a$ 条件下的分布仍为正态分布，且

\begin{aligned} \mathbb{E}[X_1 | \overline{X}] &= \mu + \frac{\frac{1}{n}}{\frac{1}{n}} (\overline{X} - \mu) = \overline{X},\\ \text{Var}(X_1 | \overline{X}) &= \text{Var}(X_1) - \frac{\text{Cov}(X_1, \overline{X})^2}{\text{Var}(\overline{X})} \\ &= 1 - \frac{(\frac{1}{n})^2}{\frac{1}{n}} = 1 - \frac{1}{n} = \frac{n-1}{n}. \end{aligned}

所以 $X_1|\overline{X}\sim N\left(\overline{X},\dfrac{n-1}{n}\right)$ ，故

\begin{aligned} P(X_1 \geq 0 \mid \overline{X}) &= P\left(\frac{X_1 - \overline{X}}{\sqrt{\frac{n-1}{n}}} \geq \frac{0 - \overline{X}}{\sqrt{\frac{n-1}{n}}}\right) \\ &= \Phi\left(\frac{\overline{X}}{\sqrt{\frac{n-1}{n}}}\right) \end{aligned}

故 $p$ 的UMVUE为 $\displaystyle\Phi\left(\overline{X}\sqrt{\frac{n}{n-1}}\right)$ 。

设 $X_1, X_2, \ldots, X_n$ 是来自 $\displaystyle U\left(\theta - \frac{1}{2}, \theta + \frac{1}{2}\right)$ 的样本，求 $\theta$ 的置信水平为 $1 - \alpha$ 的置信区间。

点击查看答案

令 $Y_i=X_i-\theta,\,i=1,2,\cdots,n$ ，则有

Y_1,\cdots,Y_n\overset{i.i.d}{\sim}U\left(-\frac{1}{2},\frac{1}{2}\right)

且 $Y_{(1)}=X_{(1)}-\theta,Y_{(n)}=X_{(n)}-\theta$ 。因此

T=\frac{X_{(1)}+X_{(n)}}{2}-\theta=\frac{Y_{(1)}+Y_{(n)}}{2}

分布与 $\theta$ 无关，即 $T$ 为枢轴量。下面求 $T$ 的分布：
因为 $(Y_{(1)},Y_{(n)})$ 的联合概率密度函数为

f(u,v)=n(n-1)(v-u)^{n-2},\quad -\frac{1}{2}< u< v< \frac{1}{2}

所以令 $T=\dfrac{u+v}{2},R=v-u$ ，则根据换元公式， $(T,R)$ 的联合概率密度函数为

f(t,r)=n(n-1)r^{n-2},\quad 0< r < 1-2|t|

因此 $T$ 的概率密度函数为

f_T(t)=n(1-2|t|)^{n-1}\cdot\mathbf{1}_{\{-\frac{1}{2}< t < \frac{1}{2}\}}

接下来构造置信区间。可设置信区间形式为 $[-c,c]$ （ $0< c< \frac{1}{2}$ ），则

P(|T|\leq c)=\int_{-c}^cn(1-2|t|)^{n-1}=1-(1-2c)^n=1-\alpha\Longrightarrow c=\frac{1-\alpha^{\frac{1}{n}}}{2}.

由此得到

P\left(|T|\leq \frac{1-\alpha^{\frac{1}{n}}}{2}\right)=P \left\{ \frac{X_{(1)} + X_{(n)}}{2} - c \leq \theta \leq \frac{X_{(1)} + X_{(n)}}{2} + c \right\}=1-\alpha,

即 $\theta$ 的一个置信水平为 $1 - \alpha$ 的置信区间为

\left[ \frac{X_{(1)} + X_{(n)}}{2} - \frac{1 - \alpha^{\frac{1}{n}}}{2}, \frac{X_{(1)} + X_{(n)}}{2} + \frac{1 - \alpha^{\frac{1}{n}}}{2} \right].

假设检验

其实这一章涉及具体数据的计算题解题套路都差不多，就是遵循假设检验的那套流程即可。可能唯一需要思考的就是一些带理论或证明性质的题目。

设正态总体的方差 $\sigma^2$ 已知值，均值 $\mu$ 只能取 $\mu_0$ 或 $\mu_1$ （ $\mu_1 < \mu_0$ ）两值之一， $\overline{x}$ 为总体的容量为 $n$ 的样本均值，考虑检验问题

H_0: \mu = \mu_0 \quad \text{vs} \quad H_1: \mu = \mu_1,

若检验拒绝域取为 $\displaystyle W = \left\{ \overline{x} \leq \mu_0 + u_\alpha\frac{\sigma}{\sqrt{n}} \right\}$ ，试验证：检验犯第二类错误的概率为

\beta = \Phi\left(u_{1-\alpha} + \frac{\mu_1 - \mu_0}{\sigma / \sqrt{n}}\right),

从而在 $\alpha, \beta$ 给定时，有 $\displaystyle n = (u_{1-\alpha} + u_{1-\beta})^2 \frac{\sigma^2}{(\mu_1 - \mu_0)^2}$ 。

点击查看答案

由于 $\displaystyle\overline{x} \sim N\left(\mu, \frac{\sigma^2}{n}\right)$ ，故检验犯第二类错误的概率为

\begin{aligned} \beta &= P_{\mu_1}\left(\overline{x} - \mu_1 > \mu_0 + u_\alpha\frac{\sigma}{\sqrt{n}} - \mu_1\right)\\ &= P_{\mu_1} \left( \frac{\overline{x} - \mu_1}{\sigma / \sqrt{n}} > u_{\alpha} + \frac{\mu_0 - \mu_1}{\sigma / \sqrt{n}} \right)\\ &= 1 - \Phi \left( u_{\alpha} + \frac{\mu_0 - \mu_1}{\sigma / \sqrt{n}} \right) = \Phi \left( -u_{\alpha} - \frac{\mu_0 - \mu_1}{\sigma / \sqrt{n}} \right)\\ &= \Phi \left( u_{1-\alpha} + \frac{\mu_1 - \mu_0}{\sigma / \sqrt{n}} \right), \end{aligned}

由此得到

u_{1-\alpha} + \frac{\mu_1 - \mu_0}{\sigma / \sqrt{n}} = u_{\beta},

即 $\displaystyle u_{1-\alpha} + u_{1-\beta} = -\frac{\mu_1 - \mu_0}{\sigma / \sqrt{n}}$ ，从而在 $\alpha, \beta$ 给定时，有

n = (u_{1-\alpha} + u_{1-\beta})^2 \frac{\sigma^2}{(\mu_1 - \mu_0)^2}.

若在猜硬币正反面游戏中，某人在 $100$ 次试猜中，共猜中 $60$ 次，你认为他是否有诀窍（取 $\alpha = 0.05$ ）？

点击查看答案

设 $p$ 为该人猜中概率，则该问题可以归结为如下假设检验问题：

H_0: p = \frac{1}{2} \quad \text{vs} \quad H_1: p > \frac{1}{2}

以 $X$ 记 100 次中猜中的次数，则在原假设成立下， $X \sim b(100, 0.5)$ ，由于样本量相当大，检验统计量可取为

u = \frac{X - 100 \times 0.5}{\sqrt{100 \times 0.5 \times 0.5}}

在原假设下，该统计量近似服从正态分布 $N(0, 1)$ ，故检验拒绝域为

W = \{u \geq u_{1-\alpha}\} = \{u \geq 1.645\}

检验的 $p$ 值近似为

p = P\{x \geq 60\} = P\left\{u \geq \frac{60 - 100 \times 0.5}{\sqrt{100 \times 0.5 \times 0.5}}\right\} = P\{u \geq 2\} = 0.0228

因此应拒绝原假设。看来此人猜硬币有某种诀窍。

由此可进一步得到，如果要在 $\alpha = 0.05$ 的条件下认为他是否有诀窍，则至少需要他在 $100$ 次试猜中，共猜中 $\lfloor(1.645+10)\times 5\rfloor+1=59$ 次即可。这说明当样本足够大时，只需要样本比率稍微极端一些，就可以拒绝原假设。

某建筑公司宣称其座下建筑工地平均每天发生事故次数不超过 $0.6$ 起，现记录了该建筑工地 $200$ 天的安全生产情况，事故数据记录如下：

一天的事故数	$0$	$1$	$2$	$3$	$4$	$5$	$\geq 6$	合计
天数	$102$	$59$	$30$	$8$	$0$	$1$	$0$	$200$

在 $\alpha = 0.05$ 下检验该建筑公司的宣称是否成立。

点击查看答案

设 $X$ 表示该建筑工地一天所发生的事故数，可认为 $X$ 服从泊松分布 $P(\lambda)$ ， $\lambda$ 表示平均每天发生事故次数。要检验的假设是

H_0: \lambda \leq 0.6 \quad \text{vs} \quad H_1: \lambda > 0.6.

采用大样本检验。记 $\lambda_0 = 0.6$ ，由于总体均值和方差都是 $\lambda$ ，检验统计量是 $u = \dfrac{\overline{X} - \lambda_0}{\sqrt{\lambda / n}}$ ，拒绝域是 $W = \{u > u_{1-\alpha}\}$ 。
因为 $n = 200, \hat{\lambda} = \overline{X} = 0.74$ ，所以 $u_* = 2.302$ 。当 $\alpha = 0.05$ 时， $u_{0.95} = 1.645$ 。
而 $2.302 > 1.645$ ，表明样本落入了拒绝域，拒绝原假设。相应的 $p$ 值是

1 - \Phi(2.302) = 0.0107 < 0.05

在 $0.05$ 的显著性水平下也拒绝原假设。即认为该建筑公司的宣称不成立。

注：这里检验统计量用 $u = \dfrac{\overline{X} - \lambda_0}{\sqrt{\hat{\lambda}/ n}}$ （ $\hat{\lambda}$ 表示样本得到的 $\lambda$ 估计值）也可以，与上述检验的唯一区别是功效函数不同。

设 $x_1, x_2, \cdots, x_n$ 为来自正态总体 $N(\mu, \sigma^2)$ 的 i.i.d 样本，其中 $\mu, \sigma^2$ 未知。证明关于检验问题 $H_0: \mu \leq \mu_0\quad\text{vs}\quad H_1: \mu > \mu_0$ 的单侧 $t$ 检验是似然比检验（显著性水平 $\alpha < \dfrac{1}{2}$ ）。

点击查看答案

证明：记 $\theta = (\mu, \sigma^2)$ ，样本的联合密度函数为

p(x_1, x_2, \cdots, x_n; \theta) = (2\pi\sigma^2)^{-n/2} \exp\left\{-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2\right\}

两个参数空间分别为

\Theta_0 = \{(\mu, \sigma^2) \mid \mu \leq \mu_0, \sigma^2 > 0\}, \quad \Theta = \{(\mu, \sigma^2) \mid \mu \in \mathbb{R}, \sigma^2 > 0\}.

又因为在 $\Theta$ 下 $\displaystyle\hat{\mu} = \overline{x}, \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \overline{x})^2$ 分别为 $\mu, \sigma^2$ 的 MLE，而在 $\Theta_0$ 下 $\mu, \sigma^2$ 的 MLE 为

\hat{\mu}_0 = \min\{\overline{x}, \mu_0\}, \quad \hat{\sigma}_0^2 = \frac{1}{n} \sum_{i=1}^n (x_i - \hat{\mu}_0)^2,

于是似然比统计量为

\Lambda = \frac{(2\pi\hat{\sigma}^2)^{-\frac{n}{2}} \exp\left(-\frac{n}{2}\right)}{(2\pi\hat{\sigma}_0^2)^{-\frac{n}{2}} \exp\left(-\frac{n}{2}\right)} = \begin{cases} 1, & \overline{x} \leq \mu_0, \\[10pt] \displaystyle\left(1 + \frac{n(\overline{x} - \mu_0)^2}{(n-1)s^2}\right)^{\frac{n}{2}}, & \overline{x} > \mu_0, \end{cases}

在 $\mu = \mu_0$ 时 $P(\overline{x} \leq \mu_0) = \dfrac{1}{2}$ ，由于 $\alpha < \dfrac{1}{2}$ ，故只需考虑 $\overline{x} > \mu_0$ 的情形。
此时 $\Lambda$ 为 $t = \sqrt{n(\overline{x} - \mu_0)}$ 的单调增函数，故此时的似然比统计量 $\Lambda$ 是传统的 $t$ 统计量的增函数，即此时的似然比检验等价于单侧的 $t$ 检验，拒绝域

\{ \Lambda \geq c \} \Leftrightarrow \left\{ \frac{\sqrt{n(\overline{x} - \mu_0)}}{s} \geq d \right\}.

由 $t$ 检验的结论知， $d = t_{1-\alpha}(n-1)$ ，这就完成了证明。

某种配偶的后代按体格的属性分为三类，各类的数目分别是 $10,53,46$ 。按照某种遗传模型其频率之比应为 $p^2 : 2p(1-p) : (1-p)^2$ ，问数据与模型是否相符（ $\alpha = 0.05$ ）？

点击查看答案

这是一个分布拟合优度检验，总体可分为三类。若记三类出现的概率分别为 $p_1, p_2, p_3$ ，则要检验的假设为

H_0: p_1 = p^2, \quad p_2 = 2p(1 - p), \quad p_3 = (1 - p)^2,

先用最大似然法估计 $p$ 。其似然函数为

\begin{aligned} &L = (p^2)^{n_1} \cdot [2p(1 - p)]^{n_2} \cdot [(1 - p)^2]^{n_3} = 2^{n_2} p^{2n_1+n_2}(1 - p)^{n_2+2n_3},\\ \Longrightarrow&\ln L = (2n_1 + n_2)p + (n_2 + 2n_3)\ln(1 - p) + n_2\ln 2, \end{aligned}

再微分法可得

\hat{p} = \frac{2n_1 + n_2}{2n} = \frac{2 \times 10 + 53}{2(10 + 53 + 46)} = 0.3349,

于是 $\hat{p}_1 = 0.1121, \quad \hat{p}_2 = 0.4455, \quad \hat{p}_3 = 0.4424$ ，从而

\chi^2 = \frac{(10 - 109 \times 0.1121)^2}{109 \times 0.1121} + \frac{(53 - 109 \times 0.4455)^2}{109 \times 0.4455} + \frac{(46 - 109 \times 0.4424)^2}{109 \times 0.4424} = 0.9114,

查表知 $\chi^2_{0.95}(1) = 3.8415$ ，故拒绝域为 $W = \{x^2 \geq 3.8415\}$ ，观察结果 $\chi^2$ 不落在拒绝域，因此不能拒绝 $H_0$ ，即可以认为数据与模型是相符的。此处的 $p$ 值为

p = P(\chi^2 \geq 0.9114) = 0.3397.

最后放一个常用分布分位数计算器（~~这样就不用查表辣~~）

显著性水平 α均值 μ标准差 σ

emm结果期末考试说不让用计算器，那么算什么……

数理统计练习题集

数理统计练习题集

统计量及其分布

参数估计

假设检验

数理统计 练习题集

统计量及其分布

参数估计

假设检验

数理统计练习题集