将$Z,W$用$X_1,X_2,X_3$表示，即求$P(X_1-2X_2+2X_3\lt 0)$。又因为$X_1,X_2,X_3$均为正态分布且独立同分布，故$X_1-2X_2+2X_3\sim N(1,9)$。
所以设$X_1-2X_2+2X_3=Y$，则$\frac{Y-1}{3}\sim N(0,1)$，故

证明：因为

所以$\mathrm{Corr}(Z,W)=0$，$Z$与$W$不相关。又因为$Z$和$W$均服从一维正态分布，所以由不相关可以推出独立。

设第$n$轮的状态：
$A_n$：每个玩家都有$1$元钱（$1$种可能）；
$B_n$：一个玩家有$1$元，一个玩家有$2$元，剩下一个玩家没有钱（$6$种可能）。
满足$P(A_n)+P(B_n)=1$（没有其他可能）
若上一轮状态为$A_{n-1}$，则下一轮有$2^3=8$种可能，其中$2$种可能结果为$A_n$（甲给乙、乙给丙、丙给甲；甲给丙、丙给乙、乙给甲）
若上一轮状态为$B_{n-1}$，则下一轮有$2^2=4$种可能（因为没钱的人无法给钱），其中只有$1$种可能结果为$A_n$（$2$元的玩家给$1$元，$1$元的玩家给$0$元）
综上，$P(A_n)=\frac{2}{8}P(A_{n-1})+\frac{1}{4}P(B_{n-1})=\frac{1}{4}$，即每轮每个玩家有$1$元钱的概率均为$\frac{1}{4}$。

设第$n$轮每个玩家都有$1$元钱的状态为$A_n$（$1$种可能），玩家甲有$2$元（$2$种可能）的状态为$B_n$，有$1$元（非$A_n$情况）的状态为$C_n$（$2$种可能），有$0$元的状态为$D_n$（$2$种可能）。则

当然也可以用对称性理解：$B_n,C_n,D_n$出现的概率是均等的（都有两种可能），且概率和为$\frac{3}{4}$，故每个概率分别为$\frac{1}{4}$。

证明：

\begin{aligned}
   \mathrm{Var}X&=\mathbb{E}[(X-\mathbb{E}X)^2]\\
   &=\mathbb{E}[(X-\mathbb{E}X)^2\cdot 1_{X>\mathbb{E}X}]+\mathbb{E}[(X-\mathbb{E}X)^2\cdot 1_{X\leq \mathbb{E}X}]\\
   &\leq \mathbb{E}[(b-\mathbb{E}X)^2\cdot 1_{X>\mathbb{E}X}]+\mathbb{E}[(a-\mathbb{E}X)^2\cdot 1_{X\leq \mathbb{E}X}]\\
   &=(b-\mathbb{E}X)^2\cdot\underbrace{P(X>\mathbb{E}X)}_ y+(a-\mathbb{E}X)^2\cdot\underbrace{P(X\leq \mathbb{E}X)}_{1-y}\\
   &\leq\frac{(b-a)^2}{4}
\end{aligned}

当且仅当$\mathbb{E}X=\frac{a+b}{2},y=\frac{1}{2}$时取等号。（最后一个不等号可以用二元函数求极值的方法求解）

这里我们直接证明一个一般的不等式：若随机变量$X$的$p$阶矩存在，则对任意$x>0$，有

   P(|X|>x)\leq\frac{\mathbb{E}(|X|^p)}{x^p}

马尔科夫不等式与切比雪夫不等式分别对应$p=1$与$p=2$的情形。
证明：令$Y=|X|^p,z=x^p>0$，则

\mathbb{E}Y=\mathbb{E}[Y\cdot 1_{Y>z}]+\mathbb{E}[Y\cdot 1_{Y\leq z}]

又因为$\mathbb{E}[Y\cdot 1_{Y>z}]\geq \mathbb{E}[x\cdot 1_{Y>z}]=zP(Y>z)$，所以

   P(Y>z)=P(X^p>x^p)\leq\frac{\mathbb{E}Y}{z}=\frac{|X|^p}{x^p}

又因为$|X|^p>x^p$等价于$|X|>x$，所以不等式成立。

\begin{aligned}
   \sum_{k=1}^\infty P(A_k)&=\sum_{k=1}^\infty P(|X_k|>k\epsilon)\\
   &=\sum_{k=1}^\infty kP(k\epsilon< |X_k|< (k+1)\epsilon)\\
   &=\frac{1}{\epsilon}\sum_{k=1}^nk\epsilon P(k\epsilon< |X_k|< (k+1)\epsilon)\\
   &=\frac{1}{\epsilon}\sum_{k=1}^\infty\int_{k\epsilon}^{(k+1)\epsilon}k\epsilon p_{X_k}(x)dx+\frac{1}{\epsilon}\sum_{k=1}^\infty\int_{-(k+1)\epsilon}^{-k\epsilon}k\epsilon p_{X_k}(x)dx\\
   &\leq\frac{2}{\epsilon}\sum_{k=1}^\infty\int_{k\epsilon}^{(k+1)\epsilon}|x| p_{|X_k|}(x)dx\\
   &=\frac{2}{\epsilon}\int_{\epsilon}^\infty |x|p_{|X_k|}(x)dx\\
   &\leq\frac{2}{\epsilon}\mathbb{E}|X_k|< +\infty
\end{aligned}

最后一个小于是因为$\mathbb{E}|X_k|=\mathbb{E}|X_1|$且$\mathbb{E}X_1$存在（积分绝对收敛）。于是由Borel–Cantelli引理，$A_n$可以无限次发生，$\lim_{n\to\infty}\frac{X_n}{n}\stackrel{a.s.}{\rightarrow}0$
实际上，这里用了一个思想：

   \begin{aligned}
   \mathbb{E}|X|&=\int_{0}^\infty xdF(x)\\
   &=-\int_{0}^\infty xd(1-F(x))\\
   &=-x(1-F(x))|_{0}^{+\infty}+\int_{0}^\infty (1-F(x))dx\\
   &=\int_{0}^\infty P(|X|>x)dx\approx \sum_{k=1}^{\infty}\epsilon P(|X|>k\epsilon)
   \end{aligned}

无论$X_n$服从何种分布，$\lim_{n\to\infty}P\left(\left|\dfrac{X_n}{n}\right|>\epsilon\right)=\lim_{n\to\infty}P(|X_n|>n\epsilon)=0$，所以

只要$\mathbb{E}X_n$不存在（如柯西分布），即为依概率收敛无法推出几乎处处收敛的反例。

最优策略是：
先拒绝前$r$个人，然后选择第一个比前$r$个人都优秀的人。对$r$的计算如下：设最优秀的人顺序为第$k$个（概率为$\dfrac{1}{n}$），则若$k\leq r$则选到最优的概率为$0$（被拒绝），若$k>r$，则要保证最优秀的人被选中需要前$k-1$个候选人中最优秀的人处于前$r$个候选人中，概率为$\dfrac{r}{k-1}$。所以，总概率为

   P(r) = \sum_{k=1}^r\frac{1}{n}\cdot 0+\sum_{k=r+1}^n \frac{1}{n} \cdot \frac{r}{k-1}

当$n\to\infty$时，

   \sum_{k=r+1}^n \frac{1}{n} \cdot \frac{r}{k-1}\approx\frac{r}{n}(\ln n-\ln r)=\frac{r}{n}\ln\frac{n}{r}

对关于$r$的函数$\dfrac{r}{n}\ln\dfrac{n}{r}$求导，得极大值为$\dfrac{1}{e}$，当且仅当$r=\dfrac{n}{e}$，即先拒绝前$\dfrac{1}{e}\approx 37\%$的候选人。

关于为什么这个策略是最优的，这里给出两个链接：算法趣谈(1)——秘书问题与37%法则，秘书问题——知乎，涉及到动态规划的知识，在此不赘述。实则我也没大理解ww

在这一条件下，算法只对$T$赋了一次值，那么While内语句就最多被执行一次。（而且只有$T< 6$时执行）
利用重期望公式，

将$S$分为两个部分（设第一次$T< 6$）：第一次For循环S的增量$N_1$，与第一次For循环结束到整个While结束S的增量$S_1$。
那么有

所以$\mathbb{E}S=7$。
此题已初见随机过程雏形

设$N(t)$为$0\sim t$时间内仪器的更换数量（给定$t$后属于随机变量），$T$为仪器的寿命（服从指数分布，设其概率密度函数为$f(t)$），那么

又因为

其中$N(u,t)$表示$u\sim t$时间内仪器的更换数量，且$\mathbb{E}(N(u,t)|T=u)=\mathbb{E}(N(t-u))$
所以

令$g(t)=\mathbb{E}(N(t))$得

再令$\varphi(t)=e^{\lambda t}g(t)$，得

两边求导：

利用一阶线性非齐次微分方程的知识，解得$\varphi(t)=\lambda te^{\lambda t}$，即$\mathbb{E}(N(t))=g(t)=\lambda t$.

事实上，这里$N(t)$表示的就是随机过程里面的泊松过程。

设

分别对$a$和$b$求偏导，得

解得

由此可得

此为最佳线性逼近（会在线性模型中出现）

证明：

其中

所以

去等号当且仅当$g(X)=\mathbb{E}(Y|X)$。

补充：在随机向量典型题目第10题中，我们得到二元正态分布对应的条件概率
$\mathbb{E}(X\mid Y)=\mathbb{E}X+\rho\dfrac{\sqrt{\mathrm{Var}X}}{\sqrt{\mathrm{Var}Y}}(Y-\mathbb{E}Y)$，这和上面第一问的线性逼近得到的结果几乎相同（除了$X,Y$顺序不一样）
实际上，这说明二元正态分布下最优逼近就是线性逼近。

我们利用概率母函数（设为$M_X(s)$）证明：

下面对$-m(sq-\log M_X(s))$进行估计：
因为$X_i\in[0,1]$，$\mathbb{E}X_i=p$，由函数凸性，

两边取期望得

代入上式：$-m(sq-\log(1-p+pe^s))$对$s$求导，

解得

代回原不等式，即得

证明完成。

注：这里的$D(q||p)$也称为KL散度，而这个不等式说明样本均值的偏离程度会随样本增加呈指数级下降。

证明：因为

又因为上式对任意$0\leq s\leq b$均成立，所以$P(X>x)\leq\inf_{0\le s\le b}{e^{-sx}\phi\left(s\right)}$。（如果$\phi(s)$连续则可改为最小值）
（可用于估计一些非典型分布的概率）

独立增量过程的定义：$\{X(t+1)-X(t),t\geq 1\},X(1)$相互独立

证明：
因为$P(X_2-X_1=0|X_1=1)=P(X_2=1)=p$，而$P(X_2-X_1=0)=P(X_2=1,X_1=1)+P(X_2=0,X_1=0)=p^2+(1-p)^2$
所以当$p\neq\frac{1}{2}$时，$p\neq p^2+(1-p)^2$，$P(X_2-X_1=0|X_1=1)\neq P(X_2-X_1=0)$，$P(X_2-X_1=0)$与$P(X_1)$不独立，得证。

证明：
任意时刻$t_1,t_2,\cdots,t_n$，与任意非负整数$h$，考查联合分布$(Y_{t_1},Y_{t_2},\cdots,Y_{t_n})$与$(Y_{t_1+h},Y_{t_2+h},\cdots,Y_{t_n+h})$：
因为

而$(\Theta+wh)\mod 2\pi\sim U(0,2\pi)$，所以$(\Theta+wh)\mod 2\pi$与$\Theta$同分布，
那么
$A\cos(wt_1+\Theta+wh)$与$A\cos(wt_1+\Theta)$同分布，进而得到
$(Y_{t_1},Y_{t_2},\cdots,Y_{t_n})$与$(Y_{t_1+h},Y_{t_2+h},\cdots,Y_{t_n+h})$同分布，$Y$的严平稳性得证。

（1）证明：
因为

与$t$无关；又因为$\mathbb{E}[X^2]=D[X]+(\mathbb{E}[X])^2=1=\mathbb{E}[Y^2],\mathbb{E}[XY]=\mathrm{Cov}(X,Y)=0$（$X,Y$不相关），所以

与$s,t$无关，所以$Z$为宽平稳过程。
（2）证明：
因为$X,Y$相互独立且均服从正态分布$N(0,1)$，所以$(X,Y)$服从二维标准正态分布

又

记$X'=X\cos2\pi h+Y\cos2\pi h,Y'=-X\sin2\pi h+Y\sin2\pi h$，则$(X,Y)$到$(X',Y')$是单位正交变换，所以$(X',Y')$同样满足二维标准正态分布。
所以$Z_{t+h}$与$Z_t$同分布，进而任意$t_1< t_2\cdots< t_n$与$h$，
$(Z_{t_1},Z_{t_2},\cdots,Z_{t_n})$与$(Z_{t_{1+h}},Z_{t_{2+h}},\cdots,Z_{t_{n+h}})$同分布，$Z$为严平稳过程。
（3）即求$(Z_s,Z_t)(\forall 0\leq s< t)$的概率密度函数。由前两问可知，$(Z_s,Z_t)$服从二维正态分布$N(0,0,1,1,\cos(2\pi(s-t)))$（具体概率密度函数略）

因为$S$是简单随机游动且右连续，所以

其中$\tau'_1$与$\tau''_1$分别为从$-1$出发首次到$0$的时间与首次到$0$后，从$0$出发到$1$的时间.
然后

而$\mathbb{E}(\tau'_1)=\mathbb{E}(\tau''_1)=\mathbb{E}(\tau_1|S_0=0)$，所以

即$\mathbb{E}(\tau_1|S_0=0)=\dfrac{1}{1-2q}$.（这也是为什么要求$q< \dfrac{1}{2}$）

证明思路1：设$f(i)=P_i(\tau_1< \infty)$表示从位置$i$出发，最终经过有限次到达$1$的概率。则

解得

其中$A,B$为常数。又因为

所以

所以$P(\tau_1< \infty)=1$.

注：上面用到的差分方程在处理简单随机游动问题时非常有用，务必牢记。

证明思路2（使用条件期望）：

因此$P(\tau_1< \infty)=\dfrac{1\pm\sqrt{1-4pq}}{2q}=\dfrac{1\pm|p-q|}{2q}$
又因为$p>q$，且$P(\tau_1<\infty)\leq 1$，所以只能

当$p\leq q$时，$P(\tau_1<\infty)=\dfrac{p}{q}$.

证明：
设事件$A_i$表示第$i$次从$0$出发，并在到达$1$前回到$0$。
那么$P(A_i)=p_1(0,-1)=q$（因为第一步到达$-1$后，$P_{-1}(\tau_0< \infty)=1$，此为上题第3问结论），所以