第四次习题课

李函哲

阅读地图

本章集中在连续分布、多元正态、变换公式、GOE 和若干积分估计。
多元题目的核心是“密度、线性变换、协方差矩阵、正交不变性”。
Jensen、尾积分公式和正态尾界是后续大数定律与集中不等式的工具箱。

提示正态分布题中，协方差为零是否推出独立，只有在线性高斯结构中才可以直接使用。

习题3.1

旁注

连续密度和卷积题要分开处理归一化、换元、Jacobian 与独立性；每个积分先确认支撑集。

题目

求以下分布的归一化常数：

$f(x)=\frac{1}{C}\frac{1}{\sqrt{x(1-x)}}$ , $0<x<1$ ；
$f(x)=\frac{1}{C}e^{-x-e^{-x}}$ , $x\in\mathbb{R}$ 。

证明

f(x)=\frac{1}{C}\frac{1}{\sqrt{x(1-x)}},\quad 0<x<1

由 $\int_{0}^{1}f(x)\,dx=1$ ，得

\frac{1}{C}\int_{0}^{1}\frac{dx}{\sqrt{x(1-x)}}=1

计算积分：令 $x=\sin^2 t$ ，则 $dx=2\sin t\cos t\,dt$ ，

\sqrt{x(1-x)}=\sin t\cos t,\quad \int_{0}^{1}\frac{dx}{\sqrt{x(1-x)}}=\int_{0}^{\pi/2}2\,dt=\pi

所以

\frac{\pi}{C}=1 \quad\Rightarrow\quad C=\pi.

注意到 $\int e^{-x-e^{-x}}\,dx=e^{-e^{-x}}+C$ ，计算立得 $C=1$ 。

题目

求下面积分的归一化常数

\int_{\mathbb{R}^2} |x_1 - x_2| e^{-\frac{1}{2}(x_1^2 + x_2^2)} \, dx_1 dx_2

证明

令 $u = x_1 - x_2,\ v = x_1 + x_2$

|J| = \frac{1}{2}

\text{上式}= \int_{\mathbb{R}^2} |u| e^{-\frac{1}{4}(u^2 + v^2)} \cdot \frac{1}{2} \, du dv

= 2 \int_{0}^{+\infty} u e^{-\frac{1}{4}u^2} \, du \cdot \int_{0}^{+\infty} e^{-\frac{1}{4}v^2} \, dv

= 4\sqrt{\pi}.

从而 $C=4\sqrt{\pi}$ 。

题目

随机变量 $X,Y$ 相互独立且服从参数为 $1$ 的指数分布，求 $U=X+Y$ 的密度。

证明

直接计算 $f_U(u)=\int_0^u e^{-x}e^{x-u}\,dx=u e^{-u}\mathbb{1}_{u\geq 0}$ 。

题目

设 $X,Y,Z$ 相互独立，且均服从 $[0,1]$ 上的均匀分布。 (1) 求 $-\log X$ 的密度函数； (2) 证明 $W=(XY)^Z$ 也服从 $[0,1]$ 上的均匀分布。

证明

(1) $\mathbb{P}(-\log X \leq x)=\mathbb{P}(X\geq e^{-x})=1-e^{-x}$ ，故密度为 $e^{-x}\mathbb{1}_{x\geq 0}$ 。

(2) 由 $W=(XY)^Z$ 得 $-\log W=Z(-\log X-\log Y)$ ，故只需证明 $Z(-\log X-\log Y)$ 服从参数为 $1$ 的指数分布。记 $T=-\log X-\log Y$ ，由上题，

f_T(t) = te^{-t} \mathbb{1}_{t \geq 0}.

f_{T,Z}(t, z) = te^{-t} \mathbb{1}_{t \geq 0} \mathbb{1}_{0 \leq z \leq 1}.

只需证明 $R=TZ$ 服从参数为 $1$ 的指数分布。

作变换 $r=tz$ , $s=t$ ，

J = \begin{pmatrix} \frac{\partial z}{\partial r} & \frac{\partial z}{\partial s} \\ \frac{\partial t}{\partial r} & \frac{\partial t}{\partial s} \end{pmatrix} = \begin{pmatrix} \frac{1}{s} & -\frac{r}{s^2} \\ 0 & 1 \end{pmatrix}.

|\det(J)| = \frac{1}{s},

由联合密度函数变换公式，得

f_{R,S}(r,s)=e^{-s}\mathbb{1}_{0\leq r\leq s}.

f_R(r)=\int_{\mathbb{R}}e^{-s}\mathbb{1}_{0\leq r\leq s}\,ds =\mathbb{1}_{r\geq 0}\int_r^{+\infty}e^{-s}\,ds =e^{-r}\mathbb{1}_{r\geq 0}.

习题3.2

旁注

矩计算常走三条路：直接积分、递推或分部积分、母函数。正态和半圆律的矩值得对照。

题目

设 $X$ 服从标准正态分布， $Y$ 服从标准 Wigner 半圆律，求它们的各阶矩。

证明

因为二者都是对称随机变量，只需计算 $2k$ 阶矩。

\begin{aligned} \mathbb{E}[X^{2k}] &= \int_{-\infty}^{+\infty} x^{2k} \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2}x^2} \, dx \\ &= \frac{2^{k+\frac{1}{2}}}{\sqrt{2\pi}} \int_{0}^{+\infty} u^{k-\frac{1}{2}} e^{-u} \, du \quad (\text{令 } u = \frac{x^2}{2}) \\ &= \frac{2^{k+\frac{1}{2}}}{\sqrt{2\pi}} \, \Gamma\!\left(k + \frac{1}{2}\right) \\ &= \frac{2^{k+\frac{1}{2}}}{\sqrt{2\pi}} \cdot \left( \frac{\sqrt{\pi} \, (2k-1)!!}{2^k} \right) \quad (\text{利用 } \Gamma(n+1)=n\Gamma(n) \text{ 与 } \Gamma(\tfrac12)=\sqrt{\pi}) \\ &= (2k-1)!! \end{aligned}

对于半圆律：

\begin{aligned} \mathbb{E}[Y^{2k}] &= 2 \int_{0}^{2} \frac{1}{2\pi} y^{2k} \sqrt{4 - y^2} \, dy \\ &\overset{\text{令 } y = 2\sin\theta}{=} \frac{2^{2k+2}}{\pi} \int_{0}^{\frac{\pi}{2}} (\sin\theta)^{2k} \cos^2\theta \, d\theta \\ &= \frac{2^{2k+2}}{\pi} \int_{0}^{\frac{\pi}{2}} \left[ (\sin\theta)^{2k} - (\sin\theta)^{2k+2} \right] \, d\theta. \end{aligned}

数学分析里已经算过：

\begin{aligned} \int_{0}^{\frac{\pi}{2}} \sin^n x \, dx = \begin{cases} \dfrac{n-1}{n} \dfrac{n-3}{n-2} \cdots \dfrac{1}{2} \cdot \dfrac{\pi}{2}, & n \text{ 为正偶数} \\ \dfrac{n-1}{n} \dfrac{n-2}{n-3} \cdots \dfrac{1}{3} \cdot 1, & n \text{ 为正奇数} \end{cases} \end{aligned}

代入得到最后的结果为 $\dfrac{1}{k+1}\dbinom{2k}{k}$ 。

题目

$(X, Y)$ 联合密度为

f(x, y) = C^{-1} x (y - x) e^{-y}, \quad 0 \leq x \leq y < \infty.

求常数 $C$ ，条件密度 $f_{X|Y}$ 与条件期望 $\mathbb{E}[Y|X]$ 。

证明

\begin{aligned} &\int_{0}^{+\infty} \int_{0}^{y} Cx (y - x)e^{-y} \, dx \, dy \\ &= \int_{0}^{+\infty} Ce^{-y} \, dy \int_{0}^{y} x(y - x) \, dx \\ &= \int_{0}^{+\infty} C \cdot \frac{1}{6} y^3 e^{-y} \, dy \\ &= C \cdot \frac{1}{6} \cdot 3! \\ &= C. \end{aligned}

故 $C = 1$ .

\begin{aligned} f_{X|Y}(x) &= \frac{f(x, y)}{f_Y(y)} \\ &= \frac{x(y - x)e^{-y} \mathbb{1}_{0 \leq x \leq y}}{\frac{1}{6}y^3 e^{-y}} \\ &= \frac{6x(y - x)}{y^3} \mathbb{1}_{0 \leq x \leq y}. \end{aligned}

类似地,

\begin{aligned} f_{Y|X}(y) &= \frac{f(x, y)}{f_X(x)} \\ &= \frac{x(y - x)e^{-y} \mathbb{1}_{0 \leq x \leq y}}{x e^{-x}} \\ &= (y - x)e^{-(y-x)} \mathbb{1}_{y \geq x}. \end{aligned}

\begin{aligned} \mathbb{E}[Y \mid X] &= \int_{x}^{\infty} y (y - x) e^{-(y-x)} \, dy \\ &= X + 2. \end{aligned}

题目

4. 设 $g$ 为 $\mathbb{R}$ 上连续可微函数，并且 $g$ 和其导数 $g'$ 均有界，证明

X \sim N(\mu, \sigma^2) \implies \mathbb{E}[(X - \mu)g(X)] = \sigma^2 \mathbb{E}[g'(X)].

证明

不妨令 $Z\sim N(0,1)$ 。

\begin{aligned} & \mathbb{E} f^{\prime}(Z)=\frac{1}{\sqrt{2 \pi}} \int_{\mathbb{R}} e^{-t^2 / 2} f^{\prime}(t) d t \\ & \quad=\frac{1}{\sqrt{2 \pi}} \int_0^{\infty} f^{\prime}(t) \int_t^{\infty} w e^{-w^2 / 2} d w d t-\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^0 f^{\prime}(t) \int_{-\infty}^t w e^{-w^2 / 2} d w d t \\ & \quad \overset{Fubini}{=} \frac{1}{\sqrt{2 \pi}} \int_0^{\infty} w e^{-w^2 / 2}\left[\int_0^w f^{\prime}(t) d t\right] d w-\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^0 w e^{-w^2 / 2}\left[\int_w^0 f^{\prime}(t) d t\right] d w \\ & \quad = \frac{1}{\sqrt{2 \pi}} \int_0^{\infty} w e^{-w^2 / 2}f(w) d w+\frac{1}{\sqrt{2 \pi}} \int_{-\infty}^0 w e^{-w^2 / 2}f(w) d w \\ & \quad=\mathbb{E}[Z f(Z)] . \end{aligned}

反之，如果 $Z$ 满足方程 $\mathbb{E}(Zg(Z))=\mathbb{E}(g^{\prime}(Z))$ ，考虑 Stein 方程

xf(x)-f^{\prime}(x)=h(x)-\mathbb{E}(h(G))

（其中 $G \sim N(0,1)$ ）。固定 $h$ ，这是一个关于 $f$ 的常微分方程，具有唯一解。令 $h(x)=\mathbb{1}_{x\leq z}$ 。把 $x=Z$ 代入，两边求期望得到：

0=\mathbb{E}(Zf(Z))-\mathbb{E}(f^{\prime}(Z))=\mathbb{P}(Z\leq z)-\mathbb{P}(G\leq z)

这就说明了 $Z\overset{\mathrm{law}}{=}G$ 。

题目

设 $\{X_r : 1 \leq r \leq n\}$ 是独立同分布且方差有限的随机变量列，记

\overline{X} = \frac{1}{n} \sum_{k=1}^n X_k.

求协方差 $\operatorname{Cov}(\overline{X}, X_k - \overline{X})$ 。

证明

\begin{aligned} &\operatorname{Cov}\left(\bar{X}, X_k-\bar{X}\right)\\ =&\operatorname{Cov}\left(\bar{X}, X_k\right) -\operatorname{Cov}\left(\bar{X}, \bar{X}\right)\\ =&\operatorname{Cov}\left(\frac{X_k}{n}, X_k\right) -\operatorname{Var}(\bar{X})\\ =&\frac{\operatorname{Var}(X_k)}{n}-\frac{1}{n^2}\operatorname{Var}\!\left(\sum_{k=1}^n X_k\right)\\ =&\frac{\operatorname{Var}(X_k)}{n}-\frac{1}{n}\operatorname{Var}(X_k)\\ =&0. \end{aligned}

题目

设 $X$ 为非负随机变量，证明对任意 $r > 0$ 都有

\mathbb{E}[X^r] = \int_0^\infty r t^{r-1}\mathbb{P}(X \geq t)\,dt.

证明

\begin{aligned} \mathbb{E}[X^r] &= \mathbb{E}\!\left[\int_0^X r t^{r-1}\,dt\right] \\ &= \mathbb{E}\!\left[\int_0^{+\infty} r t^{r-1}\mathbb{1}_{t \leq X}\,dt\right] \\ &= \int_0^{\infty} r t^{r-1}\mathbb{E}[\mathbb{1}_{t \leq X}]\,dt \qquad \text{(Fubini)} \\ &= \int_0^{\infty} r t^{r-1}\mathbb{P}(X \geq t)\,dt. \end{aligned}

题目

对独立同分布随机变量 $X$ 和 $Y$ ，证明 (1) $U=X+Y$ 与 $V=X-Y$ 不相关但未必独立。 (2) 若 $X,Y\sim N(0,1)$ ，则 $U$ 与 $V$ 独立。

证明

(1)

\mathbb{E}[(X+Y)(X-Y)]=\mathbb{E} X^2-\mathbb{E} Y^2=0.

\mathbb{E}[X+Y]\mathbb{E}[X-Y]=\mathbb{E}[X]^2-\mathbb{E}[Y]^2=0.

故不相关。当 $X,Y$ 独立同分布于 $B(1,\frac{1}{2})$ 时， $X+Y$ 与 $X-Y$ 不独立。 (2)

\begin{aligned} & f_{X , Y}(x , y)=\frac{1}{2 \pi} e^{-\frac{1}{2} x^2-\frac{1}{2} y^2} \\ & \text { 令 } u=x+y \quad v=x-y \\ & J=\left(\begin{array}{cc} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\[5pt] \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{array}\right)=\left(\begin{array}{cc} \frac{1}{2} & \frac{1}{2} \\[5pt] \frac{1}{2} & -\frac{1}{2} \end{array}\right) \\ & |\operatorname{det} J|=\frac{1}{2} \\ & \begin{aligned} f_{U ,V}(u , v) & =\frac{1}{4 \pi} e^{-\frac{1}{4} u^2-\frac{1}{4} v^2} \\ & =\frac{1}{\sqrt{2 \pi} \cdot \sqrt{2}} e^{-\frac{1}{2}\left(\frac{u}{\sqrt{2}}\right)^2}\cdot \frac{1}{\sqrt{2 \pi} \cdot \sqrt{2}} e^{-\frac{1}{2}\left(\frac{v}{\sqrt{2}}\right)^2} . \end{aligned} \end{aligned}

因此 $U,V$ 独立。

习题3.3

旁注

多元正态的线性变换用协方差矩阵表述最清楚。线性变换后先算均值和协方差。

题目

设 $(X,Y)$ 服从二元标准正态分布，求：（1） $X+Y$ 与 $X-Y$ 的联合密度函数及边缘密度函数；（2） $\mathbb{E}[X-Y\mid X+Y]$ 和 $\operatorname{Var}(X-Y\mid X+Y)$ 。

证明

记 $U=X+Y$ ， $V=X-Y$ ，并设

(X,Y)\sim N(0,\Sigma).

由于二维标准正态，记 $\Sigma=\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \end{array}\right)$ 。记 $D=\left(\begin{array}{cc} 1 & 1\\ 1& -1 \end{array}\right)$ 。则

(U,V)=(X,Y)D.

由讲义定理 3.3.3，

(U,V)\sim N(0,D^T\Sigma D):=N(0,\Sigma').

经计算， $\Sigma'=\left(\begin{array}{cc} 2+2\rho & 0 \\ 0& 2-2\rho \end{array}\right)$ 。故 $U,V$ 独立， $U\sim N(0,2+2\rho)$ ， $V\sim N(0,2-2\rho)$ 。 (2) 既然 $U,V$ 独立，

\mathbb{E}[V\mid U]=\mathbb{E}[V]=0,\qquad \operatorname{Var}(V\mid U)=\operatorname{Var}(V)=2-2\rho.

题目

3. 设 $X = (X_1, X_2, \cdots, X_n)$ 服从多元正态 $N(0, \Sigma)$ ，这里正定矩阵 $\Sigma = (\sigma_{ij})_{i,j=1}^n$ 。证明

U = \sum_{k=1}^n a_k X_k \text{ 与 } V = \sum_{k=1}^n b_k X_k \text{ 独立当且仅当 } \sum_{j,k=1}^n a_j b_k \sigma_{jk} = 0,

其中 $a_1, \cdots, a_n, b_1, \cdots, b_n$ 为实数。并在 $b_1, \cdots, b_n$ 不全为零时，求条件期望 $\mathbb{E}[U \mid V]$ 。

证明

（1）多元正态分布的分量的线性组合仍构成多元正态分布，故 $(U,V)$ 满足二元正态分布。显然

\mathbb{E}[U]=\mathbb{E}[V]=0.

\begin{aligned} &U,V\text{独立}\\ \Leftrightarrow &\operatorname{Cov}(U,V)=0\\ \Leftrightarrow &\mathbb{E}[UV]=0\\ \Leftrightarrow &\sum_{j,k=1}^n a_jb_k\mathbb{E}[X_jX_k] =0\\ \Leftrightarrow &\sum_{j,k=1}^n a_jb_k\sigma_{jk} =0\\ \end{aligned}

(2) 对于正态分布，因为不相关和独立性等价，所以

\operatorname{Cov}(U-\frac{\operatorname{Cov}(U, V)}{\operatorname{Var}(V)}V , V)=0

进而有 $U-\frac{\operatorname{Cov}(U,V)}{\operatorname{Var}(V)}V$ 与 $V$ 独立。于是 $\mathbb{E}\!\left[U-\frac{\operatorname{Cov}(U,V)}{\operatorname{Var}(V)}V\mid V\right]=\mathbb{E}\!\left[U-\frac{\operatorname{Cov}(U,V)}{\operatorname{Var}(V)}V\right]=0$ 由条件期望的线性性，得到

\mathbb{E}[U \mid V] = \frac{\operatorname{Cov}(U, V)}{\operatorname{Var}(V)} \, V.

代入计算即可得：

\mathbb{E}[U \mid V] = \frac{\sum_{j,k} a_j b_k \sigma_{jk}}{\sum_{j,k} b_j b_k \sigma_{jk}} V

题目

设 $X_1,X_2,\cdots,X_n$ 独立同分布于 $N(\mu,\sigma^2)$ ， $\overline{X}=\frac{1}{n}\sum_{i=1}^n X_i$ ，求 $\rho(X_1,\overline{X})$ 。

证明

由题意， $X_1, X_2, \ldots, X_n$ 独立同分布， $\mathbb{E}(X_i)=\mu$ ， $\operatorname{Var}(X_i) = \sigma^2$ 。

\overline{X} = \frac{1}{n} \sum_{j=1}^n X_j

首先计算协方差：

\operatorname{Cov}(X_1, \overline{X}) = \operatorname{Cov}\left(X_1, \frac{1}{n} \sum_{j=1}^n X_j\right) = \frac{1}{n} \sum_{j=1}^n \operatorname{Cov}(X_1, X_j)

由于独立性，当 $j \ne 1$ 时， $\operatorname{Cov}(X_1, X_j) = 0$ ；当 $j = 1$ 时， $\operatorname{Cov}(X_1, X_1) = \operatorname{Var}(X_1) = \sigma^2$ 。

因此：

\operatorname{Cov}(X_1, \overline{X}) = \frac{1}{n} \cdot \sigma^2 = \frac{\sigma^2}{n}

再计算方差：

\operatorname{Var}(\overline{X}) = \frac{1}{n^2} \sum_{j=1}^n \operatorname{Var}(X_j) = \frac{1}{n^2} \cdot n \sigma^2 = \frac{\sigma^2}{n}

\operatorname{Var}(X_1) = \sigma^2

故相关系数：

\rho(X_1, \overline{X}) = \frac{\operatorname{Cov}(X_1, \overline{X})}{\sqrt{\operatorname{Var}(X_1) \operatorname{Var}(\overline{X})}} = \frac{\frac{\sigma^2}{n}}{\sqrt{\sigma^2 \cdot \frac{\sigma^2}{n}}} = \frac{\frac{\sigma^2}{n}}{\frac{\sigma^2}{\sqrt{n}}} = \frac{1}{\sqrt{n}}

题目

若 $e$ 为 $\mathbb{R}^n (n \geq 2)$ 中一个固定的单位向量，随机向量 $X$ 服从 $n$ 元正态分布 $N(0, I_n)$ ，这里 $I_n$ 为单位矩阵。记 $Z$ 为 $e$ 在 $X$ 所在直线上投影长度的平方，试求 $Z$ 的密度函数。

证明

投影向量长度的平方为：

Z = \frac{(e^\top X)^2}{\|X\|^2}

由于 $X \sim N(0, I_n)$ ，作正交变换（该变换可行，因为 $X$ 具有球对称性）使 $e$ 变为第一个坐标轴方向 $(1,0,\ldots,0)^\top$ 。记 $Y = (Y_1, Y_2, \ldots, Y_n)^\top$ 为变换后的向量，则 $Y \sim N(0, I_n)$ ，且

e^\top X = Y_1, \quad \|X\|^2 = \sum_{i=1}^n Y_i^2.

于是：

Z = \frac{Y_1^2}{Y_1^2 + Y_2^2 + \cdots + Y_n^2}.

令 $U = Y_1^2 \sim \chi^2_1$ ， $V = Y_2^2 + \cdots + Y_n^2 \sim \chi^2_{n-1}$ ，且 $U$ 与 $V$ 独立。则：

Z = \frac{U}{U + V}.

对于 $U \sim \chi^2_a$ ， $V \sim \chi^2_b$ 独立，有：

\frac{U}{U+V} \sim \operatorname{Beta}\left(\frac{a}{2}, \frac{b}{2}\right).

这里 $a = 1$ ， $b = n-1$ ，故：

Z \sim \operatorname{Beta}\left(\frac{1}{2}, \frac{n-1}{2}\right).

其密度函数为：

f_Z(z) = \frac{\Gamma\left(\frac{n}{2}\right)}{\Gamma\left(\frac{1}{2}\right) \Gamma\left(\frac{n-1}{2}\right)} z^{\frac{1}{2} - 1} (1-z)^{\frac{n-1}{2} - 1}, \quad 0 < z < 1.

即：

f_Z(z) = \frac{\Gamma\left(\frac{n}{2}\right)}{\sqrt{\pi} \, \Gamma\left(\frac{n-1}{2}\right)} z^{-1/2} (1-z)^{\frac{n-3}{2}}, \quad 0 < z < 1,

其他处为 0。

习题3.4

旁注

复高斯和 GOE 题多用不变性。先找对称性，往往比直接硬算密度更省力。

题目

若 $Z \sim N_C(0,1)$ ，证明

\mathbb{E}[Z^k \bar{Z}^l] = \begin{cases} k! & , \quad k = l, \\ 0 & , \quad k \neq l. \end{cases}

证明

\begin{aligned} &\text { 利用 } f(z)=\frac{1}{\pi} \mathrm{e}^{-|z|^{2}} \text {, 有 }\\ & \mathbb{E}\left[Z^{k} \bar{Z}^{l}\right]=\int_{\mathbb{C}} \frac{1}{\pi} \mathrm{e}^{-|z|^{2}} z^{k} \bar{z}^{l} \mathrm{~d} z \\ &\stackrel{z=re^{i\theta}}{=} \int_{0}^{2 \pi} \int_{0}^{+\infty} \frac{1}{\pi} \mathrm{e}^{-r^{2}}\left(r \mathrm{e}^{\mathrm{i} \theta}\right)^{k}\left(r \mathrm{e}^{-\mathrm{i} \theta}\right)^{l} r \mathrm{~d} r \mathrm{~d} \theta \\ & =\int_{0}^{2 \pi} \int_{0}^{+\infty} \frac{1}{\pi} r^{k+l+1} \mathrm{e}^{i(k-l) \theta} \mathrm{e}^{-r^{2}} \mathrm{~d} r \mathrm{~d} \theta \\ & =\left\{\begin{array}{ll} 2 \int_{0}^{+\infty} r^{2 k+1} \mathrm{e}^{-r^{2}} \mathrm{~d} r=\Gamma(k+1)=k!\quad\quad\quad & ,k=l \\ 0 & ,k \neq l . \end{array}\right. \end{aligned}

题目

设 $Z_1, Z_2 \sim N_C(0, 1)$ 且独立，

$1$ 求 $Z_1 / Z_2$ 的密度函数。

$2$ 利用习题 3.4.1，对正整数 $n$ 求期望 $\mathbb{E}[|Z_1 - Z_2|^{2n}]$ 。

证明

(1) 已知 $Z_1, Z_2 \overset{\text{i.i.d.}}{\sim} N_\mathbb C(0,1)$ ，即

f_{Z_1, Z_2}(z_1, z_2) = \frac{1}{\pi^2} e^{-|z_1|^2 - |z_2|^2}, \quad z_1, z_2 \in \mathbb{C}.

令

W = \frac{Z_1}{Z_2}, \quad V = Z_2.

则变换为

Z_1 = WV, \quad Z_2 = V.

该变换的 Jacobian 行列式为 $|v|^2$ 。因此联合密度为

f_{W,V}(w, v) = f_{Z_1, Z_2}(wv, v) \cdot |v|^2 = \frac{1}{\pi^2} e^{-|wv|^2 - |v|^2} \cdot |v|^2 = \frac{|v|^2}{\pi^2} e^{-|v|^2(1 + |w|^2)}.

对 $v$ 积分得 $W$ 的边际密度：

f_W(w) = \int_{\mathbb{C}} f_{W,V}(w, v) \, dv.

令 $r = |v|$ ，则 $dv = r \, dr \, d\theta$ ，积分与 $\theta$ 无关：

f_W(w) = \frac{1}{\pi^2} \int_0^{\infty} \int_0^{2\pi} r^2 e^{-r^2(1+|w|^2)} \cdot r \, d\theta \, dr = \frac{2\pi}{\pi^2} \int_0^{\infty} r^3 e^{-r^2(1+|w|^2)} \, dr.

计算积分：令 $a = 1+|w|^2$ ， $t = r^2$ ，则 $r^3 dr = \frac{t}{2} dt$ ，

\int_0^{\infty} r^3 e^{-a r^2} dr = \frac{1}{2} \int_0^{\infty} t e^{-a t} dt = \frac{1}{2} \cdot \frac{1}{a^2} = \frac{1}{2a^2}.

代入得

f_W(w) = \frac{2\pi}{\pi^2} \cdot \frac{1}{2(1+|w|^2)^2} = \frac{1}{\pi (1+|w|^2)^2}.

$2$ 由于 $Z_1, Z_2 \sim N_\mathbb C(0,1)$ 独立，有 $Z_1 - Z_2 \sim N_\mathbb C(0, 2)$ 。令 $Y = \frac{Z_1 - Z_2}{\sqrt{2}} \sim N_C(0,1)$ 。则：

|Z_1 - Z_2|^{2n} = (2)^{n} |Y|^{2n} = 2^n (Y \bar{Y})^n.

由习题 3.4.1（取 $k=n, l=n$ ）：

\mathbb{E}[(Y \bar{Y})^n] = \mathbb{E}[Y^n \bar{Y}^n] = n!.

因此：

\mathbb{E}[|Z_1 - Z_2|^{2n}] = 2^n \cdot n!.

题目

4. (GOE 的矩) 设 $H$ 服从 GOE $_n$ 分布，令 $a_k = \mathbb{E}[\operatorname{tr}(H^k)]$ 。计算出前 6 阶矩 $a_k, k = 1, \dots, 6$ 。

证明

由对称性，只考虑偶数阶矩。一般随机矩阵中 $\operatorname{tr}=\dfrac{1}{n}\operatorname{Tr}$ ，其中 $\operatorname{Tr}$ 是迹运算， $n$ 是矩阵维数,由对称性，只考虑偶数阶矩。由Wick公式

\begin{aligned} \mathbb{E}\operatorname{Tr}(H^{2k}) &=\sum_{i_1,\cdots , i_{2k}} \mathbb{E}( h_{i_1i_2}h_{i_2i_3}\cdots h_{i_{2k}i_1}) \\ &=\sum_{i_1,\cdots , i_{2k}} \sum_{\pi \in \mathcal{P}(2k)}\prod_{(p,q)\in \pi }\mathbb{E}(h_{i_pi_{p+1}}h_{i_qi_{q+1}})\\ &=\sum_{i_1,\cdots , i_{2k}} \sum_{\pi \in \mathcal{P}(2k)}\prod_{(p,q)\in \pi }\mathbb{E}(\delta_{i_pi_q}\delta_{i_{p+1}i_{q+1}}+\delta_{i_pi_{q+1}}\delta_{i_{p+1}i_q}) \end{aligned}

k=1：

a_2 = \dfrac{1}{n}\sum_{i_1,i_2} \mathbb{E}[h_{i_1 i_2} h_{i_2 i_1}] = \dfrac{1}{n}\sum_{i_1,i_2} \mathbb{E}[h_{i_1 i_2}^2]=\dfrac{1}{n}(2n+(n^2-n))=n+1

k=2：

a_4 = \dfrac{1}{n}\sum_{i_1,i_2,i_3,i_4} \mathbb{E}[h_{i_1i_2} h_{i_2i_3} h_{i_3i_4} h_{i_4i_1}].

Wick 公式给出 3 种配对

$(1,2)(3,4)$ ：仅在 $i_1=i_3$ 时不为 $0$ ， $i_1=i_2=i_3=i_4$ 时贡献4， $i_1=i_2\neq i_4$ 和 $i_1=i_4\neq i_2$ 时贡献2， $i_1\neq i_2,i_1\neq i_4$ 时贡献 $1$ 。因此总贡献： $4n+2n(n-1)+2n(n-1)+n(n-1)^2$
$(1,3)(2,4)$ ：交错配对，当且仅当 $i_1=i_3,i_2=i_4$ 或者 $i_2=i_3,i_1=i_4$ 时不为 $0$ ，总贡献 $4n+n(n-1)=n^2+3n$
$(1,4)(2,3)$ ：同第一种，贡献也是 $n^3+2n^2+n$

计算得

a_4 = 2n^2 + 5n + 5.

$k=3$ ：由轮换对称性，可以分成 $5$ 种情况，对应的代表配对分别是： $(1,2)(3,4)(5,6)$ ， $(1,2)(3,6)(4,5)$ ， $(1,2)(3,5)(4,6)$ ， $(1,3)(2,5)(4,6)$ ， $(1,4)(2,5)(3,6)$ 。每种情况分别有 $2,3,6,3,1$ 种配对。下面，针对 $(1,2)(3,4)(5,6)$ 的详细过程： $\mathbb{E} h_{i_1i_2}h_{i_2i_3} \neq 0$ 当且仅当 $i_1=i_2,i_2=i_3$ 或者 $i_1=i_3$ ； $\mathbb{E} h_{i_3i_4}h_{i_4i_5} \neq 0$ 当且仅当 $i_3=i_4,i_4=i_5$ 或者 $i_3=i_5$ $\mathbb{E} h_{i_5i_6}h_{i_6i_1} \neq 0$ 当且仅当 $i_5=i_6,i_6=i_1$ 或者 $i_1=i_5$ 共有八种情况，每种情况贡献 $1$ ，例如都选后者算出的关系为： $i_1=i_3=i_5,i_2,i_4,i_6$ ，共 $n^4$ 种情况。同样算下去，结果为 $n^4+3n^2+3n^2+n$ 。第二种配对： $n^4+3n^3+3n^2+n$ 第三种配对： $n^3+4n^2+3n$ 第四种配对： $3n^2+5n$ 第五种配对： $n^3+4n^2+3n$ 最后合计为： $5n^4 +22n^3 +52n^2 +41n$ 。另外，M. Ledoux 在 “A recursion formula for the moments of the Gaussian orthogonal ensemble” 中给出了计算 GOE 精确矩的五项递推公式：记 $\mathbb{E}(\operatorname{Tr}(H^{2p}))=b_p^N = \sum_{k \geq 1} \eta_k(p) N^k$ ，

\begin{aligned} (p + 1)\eta_k(p) &= (8p - 2)\eta_{k-1}(p - 1) - (4p - 1)\eta_k(p - 1) \\ &\quad + p(2p - 3)(10p - 9)\eta_k(p - 2) - 8(2p - 3)\eta_{k-2}(p - 2) \\ &\quad + 8(2p - 3)\eta_{k-1}(p - 2) - 10(2p - 3)(2p - 4)(2p - 5)\eta_{k-1}(p - 3) \\ &\quad + 5(2p - 3)(2p - 4)(2p - 5)\eta_k(p - 3) \\ &\quad - 2(2p - 3)(2p - 4)(2p - 5)(2p - 6)(2p - 7)\eta_k(p - 4) \end{aligned}

题目

假设 $\{x_{ij}\}_{i,j=1}^n$ 独立同分布 $N(0,1)$ ，令

X_n = (x_{ij})_{i,j=1}^n,

构造对称矩阵

H = \frac{1}{\sqrt{2}}(X_n + X_n^t),

试证明 $H$ 服从 GOE 分布。

证明

由于 $H = \frac{1}{\sqrt{2}}(X_n + X_n^t)$ ，其矩阵元为

H_{ij} = \frac{1}{\sqrt{2}}(x_{ij} + x_{ji}).

由 $\{x_{ij}\}$ 独立同分布于 $N(0,1)$ ，可计算 $H$ 各矩阵元的分布。对角元 $H_{ii}$ ：

H_{ii} = \frac{1}{\sqrt{2}}(x_{ii} + x_{ii}) = \sqrt{2}\,x_{ii}.

因为 $x_{ii} \sim N(0,1)$ ，所以

H_{ii} \sim N(0,2).

非对角元 $H_{ij}$ （ $i < j$ ）：

H_{ij} = \frac{1}{\sqrt{2}}(x_{ij} + x_{ji}).

由于 $x_{ij}$ 与 $x_{ji}$ 独立且均服从 $N(0,1)$ ，它们的和服从 $N(0,2)$ ，乘以 $1/\sqrt{2}$ 后得

H_{ij} \sim N(0,1).

独立元共 $n$ 个对角元与 $\frac{n(n-1)}{2}$ 个非对角元，总计 $\frac{n(n+1)}{2}$ 个。

联合密度为各独立元密度的乘积：

\begin{aligned} f(H) &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi \cdot 2}} \exp\left(-\frac{H_{ii}^2}{4}\right) \times \prod_{i<j} \frac{1}{\sqrt{2\pi}} \exp\left(-\frac{H_{ij}^2}{2}\right) \\ &= 2^{-\frac{n}{2}} (2\pi)^{-\frac{n(n+1)}{4}} \exp\left(-\frac{1}{4}\sum_{i=1}^n H_{ii}^2 - \frac{1}{2}\sum_{i<j} H_{ij}^2\right). \end{aligned}

注意到

\frac{1}{4}\sum_{i=1}^n H_{ii}^2 + \frac{1}{2}\sum_{i<j} H_{ij}^2 = \frac{1}{4}\operatorname{tr}(H^2),

故

f(H) = 2^{-\frac{n}{2}} (2\pi)^{-\frac{n(n+1)}{4}} e^{-\frac{1}{4}\operatorname{tr}(H^2)}.

题目

(GOE 的正交不变性) 设 $H$ 服从 GOE 分布，证明任给正交矩阵 $Q$ ， $QHQ^{-1}$ 也服从 GOE 分布。

证明

设 $H \sim \text{GOE}_n$ ，其联合密度为

f(H) = C_n \cdot e^{-\frac{1}{4}\operatorname{tr}(H^2)},

其中 $C_n = 2^{-\frac{n}{2}} (2\pi)^{-\frac{n(n+1)}{4}}$ 。

令 $\tilde{H} = QHQ^{-1} = QHQ^t$ （因 $Q$ 为正交矩阵）。

对称性：

\tilde{H}^t = (QHQ^t)^t = QH^tQ^t = QHQ^t = \tilde{H},

所以 $\tilde{H}$ 仍是实对称矩阵。

迹的不变性：

\operatorname{tr}(\tilde{H}^2) = \operatorname{tr}(QHQ^t QHQ^t) = \operatorname{tr}(QH^2Q^t) = \operatorname{tr}(H^2 Q^t Q) = \operatorname{tr}(H^2).

因此密度函数中的指数部分不变：

\exp\left(-\frac{1}{4}\operatorname{tr}(\tilde{H}^2)\right) = \exp\left(-\frac{1}{4}\operatorname{tr}(H^2)\right).

变换的 Jacobian 行列式： $\tilde{H} = QHQ^t$ 是一个线性变换，因此存在矩阵 $A$ 使得 $\operatorname{Vec}(\tilde{H})=A\operatorname{Vec}(H)$ ，其中 $\operatorname{Vec}$ 是把矩阵拉长为 $n^2$ 维向量。一个矩阵正交当且仅当其保持任意向量的 2-范数，因此

\|\operatorname{Vec}(\tilde{H})\|_2^2=\operatorname{tr}(\tilde{H}^2)=\operatorname{tr}(H^2)=\|\operatorname{Vec}(H)\|_2^2

因此 $A$ 正交。故其 Jacobian 行列式的绝对值为 $1$ 。变换后 $\tilde{H}$ 的密度为

f(\tilde{H}) = f(H) \cdot |\det(J)|^{-1} = f(H) = C_n \cdot e^{-\frac{1}{4}\operatorname{tr}(\tilde{H}^2)}.

因此 $\tilde{H} = QHQ^{-1}$ 同样服从 GOE 分布。 $\square$

习题4.1

旁注

这一节准备尾积分、Jensen 和矩界；后面会把它们转成概率界。

题目

对非负随机变量 $X$ ，证明

\sum_{n=1}^\infty \mathbb{P}(X \geq n) \leq \mathbb{E}[X] \leq \sum_{n=1}^\infty \mathbb{P}(X \geq n) + 1.

证明

注意,对非负随机变量 $X$ ,我们有,

X=\sum_{i=0}^{\infty} X\mathbb 1_{i\leq X<i+1}.

同时显然我们有,

i\mathbb{1}_{i\leq X<i+1}\leq X\mathbb{1}_{i\leq X<i+1} \leq (i+1)\mathbb{1}_{i\leq X<i+1}.

故,

\begin{aligned} \mathbb{E}[X]=&\sum_{i=0}^{\infty} \mathbb{E}[X\mathbb{1}_{i\leq X<i+1}]\\ \leq & \sum_{i=0}^{\infty} (i+1)\mathbb{E}[\mathbb{1}_{i\leq X<i+1}]\\ \leq & 1+\sum_{i=0}^{\infty} i\mathbb{E}[\mathbb{1}_{i\leq X<i+1}]\\ \leq & 1+\sum_{i=1}^{\infty} \sum_{j=1} ^i \mathbb{E}[\mathbb{1}_{i\leq X<i+1}]\\ &\text{累和号换序.}\\ \leq & 1+\sum_{j=1}^{\infty} \sum_{i=j} ^{\infty} \mathbb{E}[\mathbb{1}_{i\leq X<i+1}]\\ \leq & 1+\sum_{j=1}^{\infty} \mathbb{P}(X\geq j).\\ \end{aligned}

另一侧同理.

题目

(Jensen 不等式) 称函数 $u : \mathbb{R} \to \mathbb{R}$ 为凸的，若对任意 $a \in \mathbb{R}$ 存在 $\lambda = \lambda_a$ 使得

u(x) \geq u(a) + \lambda_a (x - a), \quad \forall x \in \mathbb{R}.

称凸函数 $u$ 是严格凸的，若 $\lambda_a$ 关于 $a$ 严格单调递增。

证明对于凸函数 $u$ 与期望存在的随机变量 $X$ ，有 $\mathbb{E}[u(X)] \geq u(\mathbb{E}[X])$ 。
证明若 $u$ 是严格凸的且 $\mathbb{E}[u(X)] = u(\mathbb{E}[X])$ ，则 $X$ 以概率 $1$ 为常数。

证明

(1)取 $a=\mathbb{E}[X],$ 由凸函数定义,

\mathbb{E}[u(X)]\geq \mathbb{E}[u(a)+\lambda_a(X-a) ]=u(a)+\lambda_a(\mathbb{E}[X]-a)=u(a)=u(\mathbb{E}[X]).

(2)不等号取等当且仅当 $X=\mathbb{E}[X]\quad a.e.$ ,即 $X$ 以概率 $1$ 为常数.

题目

$X$ 为非负随机变量，证明对任意 $r > 0$ 均有

\mathbb{E}[X^r] = \int_0^\infty r x^{r-1} \mathbb{P}(X > x) \, dx.

证明

\begin{aligned} \mathbb{E} [X^{r}] & =\mathbb{E} \int_{0}^{X} rt^{r-1} d t \\ & =\mathbb{E} \int_{0}^{\infty} r t^{r-1} \mathbb{1}_{X>t} d t \\ & \text{使用Fubini定理交换积分顺序.} \\ & =\int_{0}^{\infty} r t^{r-1} \mathbb{E}[\mathbb{1}_{X>t}] d t \\ & =\int_{0}^{\infty} r t^{r-1} \mathbb{P}(X>t) d t. \end{aligned}

题目

给定 $r > 0$ 。

当 $\mathbb{E}[|X|^r] < \infty$ 时，证明

\lim_{x \to +\infty} x^r \mathbb{P}(|X| \geq x) = 0.

\lim_{x \to +\infty} x^r \mathbb{P}(|X| \geq x) = 0,

证明 $\mathbb{E}[|X|^s] < \infty$ ， $\forall s \in (0, r)$ 。并问 $\mathbb{E}[|X|^r] < \infty$ 是否成立？请说明理由或给出反例。

证明

(1)易知,

x^r \mathbb{P}(|X|\geq x)=x^r\int _{\mathbb R} \mathbb{1}_{|X|\geq x} d \mathbb{P} \leq \int _{\mathbb R } |X|^r\mathbb{1}_{|X|\geq x} d \mathbb{P}.

另一方面, $|X|^r\mathbb{1}_{|X|\geq x} \leq |X|^r,$ 同时 $|X|^r$ 可积 $(\mathbb{E}[|X|^r]<\infty)$ ,由 DCT.

\lim _{n\to \infty} \int _{\mathbb R} |X|^r\mathbb{1}_{|X|\geq n} d \mathbb{P}=\int _{\mathbb R}\lim _{n\to \infty} |X|^r\mathbb{1}_{|X|\geq n} d \mathbb{P}=\int _{\mathbb R }0 d \mathbb{P}=0.

综上,证毕. (2) $\forall \varepsilon>0,$ 记 $M$ 使得 $\forall x>M,x^r \mathbb{P}(|X|\geq x)<\varepsilon.$ 由上题结论,

\begin{aligned} \mathbb{E}[|X|^s]= &\int_{0}^{\infty} s t^{s-1} \mathbb{P}(|X|>t) d t\\ =& \int_{0}^{M} s t^{s-1} \mathbb{P}(|X|>t) d t+ \int^{\infty}_{M} s t^{s-1} \mathbb{P}(|X|>t) d t\\ =& C_1+ \int^{\infty}_{M} s t^{s-1} \frac{\varepsilon}{ t^r } d t\\ =& C_1+ C_2\varepsilon. \end{aligned}

故 $\mathbb{E}[|X|^s]<\infty$ 。此时并不一定有 $\mathbb{E}[|X|^r]<\infty$ ，取 $\mathbb{P}(|X|\geq x)\sim \frac{1}{x^r\log x}$ ，利用上题公式验证即知 $\mathbb{E}[|X|^r]$ 发散。

习题3.5

旁注

正态尾概率的量级是 $e^{-x^2/2}/x$ 。分部积分是这里的主要工具。

题目

标准正态分布的尾概率估计，对于 $X\sim N(0,1)$ ，那么

\dfrac{x}{x^2+1}\dfrac{1}{\sqrt{2\pi }}e^{-x^2/2}\leq \mathbb{P}(X\geq x)\leq \dfrac{1}{x}\dfrac{1}{\sqrt{2\pi }}e^{-x^2/2}

证明

右边的估计来自于 $\mathbb{E}(\mathbb{1}_{X\geq x})\leq \mathbb{E}(\dfrac{X}{x}\mathbb{1}_{X\geq x})$ 进而有：

\mathbb{P}\{X > x\} \leq \frac{1}{\sqrt{2\pi}} \int_x^\infty \frac{u}{x} e^{-u^2/2} \, du = \frac{1}{x} \frac{1}{\sqrt{2\pi}} e^{-x^2/2}.

对于左边的等式，定义

f(x) = x e^{-x^2/2} - (x^2 + 1) \int_x^\infty e^{-u^2/2} \, du.

由 $f(0) < 0$ 和 $\lim_{x \to \infty} f(x) = 0$ . 以及

f'(x) = (1 - x^2 + x^2 + 1) e^{-x^2/2} - 2x \int_x^\infty e^{-u^2/2} \, du = -2x \left( \int_x^\infty e^{-u^2/2} \, du - \frac{e^{-x^2/2}}{x} \right),

$x>0$ 时 $f^{\prime}>0$ ，进而 $f(x)\leq 0$ 。

题目

定义函数 $H_n, n \geq 0, H_0 = 1, (-1)^n H_n \phi = \phi^{(n)}$ ，证明 $H_n(x)$ 是主项为 $x^n$ 的 $n$ 次多项式，且满足正交关系：

\int_{-\infty}^{+\infty} H_m(x) H_n(x) \phi(x) \, dx = \begin{cases} m!, & m = n, \\ 0, & m \neq n. \end{cases}

并证明

\sum_{n=0}^\infty H_n(x) \frac{t^n}{n!} = e^{xt - \frac{1}{2}t^2}.

解答

由定义 $(-1)^n H_n(x) \phi(x) = \phi^{(n)}(x)$ ，其中 $\phi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}$ 。计算 $\phi^{\prime}=-x\phi$ ， $\phi^{\prime\prime}=-\phi+x^2\phi^{\prime}$ 。通过归纳法可以得到 $H_n(x)=-H_{n-1}^{\prime}(x)+xH_{n-1}(x)$ 。可以看出 $H_n$ 是最高项为 $x^n$ 的首一多项式。

正交性：设 $m \geq n$ ，

\int H_m H_n \phi \, dx = (-1)^n \int H_m \phi^{(n)} \, dx.

分部积分 $n$ 次，若 $n \geq m$ ，边界项为零得

(-1)^n \int H_m \phi^{(n)} \, dx = \int H_m^{(n)} \phi \, dx.

$H_m^{(n)}$ 在 $m=n$ 时为非零常数 $n!$ ，且 $\int \phi=1$ ，故得证。由 Taylor 展开

\phi(x-t) = \sum_{n=0}^\infty \frac{(-t)^n}{n!} \phi^{(n)}(x).

又 $\phi(x-t) = \frac{1}{\sqrt{2\pi}} e^{-(x-t)^2/2} = \phi(x) e^{xt - t^2/2}$ 。代入 $\phi^{(n)}(x) = (-1)^n H_n(x) \phi(x)$ ，消去 $\phi(x)$ 即可。

题目

对任意正整数 $m, n$ ，计算相关系数 $\rho(H_m(X), H_n(Y))$ 。

解答

由(1)中母函数展开

e^{Xt - \frac{t^2}{2}} = \sum_{i=0}^\infty H_i(X) \frac{t^i}{i!}, \quad e^{Ys - \frac{s^2}{2}} = \sum_{j=0}^\infty H_j(Y) \frac{s^j}{j!}.

首先，取期望得

\mathbb{E}\bigl(e^{Xt - \frac{t^2}{2}}\bigr) = e^{-\frac{t^2}{2}} \mathbb{E}(e^{tX}) = e^{-\frac{t^2}{2}} \cdot e^{\frac{t^2}{2}} = 1,

对照展开式 $\mathbb{E}\bigl(\sum_i H_i(X) \frac{t^i}{i!}\bigr) = \sum_i \mathbb{E}(H_i(X)) \frac{t^i}{i!} = 1$ ，比较系数得 $\mathbb{E}(H_0(X)) = 1$ ，且对 $n \geq 1$ 有 $\mathbb{E}(H_n(X)) = 0$ 。

其次，考虑联合母函数

\mathbb{E}\bigl(e^{Xt - \frac{t^2}{2}} \cdot e^{Ys - \frac{s^2}{2}}\bigr) = e^{-\frac{t^2 + s^2}{2}} \mathbb{E}\bigl(e^{tX + sY}\bigr).

由于 $(X, Y)$ 服从标准二元正态， $tX + sY \sim N(0, t^2 + s^2 + 2\rho ts)$ ，故

\mathbb{E}\bigl(e^{tX + sY}\bigr) = e^{\frac{1}{2}(t^2 + s^2 + 2\rho ts)},

因此

\mathbb{E}\bigl(e^{Xt - \frac{t^2}{2}} \cdot e^{Ys - \frac{s^2}{2}}\bigr) = e^{-\frac{t^2 + s^2}{2}} \cdot e^{\frac{1}{2}(t^2 + s^2 + 2\rho ts)} = e^{\rho ts}.

另一方面，将母函数展开代入：

\mathbb{E}\left( \sum_{i=0}^\infty H_i(X) \frac{t^i}{i!} \sum_{j=0}^\infty H_j(Y) \frac{s^j}{j!} \right) = \sum_{i,j=0}^\infty \mathbb{E}[H_i(X) H_j(Y)] \frac{t^i s^j}{i! j!} = e^{\rho ts} = \sum_{n=0}^\infty \frac{(\rho ts)^n}{n!} = \sum_{n=0}^\infty \rho^n \frac{t^n s^n}{n!}.

比较 $t^i s^j$ 的系数，得到

\mathbb{E}[H_i(X) H_j(Y)] = \begin{cases} \rho^n \cdot n!, & i = j = n, \\ 0, & i \neq j. \end{cases}

结合 $\mathbb{E}(H_n(X)) = \mathbb{E}(H_n(Y)) = 0$ ( $n \geq 1$ ) 以及方差

\operatorname{Var}(H_n(X)) = \mathbb{E}[H_n^2(X)] - 0^2 = n!,

可得相关系数

\rho(H_m(X), H_n(Y)) = \frac{\mathbb{E}[H_m(X) H_n(Y)]}{\sqrt{\operatorname{Var}(H_m(X)) \operatorname{Var}(H_n(Y))}} = \begin{cases} \rho^n, & m = n \geq 1, \\ 0, & m \neq n. \end{cases}

题目

设 $P(x), Q(y)$ 为非常数多项式，试证明

|\rho(P(X), Q(Y))| \leq |\rho(X, Y)|.

解答

将 $P, Q$ 用 Hermite 多项式展开：

P(x) = \sum_{i=1}^k a_i H_i(x), \quad Q(y) = \sum_{j=1}^l b_j H_j(y).

常数项不影响协方差。由 (2) 知

\operatorname{Cov}(P(X), Q(Y)) = \sum_{i=1}^{\min(k,l)} a_i b_i i! \rho^i.

方差

\operatorname{Var}(P(X)) = \sum_{i=1}^k a_i^2 i!, \quad \operatorname{Var}(Q(Y)) = \sum_{j=1}^l b_j^2 j!.

需证

\left| \sum_{i} a_i b_i i! \rho^i \right| \leq |\rho| \sqrt{\sum_i a_i^2 i!} \sqrt{\sum_i b_i^2 i!}.

由 Cauchy-Schwarz 不等式与 $|\rho|^i \leq |\rho|$ （对 $i \geq 1, |\rho| < 1$ ）：

\begin{aligned} \left| \sum_{i=1} a_i b_i i! \rho^i \right| &\leq \sum_{i=1} |a_i| |b_i| i! |\rho|^i \\ &\leq |\rho| \sum_{i=1} (|a_i|\sqrt{i!})(|b_i|\sqrt{i!}) \\ &\leq |\rho| \sqrt{\sum_{i=1} a_i^2 i!} \sqrt{\sum_{i=1} b_i^2 i!}. \end{aligned}

即得 $|\rho(P,Q)| \leq |\rho|$ （这里 $|\rho| = |\rho(X,Y)|$ ）。

章末回看

本章原始题目和解答正文来自对应 TeX 分文件。
可先只看题目框，写出关键等式后再展开证明或解答。
若结论用到独立性、可列可加性、换元公式或矩条件，最好顺手标明。