随机变量的独立

我们在这里主要讨论的是随机变量的独立性. 在这里限制\((\Omega',\mathscr{F})=(\mathbb{R},\mathscr{B}_{\mathbb{R}})\), 给出随机变量的独立性(参考钟开莱的定义):

定义1 (随机变量的独立) 设随机变量\(X_1,X_2,\cdots,X_n:(\Omega,\mathscr{F},\mathbb{P})\to(\mathbb{R},\mathscr{B}_{\mathbb{R}})\), 如果对任意的\(B_1,B_2,\cdots,B_n\in\mathscr{B}_{\mathbb{R}}\), 都有 \[ \mathbb{P}(X_1\in B_1,X_2\in B_2,\cdots, X_n\in B_N)=\mathbb{P}(X_1\in B_1)\cdot\mathbb{P}(X_2\in B_2)\cdots\mathbb{P}(X_n\in B_n), \] 则称随机变量\(X_1,X_2,\cdots,X_n\)独立。

我们接下来深入探讨随机变量的独立性. 考虑到\(\mathscr{B}_{\mathbb{R}}\)中的集合可以由\((-\infty,x]\)来生成, 则随机变量\(X_1,X_2,\cdots,X_n\)独立当且仅当对任意的\(x_1,x_2,\cdots,x_n\in\mathbb{R}\), 都有 \[ \mathbb{P}(X_1\le x_1,X_2\le x_2,\cdots,X_n\le x_n)=\mathbb{P}(X_1\le x_1)\cdot\mathbb{P}(X_2\le x_2)\cdots\mathbb{P}(X_n\le x_n). \] 若对\(1\le i\le n\), 记随机变量\(X_i\)的分布函数\(F_i(x):=\mathbb{P}(X_i\le x)\), 并记\(X_1,X_2,\cdots,X_n\)的联合分布函数 \[ F(x_1,x_2,\cdots,x_n):=\mathbb{P}(X_1\le x_1,X_2\le x_2,\cdots,X_n\le x_n), \] 则随机变量\(X_1,X_2,\cdots,X_n\)独立当且仅当对任意的\(x_1,x_2,\cdots,x_n\in\mathbb{R}\), 都有 \[ F(x_1,x_2,\cdots,x_n)=F_1(x_1)\cdot F_2(x_2)\cdots F_n(x_n). \] 由此, 我们分别从三个角度定义了随机变量\(X_1,X_2,\cdots,X_n\)的独立性: 随机变量所张成的\(\sigma\)-域、随机变量属于某个Borel子集的事件和随机变量的分布函数.

定理2 设随机变量\(X_1,X_2,\cdots,X_n\)独立, \(1\le n_1<n_2<\cdots<n_k=n\), \(f_1,f_2,\cdots,f_k\)分别为\(n_1\)元, \(n_2-n_1\)元, \(\cdots\), \(n_k-n_{k-1}\)元Borel可测函数, 则随机变量 \[ f_1(X_1,\cdots,X_{n_1}),\quad f_2(X_{n_1+1},\cdots,X_{n_2}),\quad\cdots,\quad f_k(X_{n_{k-1}+1},\cdots,X_{n_k}) \] 独立.

证明由\(X_1,X_2,\cdots,X_n\)独立, 知\((X_1,\cdots,X_{n_1}), (X_{n_1+1},\cdots,X_{n_2}), \cdots, (X_{n_{k-1}+1},\cdots,X_{n_k})\)独立. 为了方便, 记 \[ Y_1=f_1(X_1,\cdots,X_{n_1}),\quad Y_2=f_2(X_{n_1+1},\cdots,X_{n_2}),\quad\cdots,\quad Y_k=f_k(X_{n_{k-1}+1},\cdots,X_{n_k}) \] 对任意的\(B_1,B_2,\cdots,B_k\in\mathscr{B}_{\mathbb{R}}\), 由\(f_1, f_2, \cdots, f_k\)是Borel可测函数, 得知\(f^{-1}_1(B_1)\in\mathscr{B}_{\mathbb{R}^{n_1}}\), \(f^{-1}_i(B_i)\in\mathscr{B}_{\mathbb{R}^{n_i-n_{i-1}}}(2\le i\le k)\), 从而 \[ \begin{aligned} &\mathbb{P}(Y_1\in B_1,Y_2\in B_2,\cdots,Y_k\in B_k)\\ &=\mathbb{P}((X_1,\cdots,X_{n_1})\in f^{-1}_1(B_1),\cdots,(X_{n_{k-1}+1},\cdots,X_{n_k})\in f^{-1}_k(B_k))\\ &=\mathbb{P}\left[(X_1,\cdots,X_{n_1})\in f^{-1}_1(B_1)\right]\cdots\mathbb{P}\left[(X_{n_{k-1}+1},\cdots,X_{n_k})\in f^{-1}_k(B_k)\right]\\ &=\mathbb{P}(Y_1\in B_1)\cdot\mathbb{P}(Y_2\in B_2)\cdots\mathbb{P}(Y_k\in B_k), \end{aligned} \] 从而\(Y_1,Y_2,\cdots,Y_k\)独立.

推论设随机变量\(X_1,X_2,\cdots,X_n\)独立, \(f_1,f_2,\cdots,f_n:\mathbb{R}\to\mathbb{R}\)是Borel可测函数, 则随机变量\(f_1(X_1),f_2(X_2),\cdots,f_n(X_n)\)独立.

证明取\(k=n\), \(n_i=i\)即可.

定理设随机变量\(X, Y\)独立且可积, 则 \[ \mathbb{E}(XY)=\mathbb{E}(X)\cdot\mathbb{E}(Y). \]

证明首先设\(X\)和\(Y\)是离散型随机变量, 记\(X=\displaystyle\sum_{i=1}^{\infty}x_i\cdot I_{\{X=x_i\}}\), \(Y=\displaystyle\sum_{j=1}^{\infty}y_j\cdot I_{\{Y=y_j\}}\), 则 \[ \mathbb{E}(X)=\sum_{i=1}^{\infty}x_i\cdot\mathbb{P}(X=x_i),\quad\mathbb{E}(Y)=\sum_{j=1}^{\infty}y_j\cdot\mathbb{P}(Y=y_j). \] 由\(X\)与\(Y\)独立知事件\(\{X=x_i\}\)与事件\(\{Y=y_j\}\)独立, 从而 \[ \mathbb{P}(X=x_i,Y=y_j)=\mathbb{P}(X=x_i)\cdot\mathbb{P}(Y=y_j). \] 注意到\(\Omega=\displaystyle\bigcup_{i=1}^{\infty}\bigcup_{j=1}^{\infty}\{X=x_i\}\cap\{Y=y_j\}\), 考虑随机变量\(XY\), 其在\(\{X=x_i\}\cap\{Y=y_j\}\)上取值为\(x_iy_j\), 则有 \[ XY=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}x_iy_j\cdot I_{\{X=x_i\}\cap\{Y=y_j\}}, \] 并且计算得 \[ \begin{aligned} \mathbb{E}(XY)&=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}x_iy_j\cdot\mathbb{P}(X=x_i,Y=y_j)\\ &=\sum_{i=1}^{\infty}\sum_{j=1}^{\infty}x_iy_j\cdot\mathbb{P}(X=x_i)\cdot\mathbb{P}(Y=y_j)\\ &=\mathbb{E}(X)\cdot\mathbb{E}(Y), \end{aligned} \] 从而原命题成立; 接下来, 设\(X, Y\)是非负可积随机变量, 对任意的\(n\geq 1\), 令 \[ X_n=\sum_{k=0}^{\infty}\dfrac{k}{2^n}\cdot I_{\left\{\frac{k}{2^n}\le X<\frac{k+1}{2^n}\right\}},\quad Y_n=\sum_{k=0}^{\infty}\dfrac{k}{2^n}\cdot I_{\left\{\frac{k}{2^n}\le Y<\frac{k+1}{2^n}\right\}}, \] 则\(\{X_n\}\)和\(\{Y_n\}\)是离散型随机变量序列, 且\(X_n\uparrow X\), \(Y_n\uparrow Y\), \(X_nY_n\uparrow XY\), 根据单调收敛定理得\(\mathbb{E}(X_n)\uparrow\mathbb{E}(X)\), \(\mathbb{E}(Y_n)\uparrow\mathbb{E}(Y)\), \(\mathbb{E}(X_nY_n)\uparrow\mathbb{E}(XY)\). 另外, 对任意的\(n\geq 1\), \(X_n\)和\(Y_n\)是独立的, 这是因为 \[ \begin{aligned} \mathbb{P}\left(X_n=\dfrac{k_1}{2^n},Y_n=\dfrac{k_2}{2^n}\right)&=\mathbb{P}\left(\dfrac{k_1}{2^n}\le X<\dfrac{k_1+1}{2^n},\dfrac{k_2}{2^n}\le Y<\dfrac{k_2+1}{2^n}\right)\\ &=\mathbb{P}\left(\dfrac{k_1}{2^n}\le X<\dfrac{k_1+1}{2^n}\right)\cdot\mathbb{P}\left(\dfrac{k_2}{2^n}\le Y<\dfrac{k_2+1}{2^n}\right)\\ &=\mathbb{P}\left(X_n=\dfrac{k_1}{2^n}\right)\cdot\mathbb{P}\left(Y_n=\dfrac{k_2}{2^n}\right). \end{aligned} \] 应用已经证明的结论, 得\(\mathbb{E}(X_nY_n)=\mathbb{E}(X_n)\cdot\mathbb{E}(Y_n)\), 再令\(n\to\infty\)得 \[ \mathbb{E}(XY)=\mathbb{E}(X)\cdot\mathbb{E}(Y). \] 最后, 设\(X, Y\)是可积随机变量, 记\(X=X^+-X^-\), \(Y=Y^+-Y^-\), 则\(X^+\)、\(X^-\)与\(Y^+\)、\(Y^-\)分别是独立的, 以\(X^+\)和\(Y^+\)为例, 对任意的\(B_1,B_2\in\mathscr{B}_{\mathbb{R}}\), 我们有 \[ \begin{aligned} \mathbb{P}(X^+\in B_1,Y^+\in B_2)&=\mathbb{P}(X\in B_1\cap[0,+\infty], Y\in B_2\cap[0,+\infty])\\ &=\mathbb{P}(X\in B_1\cap[0,+\infty])\cdot\mathbb{P}(Y\in B_2\cap[0,+\infty])\\ &=\mathbb{P}(X^+\in B_1,Y^+\in B_2). \end{aligned} \] 应用已经证明的结论, 得 \[ \begin{aligned} \mathbb{E}(XY)&=\mathbb{E}[(X^+-X^-)\cdot(Y^+-Y^-)]\\ &=\mathbb{E}(X^+Y^+)-\mathbb{E}(X^+Y^-)-\mathbb{E}(X^-Y^+)+\mathbb{E}(X^-Y^-)\\ &=\mathbb{E}(X^+)\cdot\mathbb{E}(Y^+)-\mathbb{E}(X^+)\cdot\mathbb{E}(Y^-)-\mathbb{E}(X^-)\cdot\mathbb{E}(Y^+)+\mathbb{E}(X^-)\cdot\mathbb{E}(Y^-)\\ &=\left[\mathbb{E}(X^+)-\mathbb{E}(X^-)\right]\cdot\left[\mathbb{E}(Y^+)-\mathbb{E}(Y^-)\right]\\ &=\mathbb{E}(X)\cdot\mathbb{E}(Y). \end{aligned} \] 从而, 对任意的独立可积随机变量\(X, Y\), 都有\(\mathbb{E}(XY)=\mathbb{E}(X)\cdot\mathbb{E}(Y)\).

推论设随机变量\(X_1,X_2,\cdots,X_n\)独立且可积, 则 \[ \mathbb{E}(X_1X_2\cdots X_n)=\mathbb{E}(X_1)\cdot\mathbb{E}(X_2)\cdots\mathbb{E}(X_n). \]

证明由\(X_1,X_2,\cdots,X_n\)独立, 知 \[ f_1(X_1,X_2,\cdots,X_{n-1}):=X_1X_2\cdots X_{n-1},\quad\text{与}\quad f_2(X_n)=X_n \] 独立, 再应用数学归纳法即可.