Probability Theory

由条件概率知，设 $P(A)>0$ ，则有：
$$P(AB)=P(B|A)P(A)$$
上式称为 Product Rule ，或 Chain Rule 或乘法公式。
可以推广到 $n$ 个事件的情况。例如：设 $A,B,C$ 为事件，且 $P(AB)>0$ ，则有：
$$P(ABC)=P(C|AB)P(B|A)P(A)$$

先介绍样本空间的划分的定义。
设 $S$ 为试验 $E$ 的样本空间， $B_1,B_2,\cdots ,B_n$ 为 $E$ 的一组事件，若：
(1) $B_i{B}_j=\mathrm{\varnothing },i\ne j,i,j=1,2,\cdots ,n$
(2) $B_1\cup B_2\cup \cdots \cup B_n=S$
则称 $B_1,B_2,\cdots ,B_n$ 为样本空间 $S$ 的一个划分。

显然，如果 $B_1,B_2,\cdots ,B_n$ 是样本空间的一个划分，则每次试验中，事件 $B_1,B_2,\cdots ,B_n$ 中“必有”且“仅有”一个会发生。

定理 ：设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2,\cdots ,B_n$ 为 $S$ 的一个划分，且 $P(B_i)>0,i=1,2,\cdots ,n$ 则：
$$\begin{array}{rl}P(A)& =P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots +P(A|B_n)P(B_n)\\ & =\sum _{i=1}^{n}P(A|B_i)P(B_i)\end{array}$$
上式称为 全概率公式(Law of Total Probability) 。

全概率公式的意义在于，很多实际问题中 $P(A)$ 不易直接求得，但却容易找到 $S$ 的一个划分 $B_1,B_2,\cdots ,B_n$ ，且 $P(B_i)$ 和 $(A|B_i)$ 或为已知，或容易求得，那么根据全概率公式就可以求出 $P(A)$ 。

下面就是著名的 贝叶斯公式 ：
$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$

贝叶斯公式的更一般性描述如下：设试验 $E$ 的样本空间为 $S$ ， $A$ 为 $E$ 的事件， $B_1,B_2,\cdots ,B_n$ 为 $S$ 的一个划分，且 $P(A)>0,P(B_i)>0,i=1,2,\cdots ,n$ 则：
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{j=1}^{n}P(A|B_j)P(B_j)}$$

参考：
https://en.wikipedia.org/wiki/Bayes%27_theorem

贝叶斯公式可以帮助我们确定结果（例如事件 $A$ ）已经发生条件下，寻找各“原因（例如事件 $B_i$ ）”发生的条件概率，从而确定结果发生的主要原因。
$$\begin{array}{rl}P(B_i|A)& =\frac{P(A|B_i)P(B_i)}{P(A)}\\ & \propto P(A|B_i)P(B_i)\end{array}$$
上式中，如果 $P(B_k|A)$ 的概率在 $P(B_i|A),i=1,2,\cdots ,n$ 中最大（每个 $P(B_i|A)$ 都包含相同的因子 $P(A)$ ，可以都不计算这个因子），则可以认为事件 $B_k$ 就是事件 $A$ 发生的主要原因。

设随机变量 $X$ 只可能取 0 和 1 两个值，它的分布律为
$$P\{X=k\}=p^k(1-p{)}^{1-k},k=0,1(0<p<1)$$
则称 $X$ 服从 以 $p$ 为参数的(0-1)分布或两点分布或 Bernoulli distribution 。

(0-1)分布的分布律也可写为：
$$\begin{array}{ccc}X& 0& 1\\ p_k& 1-p& p\end{array}$$

如果试验 $E$ 只有两个可能结果： $A$ 及 $\bar{A}$ ，设 $P(A)=p(0<p<1)$ ，则有 $P(\bar{A})=1-p$ ，我们称 $E$ 为伯努利试验（Bernoulli Experiment）。

设随机变量 $X$ 表示 $n$ 次独立的伯努利试验中事件 $A$ 发生的次数。
可以计算出随机变量 $X$ 的分布律为（具体的计算过程可参考《概率论与数理统计（第四版），浙江大学 盛骤等编》）：
$$P\{X=k\}=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k},k=0,1,2,\cdots ,n.$$

我们说随机变量 $X$ 服从 参数为 $n,p$ 的二项分布 （其名字来源于 $(\genfrac{}{}{0ex}{}{n}{k})$ 是二项系数）。

特别地，当 $n=1$ 时，二项分布可简化为： $P\{X=k\}=p^k(1-p{)}^{1-k},k=0,1(0<p<1)$ ，这就是前面介绍过的(0-1)分布。

设随机变量 $X$ 所有可能的取值为 $0,1,2,\cdots$ ，而取各个值的概率为：
$$P\{X=k\}=\frac{{\lambda }^k{e}^{-\lambda }}{k!},k=0,1,2,\cdots (\lambda >0)$$
则称 $X$ 服从参数为 λ 的泊松分布(Poisson distribution)。

若连续型随机变量 $X$ 具有概率密度：
$$f(x)=\{\begin{array}{ll}\frac{1}{b-a}& a\le x\le b\\ 0& \text{otherwise}\end{array}$$
则称 $X$ 在区间 $[a,b]$ 上服从均匀分布(Uniform distribution)。

若连续型随机变量 $X$ 具有概率密度：
$$f(x)=\{\begin{array}{ll}\lambda e^{-\lambda x}& x\ge 0\\ 0& \text{otherwise}\end{array}$$
则称 $X$ 服从参数为 $\lambda (\lambda >0)$ 的指数分布(Exponential distribution)。

若连续型随机变量 $X$ 的概率密度为：
$$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}(-\mathrm{\infty }<x<\mathrm{\infty })$$
则称 $X$ 服从参数为 $\mu ,\sigma (\sigma >0)$ 的正态分布(Normal distribution)，常记为 $X\sim \mathcal{N}(\mu ,{\sigma }^2)$ 。正态分布又称高斯分布。

特别地，当 $\mu =0,\sigma =1$ 时，称正态分布为标准正态分布。标准正态分布的概率密度为：
$$\varphi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}$$

如果二维随机变量 $(X,Y)$ 全部可能取到的值是有限对或可列无限多对，则称 $(X,Y)$ 为二维离散型随机变量。

设二维离散型随机变量 $(X,Y)$ 所有可能取值为 $x_i,y_i,i,j=1,2,\cdots$ ，记 $P\{X=x_i,Y=y_i\}=p_{ij},i,j=1,2,\cdots$ ，由概率的定义有：
$$p_{ij}\ge 0,\sum _{i=1}^{\mathrm{\infty }}\sum _{j=1}^{\mathrm{\infty }}{p}_{ij}=1$$
我们称 $P\{X=x_i,Y=y_i\}=p_{ij},i,j=1,2,\cdots$ 为二维离散型随机变量 $(X,Y)$ 的分布律，或称 离散型随机变量 $X$ 和 $Y$ 的联合分布律 。

我们可以用表格来表示二维离散型随机变量的联合分布律，如：
$$\begin{array}{cccccc}Y\mathrm{\setminus }X& x_1& x_2& \cdots & x_i& \cdots \\ y_1& p_{11}& p_{21}& \cdots & p_{i1}& \cdots \\ y_2& p_{12}& p_{22}& \cdots & p_{i2}& \cdots \\ ⋮& ⋮& ⋮& & ⋮& \\ y_j& p_{1j}& p_{2j}& \cdots & p_{ij}& \cdots \\ ⋮& ⋮& ⋮& & ⋮& \end{array}$$

由联合分布函数定义知，离散型随机变量 $X$ 和 $Y$ 的联合分布函数为：
$$F(x,y)=\sum _{x_i\le x}\sum _{y_j\le y}{p}_{ij}$$
其中，和式是对一切满足 $x_i\le x,y_j\le y$ 的 $i,j$ 来求和的。

设二维随机变量 $(X,Y)$ 的分布函数为 $F(x,y)$ ，如果存在非负函数 $f(x,y)$ 使对于任意 $x,y$ 有：
$$F(x,y)={\int }_{-\mathrm{\infty }}^y{\int }_{-\mathrm{\infty }}^{x}f(u,v)\mathrm{d}u\mathrm{d}v$$
则称 $(X,Y)$ 是二维连续型随机变量，其中函数 $f(x,y)$ 称为二维连续型随机变量的概率密度，或称为 连续型随机变量 $X$ 和 $Y$ 的联合概率密度 。

容易得到二维离散型随机变量 $(X,Y)$ 关于 $X$ 的边缘分布律为：
$$p_{i\cdot }=\sum _{j=1}^{\mathrm{\infty }}{p}_{ij}=P\{X=x_i\},i=1,2,\cdots$$
同样，关于 $Y$ 的边缘分布律为：
$$p_{\cdot j}=\sum _{i=1}^{\mathrm{\infty }}{p}_{ij}=P\{Y=y_i\},y=1,2,\cdots$$

说明：记号 $p_{i\cdot }$ 中的 $\cdot$ 表示 $p_{ij}$ 关于 $j$ 求和后得到的；同样， $p_{\cdot j}$ 是由 $p_{ij}$ 关于 $i$ 求和后得到的。

边缘分布律实例：
设随机变量 $X$ 在 1，2，3，4 四个整数中等可能地取一个值，另一个随机变量 $Y$ 在“1 到 X 的整数”中等可能地取一整数值，求 $(X,Y)$ 的边缘分布律。
解：先求 $(X,Y)$ 的联合分布律，再求其边缘分布律。容易得到：
$$\begin{array}{cccccc}Y\mathrm{\setminus }X& 1& 2& 3& 4& p_{\cdot j}=P\{Y=j\}\\ 1& \frac{1}{4}& \frac{1}{8}& \frac{1}{12}& \frac{1}{16}& \frac{25}{48}\\ 2& 0& \frac{1}{8}& \frac{1}{12}& \frac{1}{16}& \frac{13}{48}\\ 3& 0& 0& \frac{1}{12}& \frac{1}{16}& \frac{7}{48}\\ 4& 0& 0& 0& \frac{1}{16}& \frac{1}{16}\\ p_{i\cdot }=P\{X=i\}& \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& \frac{1}{4}& 1\end{array}$$

我们常常将边缘分布律写在联合分布律表格的边缘上，这就是“边缘”二字的由来。

容易得到二维连续型随机变量 $(X,Y)$ 关于 $X$ 的边缘概率密度为：
$$f_X(x)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)\mathrm{d}y={\int }_{y}f(x,y)\mathrm{d}y$$
同样，关于 $Y$ 的边缘概率密度为：
$$f_Y(y)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,y)\mathrm{d}x={\int }_{x}f(x,y)\mathrm{d}x$$

对于固定的 $j$ ，若 $P\{Y=y_j\}>0$ ，则称
$$P\{X=x_i\mid Y=y_j\}=\frac{P\{X=x_i,Y=y_j\}}{P\{Y=y_j\}}=\frac{p_{ij}}{p_{\cdot j}},i=1,2,\cdots$$
为 在 $Y=y_j$ 条件下随机变量 $X$ 的条件分布律 。
同样，对于固定的 $j$ ，若 $P\{X=x_i\}>0$ ，则称
$$P\{Y=y_i\mid X=x_i\}=\frac{P\{X=x_i,Y=y_j\}}{P\{X=x_i\}}=\frac{p_{ij}}{p_{i\cdot }},j=1,2,\cdots$$
为 在 $X=x_i$ 条件下随机变量 $Y$ 的条件分布律 。

设二维连续型随机变量 $(X,Y)$ 的概率密度为 $f(x,y)$ ，关于 $Y$ 的边缘概率密度为 $f_Y(y)$ 。若对于固定的 $y,f_Y(y)>0$ ，则称 $\frac{f(x,y)}{f_Y(y)}$ 为在 $Y=y$ 的条件下 $X$ 的条件概率密度，记为 $f_{X|Y}(x\mid y)$ ，即有：
$$f_{X|Y}(x\mid y)=\frac{f(x,y)}{f_Y(y)}$$
同样，在 $X=x$ 的条件下 $Y$ 的条件概率密度定义为：
$$f_{Y|X}(y\mid x)=\frac{f(x,y)}{f_X(x)}$$

设 $(X,Y)$ 为二维离散型随机变量，随机变量 $X$ 和 $Y$ 相互独立等价于对于 $(X,Y)$ 的所有可能取值 $(x_i,y_j)$ 都有：
$$P\{X=x_i,Y=y_j\}=P\{X=x_i\}P\{Y=y_j\}$$

设 $(X,Y)$ 为二维连续型随机变量， $f(x,y),f_X(x),f_Y(y)$ 分别为 $(X,Y)$ 的概率密度和边缘概率密度，则随机变量 $X$ 和 $Y$ 相互独立等价于：
$$f(x,y)=f_X(x)f_Y(y)$$
在平面上几乎处处成立（“几乎处处成立”在此的含义是：在平面上除去“面积”为零的集合以外，处处成立）。

设 $(X,Y)$ 是二维连续型随机变量，它具有概率密度 $f(x,y)$ ，则 $Z=X+Y$ 仍为连续型随机变量，其概率密度为：
$$f_{X+Y}(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(z-y,y)\mathrm{d}y$$
或者：
$$f_{X+Y}(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x,z-x)\mathrm{d}x$$
进一步，如果 $X$ 和 $Y$ 相互独立，记 $(X,Y)$ 关于 $X,Y$ 的边缘密度分别为 $f_X(x),f_Y(y)$ ，则上面式子还可以写为：
$$f_{X+Y}(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(z-y)f_Y(y)\mathrm{d}y$$
或者：
$$f_{X+Y}(z)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x$$

其证明略。

例：设 $X$ 和 $Y$ 是两个相互独立的随机变量，它们都服从 $N(0,1)$ 分布，其概率密度为：
$$\begin{array}{c}{f}_X(x)=\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2},-\mathrm{\infty }<x<\mathrm{\infty }\\ f_Y(y)=\frac{1}{\sqrt{2\pi }}{e}^{-y^2/2},-\mathrm{\infty }<y<\mathrm{\infty }\end{array}$$
求 $Z=X+Y$ 的概率密度。
解：由前面给出的结论有：
$$\begin{array}{rl}{f}_Z(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x\\ & =\frac{1}{2\pi }{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-\frac{x^2}{2}}\cdot e^{-\frac{(z-x{)}^2}{2}}\mathrm{d}x\\ & =\frac{1}{2\pi }{e}^{-\frac{z^2}{4}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-(x-\frac{z}{2}{)}^2}\mathrm{d}x\end{array}$$
令 $t=x-\frac{z}{2}$ ，得：
$$f_Z(z)=\frac{1}{2\pi }{e}^{-\frac{z^2}{4}}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{e}^{-t^2}\mathrm{d}t=\frac{1}{2\pi }{e}^{-\frac{z^2}{4}}\sqrt{\pi }=\frac{1}{2\sqrt{\pi }}{e}^{-\frac{z^2}{4}}$$
即 $Z$ 服从 $N(0,2)$ 分布。

更一般地， 若 $X_i\sim N({\mu }_i,{\sigma }_i^2)(n=1,2,\cdots ,n)$ ，且它们相互独立，则它们的和 $Z=X_1+X_2+\cdots +X_n$ 仍然服从正态分布，且有 $Z\sim N({\mu }_1+{\mu }_2+\cdots +{\mu }_n,{\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2)$ 。

设 $(X,Y)$ 是二维连续型随机变量，它具有概率密度 $f(x,y)$ ，则 $Z=\frac{Y}{X},Z=XY$ 仍为连续型随机变量，其概率密度为：
$$\begin{array}{rl}{f}_{Y/X}(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|x|f(x,xz)\mathrm{d}x\\ f_{XY}(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{|x|}f(x,\frac{z}{x})\mathrm{d}x\end{array}$$
进一步，如果 $X$ 和 $Y$ 相互独立，记 $(X,Y)$ 关于 $X,Y$ 的边缘密度分别为 $f_X(x),f_Y(y)$ ，则上面式子还可以写为：
$$\begin{array}{rl}{f}_{Y/X}(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}|x|f_X(x)f_Y(xz)\mathrm{d}x\\ f_{XY}(z)& ={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}\frac{1}{|x|}{f}_X(x)f_Y(\frac{z}{x})\mathrm{d}x\end{array}$$

其证明略。

定理（证明略）：设 $Y$ 是随机变量 $X$ 的函数，满足 $Y=g(X)$ ，其中 $g$ 是连续函数。则：
(1) 如果 $X$ 是离散型随机变量，它的分布律为 $P\{X=x_k\}=p_k,k=1,2,\cdots$ ，如果 $\sum _{k=1}^{\mathrm{\infty }}g(x_k)p_k$ 绝对收敛，则：
$$E(Y)=E[g(X)]=\sum _{k=1}^{\mathrm{\infty }}g(x_k)p_k$$
(2) 如果 $X$ 是连续型随机变量，它的概率密码为 $f(x)$ ，如果 ${\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x)\mathrm{d}x$ 绝对收敛，则：
$$E(Y)=E[g(X)]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f(x)\mathrm{d}x$$

正态分布是最重要的分布。我们从二维正态随机变量的概率密度开发，介绍 $n$ 维正态随机变量的概率密度。

二维正态随机变量 $(X_1,X_2)$ 的概率密度，其定义为：
$$f(x_1,x_2)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}\exp \{-\frac{1}{2(1-{\rho }^2)}[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1}-2\rho \frac{(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2}]\}$$
其中， ${\mu }_1,{\mu }_2,{\sigma }_1>0,{\sigma }_2>0,|\rho |<1$ 是常数。现在将上式中花括号内的式子写为矩阵的形式，为此引入列向量：
$$\mathit{x}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],\mathit{\mu }=\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]$$
$(X_1,X_2)$ 的协方差矩阵（其中矩阵元素 $c_{ij}=Cov(X_i,X_j)$ ）为：
$$\mathrm{\Sigma }=\left[\begin{array}{cc}{c}_{11}& c_{12}\\ c_{21}& c_{22}\end{array}\right]=\left[\begin{array}{cc}{\sigma }_2^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right]$$
它的列行式 $det\mathrm{\Sigma }={\sigma }_1^2{\sigma }_2^2(1-{\rho }^2)$ ， $\mathrm{\Sigma }$ 的逆矩阵为：
$${\mathrm{\Sigma }}^{-1}=\frac{1}{det\mathrm{\Sigma }}\left[\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right]$$
经过计算可知：
$$\begin{array}{rl}(\mathit{x}-\mathit{\mu }{)}^{\mathsf{T}}{\mathrm{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })& =\frac{1}{det\mathrm{\Sigma }}\left[\begin{array}{cc}{x}_1-{\mu }_1& x_2-{\mu }_2\end{array}\right]\left[\begin{array}{cc}{\sigma }_2^2& -\rho {\sigma }_1{\sigma }_2\\ -\rho {\sigma }_1{\sigma }_2& {\sigma }_1^2\end{array}\right]\left[\begin{array}{c}{x}_1-{\mu }_1\\ x_2-{\mu }_2\end{array}\right]\\ \\ & =\frac{1}{1-{\rho }^2}[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1}-2\rho \frac{(x_1-{\mu }_1)(x_2-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2}]\end{array}$$
从而， $(X_1,X_2)$ 的概率密度还可以写为：
$$f(x_1,x_2)=\frac{1}{(2\pi {)}^{2/2}(det\mathrm{\Sigma }{)}^{1/2}}\exp \{-\frac{1}{2}(\mathit{x}-\mathit{\mu }{)}^{\mathsf{T}}{\mathrm{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })\}$$
其中，矩阵 $\mathrm{\Sigma }$ 是 $(X_1,X_2)$ 的协方差矩阵，它是一个正定对称矩阵。