Probability Theory

由条件概率知，设 \(P(A) >0\) ，则有：
\[P(AB) = P(B|A)P(A)\]
上式称为 Product Rule ，或 Chain Rule 或乘法公式。
可以推广到 \(n\) 个事件的情况。例如：设 \(A,B,C\) 为事件，且 \(P(AB) >0\) ，则有：
\[P(ABC) = P(C|AB)P(B|A)P(A)\]

先介绍样本空间的划分的定义。
设 \(S\) 为试验 \(E\) 的样本空间， \(B_1, B_2, \cdots, B_n\) 为 \(E\) 的一组事件，若：
(1) \(B_i B_j = \emptyset, i \neq j, i,j = 1,2,\cdots, n\)
(2) \(B_1 \cup B_2 \cup \cdots \cup B_n = S\)
则称 \(B_1, B_2, \cdots, B_n\) 为样本空间 \(S\) 的一个划分。

显然，如果 \(B_1, B_2, \cdots, B_n\) 是样本空间的一个划分，则每次试验中，事件 \(B_1, B_2, \cdots, B_n\) 中“必有”且“仅有”一个会发生。

定理 ：设试验 \(E\) 的样本空间为 \(S\) ， \(A\) 为 \(E\) 的事件， \(B_1, B_2, \cdots, B_n\) 为 \(S\) 的一个划分，且 \(P(B_i) >0 ,i = 1,2,\cdots,n\) 则：
\[\begin{aligned} P(A) &= P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \cdots + P(A|B_n)P(B_n) \\ &= \sum_{i=1}^{n} P(A|B_i)P(B_i) \end{aligned}\]
上式称为 全概率公式(Law of Total Probability) 。

全概率公式的意义在于，很多实际问题中 \(P(A)\) 不易直接求得，但却容易找到 \(S\) 的一个划分 \(B_1, B_2, \cdots, B_n\) ，且 \(P(B_i)\) 和 \((A|B_i)\) 或为已知，或容易求得，那么根据全概率公式就可以求出 \(P(A)\) 。

下面就是著名的 贝叶斯公式 ：
\[P(B|A) = \frac{P(A|B)P(B)}{P(A)}\]

贝叶斯公式的更一般性描述如下：设试验 \(E\) 的样本空间为 \(S\) ， \(A\) 为 \(E\) 的事件， \(B_1, B_2, \cdots, B_n\) 为 \(S\) 的一个划分，且 \(P(A) > 0, \, P(B_i) >0 ,i = 1,2,\cdots,n\) 则：
\[P(B_i|A) = \frac{P(A|B_i) P(B_i)}{\sum_{j=1}^{n} P(A|B_j)P(B_j)}\]

参考：
https://en.wikipedia.org/wiki/Bayes%27_theorem

贝叶斯公式可以帮助我们确定结果（例如事件 \(A\) ）已经发生条件下，寻找各“原因（例如事件 \(B_i\) ）”发生的条件概率，从而确定结果发生的主要原因。
\[\begin{aligned} P(B_i|A) &= \frac{P(A|B_i) P(B_i)}{P(A)} \\ & \propto P(A|B_i) P(B_i) \end{aligned}\]
上式中，如果 \(P(B_k|A)\) 的概率在 \(P(B_i|A), i=1,2, \cdots,n\) 中最大（每个 \(P(B_i|A)\) 都包含相同的因子 \(P(A)\) ，可以都不计算这个因子），则可以认为事件 \(B_k\) 就是事件 \(A\) 发生的主要原因。

设随机变量 \(X\) 只可能取 0 和 1 两个值，它的分布律为
\[P\{X=k\} = p^{k}(1-p)^{1-k}, k=0,1 \quad (0 < p < 1)\]
则称 \(X\) 服从 以 \(p\) 为参数的(0-1)分布或两点分布或 Bernoulli distribution 。

(0-1)分布的分布律也可写为：
\[\begin{array}{c|cc} X & 0 & 1 \\ \hline p_{k} & 1-p & p \\ \end{array} \]

如果试验 \(E\) 只有两个可能结果： \(A\) 及 \(\overline{A}\) ，设 \(P(A)=p \; (0 < p < 1)\) ，则有 \(P(\overline{A}) = 1-p\) ，我们称 \(E\) 为伯努利试验（Bernoulli Experiment）。

设随机变量 \(X\) 表示 \(n\) 次独立的伯努利试验中事件 \(A\) 发生的次数。
可以计算出随机变量 \(X\) 的分布律为（具体的计算过程可参考《概率论与数理统计（第四版），浙江大学 盛骤等编》）：
\[P\{X=k\} = {n \choose k} p^{k}(1-p)^{n-k}, k = 0,1,2, \cdots, n.\]

我们说随机变量 \(X\) 服从 参数为 \(n,p\) 的二项分布 （其名字来源于 \({n \choose k}\) 是二项系数）。

特别地，当 \(n=1\) 时，二项分布可简化为： \(P\{X=k\} = p^{k}(1-p)^{1-k}, k=0,1 \quad (0 < p < 1)\) ，这就是前面介绍过的(0-1)分布。

设随机变量 \(X\) 所有可能的取值为 \(0,1,2, \cdots\) ，而取各个值的概率为：
\[P\{X=k\} = \frac{\lambda^{k}e^{-\lambda}}{k!}, k=0,1,2, \cdots \quad (\lambda > 0)\]
则称 \(X\) 服从参数为 λ 的泊松分布(Poisson distribution)。

若连续型随机变量 \(X\) 具有概率密度：
\[f(x)= \begin{cases} \frac{1}{b-a} & a \le x \le b \\ 0 & \text{otherwise} \end{cases}\]
则称 \(X\) 在区间 \([a,b]\) 上服从均匀分布(Uniform distribution)。

若连续型随机变量 \(X\) 具有概率密度：
\[f(x)= \begin{cases} \lambda e^{-\lambda x} & x \ge 0 \\ 0 & \text{otherwise} \end{cases}\]
则称 \(X\) 服从参数为 \(\lambda (\lambda > 0)\) 的指数分布(Exponential distribution)。

若连续型随机变量 \(X\) 的概率密度为：
\[f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}} \quad (-\infty < x < \infty)\]
则称 \(X\) 服从参数为 \(\mu,\sigma(\sigma > 0)\) 的正态分布(Normal distribution)，常记为 \(X \sim {\mathcal {N}}(\mu ,\,\sigma ^{2})\) 。正态分布又称高斯分布。

特别地，当 \(\mu=0, \sigma=1\) 时，称正态分布为标准正态分布。标准正态分布的概率密度为：
\[\phi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^{2}}{2}}\]

如果二维随机变量 \((X,Y)\) 全部可能取到的值是有限对或可列无限多对，则称 \((X,Y)\) 为二维离散型随机变量。

设二维离散型随机变量 \((X,Y)\) 所有可能取值为 \(x_i,y_i, \; i,j = 1,2, \cdots\) ，记 \(P\{ X=x_i, Y=y_i\} = p_{ij}, \; i,j = 1,2, \cdots\) ，由概率的定义有：
\[p_{ij} \ge 0, \; \sum_{i=1}^{\infty}\sum_{j=1}^{\infty} p_{ij} = 1\]
我们称 \(P\{ X=x_i, Y=y_i\} = p_{ij}, \; i,j = 1,2, \cdots\) 为二维离散型随机变量 \((X,Y)\) 的分布律，或称 离散型随机变量 \(X\) 和 \(Y\) 的联合分布律 。

我们可以用表格来表示二维离散型随机变量的联合分布律，如：
\[\begin{array}{c|ccccc} Y \backslash X & x_1 & x_2 & \cdots & x_i & \cdots \\ \hline y_1 & p_{11} & p_{21} & \cdots & p_{i1} & \cdots \\ y_2 & p_{12} & p_{22} & \cdots & p_{i2} & \cdots \\ \vdots & \vdots & \vdots & & \vdots & \\ y_j & p_{1j} & p_{2j} & \cdots & p_{ij} & \cdots \\ \vdots & \vdots & \vdots & & \vdots & \\ \end{array}\]

由联合分布函数定义知，离散型随机变量 \(X\) 和 \(Y\) 的联合分布函数为：
\[F(x,y) = \sum_{x_i \le x}\sum_{y_j \le y} p_{ij}\]
其中，和式是对一切满足 \(x_i \le x , y_j \le y\) 的 \(i,j\) 来求和的。

设二维随机变量 \((X,Y)\) 的分布函数为 \(F(x,y)\) ，如果存在非负函数 \(f(x,y)\) 使对于任意 \(x,y\) 有：
\[F(x,y) = \int_{-\infty}^y \int_{-\infty}^{x} f(u,v) \,\mathrm{d}u\mathrm{d}v\]
则称 \((X,Y)\) 是二维连续型随机变量，其中函数 \(f(x,y)\) 称为二维连续型随机变量的概率密度，或称为 连续型随机变量 \(X\) 和 \(Y\) 的联合概率密度 。

容易得到二维离散型随机变量 \((X,Y)\) 关于 \(X\) 的边缘分布律为：
\[p_{i \cdot} = \sum_{j=1}^{\infty}p_{ij} = P\{X=x_i\}, \; i = 1,2,\cdots\]
同样，关于 \(Y\) 的边缘分布律为：
\[p_{\cdot j} = \sum_{i=1}^{\infty}p_{ij} = P\{Y=y_i\}, \; y = 1,2,\cdots\]

说明：记号 \(p_{i \cdot}\) 中的 \(\cdot\) 表示 \(p_{ij}\) 关于 \(j\) 求和后得到的；同样， \(p_{\cdot j}\) 是由 \(p_{ij}\) 关于 \(i\) 求和后得到的。

边缘分布律实例：
设随机变量 \(X\) 在 1，2，3，4 四个整数中等可能地取一个值，另一个随机变量 \(Y\) 在“1 到 X 的整数”中等可能地取一整数值，求 \((X,Y)\) 的边缘分布律。
解：先求 \((X,Y)\) 的联合分布律，再求其边缘分布律。容易得到：
\[\begin{array}{c|cccc|c} Y \backslash X & 1 & 2 & 3 & 4 & p_{\cdot j}=P\{ Y=j \} \\ \hline 1 & \frac{1}{4} & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{25}{48} \\ 2 & 0 & \frac{1}{8} & \frac{1}{12} & \frac{1}{16} & \frac{13}{48} \\ 3 & 0 & 0 & \frac{1}{12} & \frac{1}{16} & \frac{7}{48} \\ 4 & 0 & 0 & 0 & \frac{1}{16} & \frac{1}{16} \\ \hline p_{i \cdot} = P\{ X = i \} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & \frac{1}{4} & 1 \\ \end{array}\]

我们常常将边缘分布律写在联合分布律表格的边缘上，这就是“边缘”二字的由来。

容易得到二维连续型随机变量 \((X,Y)\) 关于 \(X\) 的边缘概率密度为：
\[f_X(x) = \int_{-\infty}^{\infty} f(x,y) \, \mathrm{d}y = \int_{y} f(x,y) \, \mathrm{d}y\]
同样，关于 \(Y\) 的边缘概率密度为：
\[f_Y(y) = \int_{-\infty}^{\infty} f(x,y) \, \mathrm{d}x = \int_{x} f(x,y) \, \mathrm{d}x\]

对于固定的 \(j\) ，若 \(P\{Y=y_j\} > 0\) ，则称
\[P\{X=x_i \mid Y=y_j\} = \frac{P\{X=x_i , Y=y_j\}}{P\{Y=y_j\}} = \frac{p_{ij}}{p_{\cdot j}}, \; i = 1,2, \cdots\]
为 在 \(Y=y_j\) 条件下随机变量 \(X\) 的条件分布律 。
同样，对于固定的 \(j\) ，若 \(P\{X=x_i\} > 0\) ，则称
\[P\{Y=y_i \mid X=x_i\} = \frac{P\{X=x_i , Y=y_j\}}{P\{X=x_i\}} = \frac{p_{ij}}{p_{i \cdot}}, \; j = 1,2, \cdots\]
为 在 \(X=x_i\) 条件下随机变量 \(Y\) 的条件分布律 。

设二维连续型随机变量 \((X,Y)\) 的概率密度为 \(f(x,y)\) ，关于 \(Y\) 的边缘概率密度为 \(f_Y(y)\) 。若对于固定的 \(y, \; f_Y(y) > 0\) ，则称 \(\frac{f(x,y)}{f_Y(y)}\) 为在 \(Y=y\) 的条件下 \(X\) 的条件概率密度，记为 \(f_{X|Y}(x \mid y)\) ，即有：
\[f_{X|Y}(x \mid y) = \frac{f(x,y)}{f_Y(y)}\]
同样，在 \(X=x\) 的条件下 \(Y\) 的条件概率密度定义为：
\[f_{Y|X}(y \mid x) = \frac{f(x,y)}{f_X(x)}\]

设 \((X,Y)\) 为二维离散型随机变量，随机变量 \(X\) 和 \(Y\) 相互独立等价于对于 \((X,Y)\) 的所有可能取值 \((x_i,y_j)\) 都有：
\[P\{X=x_i, Y=y_j\} = P\{X=x_i\} P\{Y=y_j\}\]

设 \((X,Y)\) 为二维连续型随机变量， \(f(x,y), f_X(x), f_Y(y)\) 分别为 \((X,Y)\) 的概率密度和边缘概率密度，则随机变量 \(X\) 和 \(Y\) 相互独立等价于：
\[f(x,y) = f_X(x) f_Y(y)\]
在平面上几乎处处成立（“几乎处处成立”在此的含义是：在平面上除去“面积”为零的集合以外，处处成立）。

设 \((X,Y)\) 是二维连续型随机变量，它具有概率密度 \(f(x,y)\) ，则 \(Z=X+Y\) 仍为连续型随机变量，其概率密度为：
\[f_{X+Y}(z) = \int_{- \infty}^{\infty} f(z-y,y) \, \mathrm{d} y\]
或者：
\[f_{X+Y}(z) = \int_{- \infty}^{\infty} f(x,z-x) \, \mathrm{d} x\]
进一步，如果 \(X\) 和 \(Y\) 相互独立，记 \((X,Y)\) 关于 \(X,Y\) 的边缘密度分别为 \(f_X(x),f_Y(y)\) ，则上面式子还可以写为：
\[f_{X+Y}(z) = \int_{- \infty}^{\infty} f_X(z-y)f_Y(y) \, \mathrm{d} y\]
或者：
\[f_{X+Y}(z) = \int_{- \infty}^{\infty} f_X(x)f_Y(z-x) \, \mathrm{d} x\]

其证明略。

例：设 \(X\) 和 \(Y\) 是两个相互独立的随机变量，它们都服从 \(N(0,1)\) 分布，其概率密度为：
\[\begin{gathered} f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2}, \quad -\infty < x < \infty \\ f_Y(y) = \frac{1}{\sqrt{2\pi}} e^{-y^2/2}, \quad -\infty < y < \infty \end{gathered}\]
求 \(Z=X+Y\) 的概率密度。
解：由前面给出的结论有：
\[\begin{aligned} f_Z(z) &= \int_{- \infty}^{\infty} f_X(x)f_Y(z-x) \, \mathrm{d} x \\ &= \frac{1}{2\pi} \int_{- \infty}^{\infty} e^{-\frac{x^2}{2}} \cdot e^{-\frac{(z-x)^2}{2}} \, \mathrm{d} x \\ &= \frac{1}{2\pi} e^{-\frac{z^2}{4}} \int_{- \infty}^{\infty} e^{-(x- \frac{z}{2})^2} \, \mathrm{d} x \\ \end{aligned}\]
令 \(t=x-\frac{z}{2}\) ，得：
\[f_Z(z) = \frac{1}{2\pi} e^{-\frac{z^2}{4}} \int_{- \infty}^{\infty} e^{-t^2} \, \mathrm{d} t = \frac{1}{2\pi} e^{-\frac{z^2}{4}} \sqrt{\pi} = \frac{1}{2\sqrt{\pi}} e^{-\frac{z^2}{4}}\]
即 \(Z\) 服从 \(N(0,2)\) 分布。

更一般地， 若 \(X_i \sim N(\mu_i, \sigma_i^2) \; (n=1,2,\cdots,n)\) ，且它们相互独立，则它们的和 \(Z=X_1+X_2+ \cdots + X_n\) 仍然服从正态分布，且有 \(Z \sim N(\mu_1 + \mu_2 + \cdots + \mu_n, \sigma_1^2 + \sigma_2^2 + \cdots + \sigma_n^2)\) 。

设 \((X,Y)\) 是二维连续型随机变量，它具有概率密度 \(f(x,y)\) ，则 \(Z=\frac{Y}{X}, \, Z=XY\) 仍为连续型随机变量，其概率密度为：
\[\begin{aligned} f_{Y/X}(z) & = \int_{- \infty}^{\infty} \vert x \vert \, f(x,xz) \, \mathrm{d} x \\ f_{XY}(z) & = \int_{- \infty}^{\infty} \frac{1}{\vert x \vert} \, f(x,\frac{z}{x}) \, \mathrm{d} x \end{aligned}\]
进一步，如果 \(X\) 和 \(Y\) 相互独立，记 \((X,Y)\) 关于 \(X,Y\) 的边缘密度分别为 \(f_X(x),f_Y(y)\) ，则上面式子还可以写为：
\[\begin{aligned} f_{Y/X}(z) & = \int_{- \infty}^{\infty} \vert x \vert \, f_X(x)f_Y(xz) \, \mathrm{d} x \\ f_{XY}(z) & = \int_{- \infty}^{\infty} \frac{1}{\vert x \vert} \, f_X(x)f_Y(\frac{z}{x}) \, \mathrm{d} x \end{aligned}\]

其证明略。

定理（证明略）：设 \(Y\) 是随机变量 \(X\) 的函数，满足 \(Y=g(X)\) ，其中 \(g\) 是连续函数。则：
(1) 如果 \(X\) 是离散型随机变量，它的分布律为 \(P \{ X=x_k \} = p_k, k=1,2,\cdots\) ，如果 \(\sum_{k=1}^{\infty}g(x_k)p_k\) 绝对收敛，则：
\[E(Y) = E[g(X)] = \sum_{k=1}^{\infty}g(x_k)p_k\]
(2) 如果 \(X\) 是连续型随机变量，它的概率密码为 \(f(x)\) ，如果 \(\int_{- \infty}^{\infty}g(x)f(x) \, \mathrm{d}x\) 绝对收敛，则：
\[E(Y) = E[g(X)] = \int_{- \infty}^{\infty}g(x)f(x) \, \mathrm{d}x\]

正态分布是最重要的分布。我们从二维正态随机变量的概率密度开发，介绍 \(n\) 维正态随机变量的概率密度。

二维正态随机变量 \((X_1, X_2)\) 的概率密度，其定义为：
\[f(x_1, x_2) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1-\rho^2}} \exp \left\{ - \frac{1}{2(1-\rho^2)} \left[\frac{(x_1 - \mu_1)^2}{\sigma_1} -2\rho \frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1 \sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2} \right] \right\}\]
其中， \(\mu_1, \mu_2, \sigma_1 > 0, \sigma_2 > 0, \vert \rho \vert < 1\) 是常数。现在将上式中花括号内的式子写为矩阵的形式，为此引入列向量：
\[\boldsymbol{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}, \; \boldsymbol{\mu} = \begin{bmatrix} \mu_1 \\ \mu_2 \end{bmatrix}\]
\((X_1, X_2)\) 的协方差矩阵（其中矩阵元素 \(c_{ij} = Cov(X_i, X_j)\) ）为：
\[\Sigma = \begin{bmatrix} c_{11} & c_{12} \\ c_{21} & c_{22} \end{bmatrix} = \begin{bmatrix} \sigma_2^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_1^2 \end{bmatrix}\]
它的列行式 \(\det \Sigma = \sigma_1^2 \sigma_2^2 (1-\rho^2)\) ， \(\Sigma\) 的逆矩阵为：
\[\Sigma^{-1} = \frac{1}{\det \Sigma} \begin{bmatrix} \sigma_2^2 & - \rho \sigma_1 \sigma_2 \\ - \rho \sigma_1 \sigma_2 & \sigma_1^2 \end{bmatrix}\]
经过计算可知：
\[\begin{aligned} (\boldsymbol{x} - \boldsymbol{\mu})^{\mathsf{T}} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}) & = \frac{1}{\det \Sigma} \begin{bmatrix} x_1 - \mu_1 & x_2 - \mu_2 \end{bmatrix} \begin{bmatrix} \sigma_2^2 & - \rho \sigma_1 \sigma_2 \\ - \rho \sigma_1 \sigma_2 & \sigma_1^2 \end{bmatrix} \begin{bmatrix} x_1 - \mu_1 \\ x_2 - \mu_2 \end{bmatrix} \\ \\ & = \frac{1}{1-\rho^2} \left[\frac{(x_1 - \mu_1)^2}{\sigma_1} -2\rho \frac{(x_1 - \mu_1)(x_2 - \mu_2)}{\sigma_1 \sigma_2} + \frac{(x_2 - \mu_2)^2}{\sigma_2} \right] \end{aligned}\]
从而， \((X_1, X_2)\) 的概率密度还可以写为：
\[f(x_1, x_2) = \frac{1}{(2\pi)^{2/2} (\det \Sigma)^{1/2}} \exp \left\{ - \frac{1}{2} (\boldsymbol{x} - \boldsymbol{\mu})^{\mathsf{T}} \Sigma^{-1} (\boldsymbol{x} - \boldsymbol{\mu}) \right\}\]
其中，矩阵 \(\Sigma\) 是 \((X_1,X_2)\) 的协方差矩阵，它是一个正定对称矩阵。

这个定义可以推广到 \(n\) 维正态随机变量。

设 \(X\) 是随机变量，如果
\[E(X^k), \quad k=1,2,\cdots\]
存在，则称它为 \(X\) 的 \(k\) 阶原点矩，简称 \(k\) 阶矩(Moment)。

设 \(X\) 是随机变量，如果
\[E[(X - E(X))^k ], \quad k=1,2,\cdots\]
存在，则称它为 \(X\) 的 \(k\) 阶中心矩 ，一般记为 \(\mu_k\) 。

随机变量 \(X\) 的概率密度函数为 \(f(x)\) ，则它的 矩生成函数(Moment-generating function) 定义为：
\[M_X(t) := E \left[ e^{tX}\right] = \int_{-\infty}^{\infty} e^{tx} f(x) \, \mathrm{d} x, \qquad t \in \mathbb{R}\]
矩生成函数仅当上式中积分收敛时存在（也就是说，矩生成函数可能不存在）。矩生成函数又称矩母函数。

由于：
\[e^{tX} = 1 + tX + \frac{t^2 X^2}{2!} + \frac{t^3 X^3}{3!} + \cdots + \frac{t^n X^n}{n!} + \cdots\]
从而有：
\[\begin{aligned} M_X(t) = E \left[ e^{tX}\right] & = 1 + t E(X) + \frac{t^2 E(X^2)}{2!} + \frac{t^3 E(X^3)}{3!} + \cdots + \frac{t^n E(X^n)}{n!} + \cdots \\ & = 1 + tm_1 + \frac{t^2 m_2}{2!} + \frac{t^3 m_3}{3!} + \cdots + \frac{t^n m_n}{n!} + \cdots \end{aligned}\]
其中， \(m_n\) 表示的是 \(X\) 的 \(n\) 阶矩（即 \(E(X^n)\) ）。

由上式可知， \(\left. M_X'(t) \right|_{t=0} = M_X'(0) = E(X)\) 。一般地， 通过矩生成函数可以生成 \(X\) 的各阶矩 ：
\[m_n = E(X^n) = M_X^{(n)}(0) = \frac{\mathrm{d}^n M_X}{\mathrm{d} t^n}(0)\]
这就是 \(M_X(t)\) 被称为矩生成函数的原因。

参考：https://en.wikipedia.org/wiki/Moment-generating_function#Calculations_of_moments

可以把抽样(Sampling)方法分为两大类：

概率抽样(Probability Sampling)

又称随机抽样。 总体中，每个观察单位都有被抽中的可能，任何一个对象被抽中的概率是已知的或可计算的。

非概率抽样(Non-probability Sampling)

又称非随机抽样。 总体中，每个观察单位被抽中的概率是未知的或无法计算的。 抽样时不是遵循随机原则，而是按照研究人员的主观经验或其它条件来抽取样本的一种抽样方法。比如偶遇抽样（Accidental Sampling），判断抽样（Judgmental Sampling），配额抽样（Quota Sampling），滚雪球抽样（Snowball Sampling），应答推动抽样（Respond-driven Sampling）等等。非概率抽样失去了大数定律的存在基础，也就无法确定抽样误差，无法正确地说明样本的统计值在多大程度上适合于总体。

常用概率抽样方法有：
(1) 简单随机抽样（Simple Random Sampling）：将调查的抽样框中的全部观察单位进行编号，用抽签或随机数字等方法在抽样框中随机抽取部分观察单位组成样本。
优点：操作简单，均数、率及相应的标准误计算简单。
缺点：总体较大时，难以一一编号。

(2) 系统抽样（Systematic Sampling）：又称机械抽样、等距抽样。先将总体的观察单位按某一顺序号分成 n 个部分，再从第一部分随机抽取第 k 号观察单位，依次用相等间距从每一部分各抽取一个观察单位组成样本。
优点：易于理解，简便易行。
缺点：总体有周期或增减趋势时，易产生偏性。

(3) 整群抽样（Cluster Sampling）：先将总体分成若干群体，再随机抽取几个群组成样本，群内全部调查。
优点：便于组织，节省经费。
缺点：当样本含量一定时，抽样误差一般大于简单随机抽样的误差。

(4) 分层抽样（Stratified Sampling）：将总体样本按其属性特征分成若干类型或层，然后在类型或层中随机抽取样本单位，合起来组成样本。
优点：样本代表性好，抽样误差减少。
缺点：如果分层变量选择不当，层内变异度较大，层间均数相近，分层抽样就失去了意义。

(5) 多阶段抽样（Multistage Sampling）：前述的四种基本抽样方法都是通过一次抽样产生一个完整的样本，称为单阶段抽样。将整个抽样过程分为若干阶段来进行，各阶段可采用相同或不同的抽样方法。

参考：
卫生统计学，常用抽样方法：http://58.20.53.45/files/files_upload/content/material_240/content/010/file_2.htm
百度文库，常用的抽样方法：http://wenku.baidu.com/view/067fb8fe700abb68a982fb85.html

下面列出几个常用的统计量。设 \(X_1, X_2, \cdots, X_n\) 是来自总体 \(X\) 的一个样本。

样本均值

\[\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i\]

样本方差

\[S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2 = \frac{1}{n-1} (\sum_{i=1}^{n} X_i^2 - n \overline{X})\]

样本标准差

\[S=\sqrt{S^2} = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X})^2}\]

样本 \(k\) 阶（原点）矩

\[A_k = \frac{1}{n} \sum_{i=1}^{n}X_i^k, \quad k=1,2,\cdots\]

样本 \(k\) 阶中心矩

\[B_k = \frac{1}{n} \sum_{i=1}^{n} \left( X_i - \overline{X}\right)^k, \quad k=1,2,\cdots\]

将样本观察值 \(x_1, x_2, \cdots, x_n\) 代入上述各式，得到 统计值 ，以相应的小写字母表示。即它们的观察值分别为：
\[\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_i\]
\[s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2 = \frac{1}{n-1} (\sum_{i=1}^{n} x_i^2 - n \overline{x})\]
\[s=\sqrt{s^2} = \sqrt{\frac{1}{n-1} \sum_{i=1}^{n} (x_i - \overline{x})^2}\]
这些观察值仍然分别称为样本均值、样本方差、样本标准差等等。

下面介绍一个与总体分布函数 \(F(x)\) 相关的统计量：经验分布函数。

设 \(X_1, X_2, \cdots, X_n\) 是总体 \(F\) 的一个样本，用 $S(x) 表示 \(X_1, X_2, \cdots, X_n\) 中不大于 \(x\) 的随机变量的个数。定义 经验分布函数(Empirical distribution function) \(F_n(x)\) 为：
\[F_n(x) = \frac{1}{n}S(x), \quad -\infty < x < \infty\]

对于一个样本值，那么经验分布函数 \(F_n(x)\) 的观察值（仍用 \(F_n(x)\) 表示）很容易得到。例如，设总体 \(F\) 具有一个样本值 1,2,3，则经验分布函数 \(F_3(x)\) 的观察值为：
\[F_3(x) = \begin{cases} 0, & \text{if} \, x < 1 \\ \frac{1}{3}, & \text{if} \, 1 \le x < 2 \\ \frac{2}{3}, & \text{if} \, 2 \le x < 3 \\ 1, & \text{if} \, x \ge 3 \\ \end{cases}\]

又假设总体 \(F\) 具有一个样本值 1,1,2，则经验分布函数 \(F_3(x)\) 的观察值为：
\[F_3(x) = \begin{cases} 0, & \text{if} \, x < 1 \\ \frac{2}{3}, & \text{if} \, 1 \le x < 2 \\ 1, & \text{if} \, x \ge 2 \\ \end{cases}\]

一般，设 \(x_1, x_2, \cdots, x_n\) 是总体 \(F\) 的一个容量为 \(n\) 的样本值，先将它们按从小到大的次序排列，并重新编号，设为：
\[x_{(1)} \le x_{(2)} \le \cdots \le x_{(n)}\]
则，经验分布函数 \(F_n(x)\) 的观察值为：
\[F_n(x) = \begin{cases} 0, & \text{if} \, x < x_{(1)} \\ \frac{k}{n}, & \text{if} \, x_{(k)} \le x < x_{(k+1)} \\ 1, & \text{if} \, x \ge x_{(n)} \\ \end{cases}\]

经验分布函数的图示如下。

Glivenko 在 1933 年证明了， 当 \(n \to \infty\) 时，经验分布函数 \(F_n(x)\) 以概率 1 一致收敛于总体分布函数 \(F(x)\) 。 所以，当样本容量充分大时，任一个观察值 \(F_n(x)\) 和总体分布函数 \(F(x)\) 的差别将很小。

若总体 \(X\) 属于离散型随机变量，其分布律 \(P \{ X=x \} = p(x;\theta), \theta \in \Theta\) 的形式为已知， \(\theta\) 为待估参数， \(\Theta\) 是 \(\theta\) 可能取值的范围。设 \(X_1, X_2, \cdots, X_n\) 是来自 \(X\) 的样本，则样本分布函数（ \(X_1, X_2, \cdots, X_n\) 的联合分布律）为：
\[\prod_{i=1}^{n} p(x_i; \theta)\]
设 \(x_1, x_2, \cdots, x_n\) 是样本的一个观察值，易知取到观察值 \(x_1, x_2, \cdots, x_n\) 的概率，亦即事件 \(\{X_1 = x_1, X_2 = x_2, \cdots, X_n = x_n\}\) 的概率为：
\[L(\theta) = \prod_{i=1}^{n} p(x_i; \theta), \, \theta \in \Theta\]
上式中， \(x_1, x_2, \cdots, x_n\) 是已知的样本值，它们都是常数。 \(L(\theta)\) 称为样本的 似然函数 ，它是未知参数 \(\theta\) 的函数。

最大似然估计基于以下直观的想法：既然已经取到样本值 \(x_1, x_2, \cdots, x_n\) 了，则表明取到这一样本值的概率 \(L(\theta)\) 比较大。如果已知当 \(\theta = \theta_0 \in \Theta\) 时使 \(L(\theta)\) 取很大值，而 \(\Theta\) 中的其他 \(\theta\) 的值使 \(L(\theta)\) 取很小值，我们自然认为取 \(\theta_0\) 作为未知参数 \(\theta\) 的估计值较为合理。

最大似然估计法： 固定样本观察值 \(x_1, x_2, \cdots, x_n\) ，在 \(\theta\) 取值的可能范围 \(\Theta\) 内选择使似然函数 \(L(\theta)\) 达到最大时的参数值 \(\hat{\theta}\) 作为参数 \(\theta\) 的估计值。

类似地，若总体 \(X\) 属于连续型随机变量，其概率密度 \(f(x; \theta), \theta \in \Theta\) 的形式已知，参数 \(\theta\) 未知。样本的似然函数可以写为：
\[L(\theta) = \prod_{i=1}^{n} f(x_i; \theta)\]

利用微分学中求函数最大值的知识可以求解 \(\hat{\theta}\) 。
很多情况下 \(p(x; \theta)\) 和 \(f(x; \theta)\) 关于 \(\theta\) 可微，这时 \(\hat{\theta}\) 可以从下面方程中求得：
\[\frac{d}{d \theta} L(\theta) = 0\]
由于 \(L(\theta)\) 和 \(\ln L(\theta)\) 在同一 \(\theta\) 处取得极值，因此， \(\theta\) 的最大似然估计 \(\hat{\theta}\) 了可以从下面方程中求得：
\[\frac{d}{d \theta} \ln L(\theta) = 0\]
上面这个方程称为对数似然方程，求解对数似然方程往往比直接求解似然方程更方便。

如果分布函数中含有多个未知参数 \(\theta_1, \theta_2, \cdots, \theta_k\) ，则它们的最大似然估计可以从下面方程组中求得：
\[\frac{\partial}{\partial \theta_i} L = 0, \, i = 1,2,\cdots,k\]
多个参数的最大似然估计也可以从下面的对数似然方程组中求得：
\[\frac{\partial}{\partial \theta_i} \ln L = 0, \, i = 1,2,\cdots,k\]

参考：
https://en.wikipedia.org/wiki/Maximum_likelihood