大数定理及中心极限定理
大数定理
依概率收敛
设 \(Y_1\)，\(Y_2\)，\(\cdots\)，\(Y_n\)，\(\cdots\) 是一个随机变量序列，\(a\) 是一个常数，若对于任意正数 \(\varepsilon\)，有
\[ \lim_{n \to \infty} P\{|Y_n - a| < \varepsilon\} = 1 \]
则称序列 \(Y_1\)，\(Y_2\)，\(\cdots\)，\(Y_n\)，\(\cdots\) 依概率收敛于 \(a\)，记为
\[ Y_n \xrightarrow{P} a \]
设 \(X_n \xrightarrow{P} a\)，\(Y_n \xrightarrow{P} b\)，又设函数 \(g(x, y)\) 在点 \((a, b)\) 连续，则
\[ g(X_n, Y_n) \xrightarrow{P} g(a, b) \]
弱大数定理
设 \(X_1\)，\(X_2\)，\(\cdots\) 是相互独立，服从同一分布的随机变量序列，且具有数学期望 \(E(X_k) = \mu (k = 1, 2, \cdots)\)，作前 \(n\) 个变量的算术平均 \(\frac{1}{n} \sum\limits_{k = 1}^{n} X_{k}\)，则对于任意 \(\varepsilon > 0\)，有
\[ \lim_{n \to \infty} P\bigg\{\bigg|\frac{1}{n} \sum_{k = 1}^{n} X_{k} - \mu\bigg| < \varepsilon\bigg\} = 1 \]
设随机变量 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\)，\(\cdots\) 相互独立，服从同一分布且具有数学期望 \(E(X_k) = \mu(k = 1, 2, \cdots)\)，则序列 \(\bar{X} = \frac{1}{n} \sum\limits_{k = 1}^{n} X_{k}\)，依概率收敛于 \(\mu\)，即 \(\bar{X} \xrightarrow{P} \mu\)。
伯努利大数定理
设 \(f_A\) 是 \(n\) 次独立重复试验中事件 \(A\) 发生的次数，\(p\) 是事件 \(A\) 在每次试验中发生的概率，则对于任意 \(\varepsilon > 0\)，有
\[ \lim_{n \to \infty} P\bigg\{\bigg|\frac{f_A}{n} - p\bigg| < \varepsilon\bigg\} = 1 \]
中心极限定理
独立同分布的中心极限定理
设随机变量 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\)，\(\cdots\) 相互独立，服从同一分布，且具有数学期望和方差：\(E(X_k) = \mu\)，\(D(X_k) = \sigma^2 > 0(k = 1, 2, \cdots)\)，则随机变量之和 \(\sum\limits_{k = 1}^{n} X_{k}\) 的标准化变量
\[ Y_n = \frac{\sum\limits_{k = 1}^{n} X_{k} - E\bigg(\sum\limits_{k = 1}^{n} X_{k}\bigg)}{\sqrt{D(\sum\limits_{k = 1}^{n} X_k)}} = \frac{\sum\limits_{k = 1}^{n} X_{k} - n\mu}{\sqrt{n}\delta} \]
的分布函数 \(F_n(x)\) 对于任意 \(x\) 满足
\[ \begin{aligned} \lim_{n \to \infty} F_n(x) &= \lim_{n \to \infty} P\bigg\{\frac{\sum\limits_{k = 1}^{n} X_{k} - n\mu}{\sqrt{n}\delta} \leq x\bigg\} \\ &= \int_{-\infty}^{x} \frac{1}{\sqrt{2}\pi} \text{e}^{-t^2/2} \text{d}t = \Phi(x) \end{aligned} \]
李雅普诺夫定理
设随机变量 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\)，\(\cdots\) 相互独立，它们具有数学期望和方差
\[ E(X_k) = \mu_{k}, \quad D(X_{k}) = \sigma^{2}_{k} > 0, \quad k = 1, 2, \cdots \]
记 \(B_n^2 = \sum\limits_{k = 1}^{n} \sigma_{k}^2\)，若存在正数 \(\delta\)，使得当 \(n \to \infty\) 时，
\[ \frac{1}{B_{n}^{2 + \delta}} \sum_{k = 1}^{n} E\{|X_k - \mu_k|^{2 + \delta}\} \to 0 \]
则随机变量之和 \(\sum\limits_{k = 1}^{n} X_{k}\) 的标准化变量
\[ Z_n = \frac{\sum\limits_{k = 1}^{n} X_{k} - E\bigg(\sum\limits_{k = 1}^{n} X_{k}\bigg)}{\sqrt{D\bigg(\sum\limits_{k = 1}^{n} X_{k}\bigg)}} = \frac{\sum\limits_{k = 1}^{n} X_{k} - \sum\limits_{k = 1}^{n} \mu_{k}}{B_n} \]
的分布函数 \(F_n(x)\) 对于任意 \(x\)，满足
\[ \begin{aligned} \lim_{n \to \infty} F_n(x) &= \lim_{n \to \infty} P\bigg\{\frac{\sum\limits_{k = 1}^{n} X_{k} - \sum\limits_{k = 1}^{n} \mu_{k}}{B_n} \leq x\bigg\} \\ &= \int_{-\infty}^{x} \frac{1}{\sqrt{2}\pi} \text{e}^{-t^2/2} \text{d}t = \Phi(x) \end{aligned} \]
棣莫弗-拉普拉斯定理
设随机变量 \(\eta_{n}(n = 1, 2, \cdots)\) 服从参数为 \(n\)，\(p(0 < p < 1)\) 的二项分布，则对于任意 \(x\)，有
\[ \lim_{n \to \infty} P\bigg\{\frac{\eta_n - np}{\sqrt{np(1 - p)}} \leq x\bigg\} = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}} \text{e}^{-t^2/2} \text{d}t = \Phi(x) \]