随机变量的数字特征
期望
若级数
\[ \sum_{k = 1}^{\infty} x_{k} p_{k} \]
绝对收敛，则称级数的和为随机变量 \(X\) 的数学期望，记为 \(E(X)\)。
设连续型随机变量 \(X\) 的概率密度为 \(f(x)\)，若积分
\[ \int_{-\infty}^{\infty} xf(x) \text{d}x \]
绝对收敛，则称积分的值为随机变量 \(X\) 的数学期望，记为 \(E(X)\)。
求期望的定理
设 \(Y\) 是随机变量 \(X\) 的函数；\(Y = g(X)\)，其中 \(g\) 是连续函数
如果 \(X\) 是离散型随机变量，它的分布律为 \(P\{X = x_{k}\} = p_{k}, k = 1, 2, \cdots\)，若 \(\sum\limits_{k = 1}^{\infty} g(x_{k}) p_{k}\) 绝对收敛，则有
\[ E(Y) = E[g(X)] = \sum\limits_{k = 1}^{\infty} g(x_{k}) p_{k} \]
如果 \(X\) 是连续型随机变量，它的概率密度为 \(f(x)\)，若 \(\int_{-\infty}^{\infty} g(x) f(x) \text{d}x\) 绝对收敛，则有
\[ E(Y) = E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) \text{d}x \]
上述 2. 可以推广到两个或两个以上随机变量的函数情况，例如，设 \(Z\) 是随机变量 \(X\)，\(Y\) 的函数 \(Z = g(X, Y)\)，\(g\) 是连续函数，若二维随机变量 \((X, Y)\) 的概率密度为 \(f(x, y)\)，则有
\[ E(Z) = E[g(X, Y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) \text{d}x \text{d}y \]
这里设上式右边的积分绝对收敛，又若 \((X, Y)\) 为离散型随机变量，其分布律为 \(P\{X = x_{i}, Y = y_{i}\} = p_{ij}, i, j = 1, 2, \cdots\)，则有
\[ E(Z) = E[g(X, Y)] = \sum_{j = 1}^{\infty} \sum_{i = 1}^{\infty} g(x_{i}, y_{j}) p_{ij} \]
这里同样设上式右边的级数绝对收敛。
方差
\[ D(X) = \text{Var}(X) = E\{[X - E(X)]^2\} = E(X^2) - [E(X)]^2 \]
记 \(\sigma(X) = \sqrt{D(X)}\)
方差的性质
设 \(C\) 是常数，则 \(D(C) = 0\)；
设 \(X\) 是随机变量，\(C\) 是常数，则有
\[ D(CX) = C^2 D(X), \quad D(X + C) = D(X) \]
设 \(X\)，\(Y\) 是两个随机变量，则有
\[ D(X + Y) = D(X) + D(Y) + 2E\{[X - E(X)][Y - E(Y)]\} \]
特别地，若 \(X\)，\(Y\) 相互独立，则有
\[ D(X + Y) = D(X) + D(Y) \]
\(D(X) = 0\) 的充要条件是 \(X\) 以概率 1 取常数 \(E(X)\)，即 \(P\{X = E(X)\} = 1\)
切比雪夫不等式
谁随机变量 \(X\) 具有数学期望 \(E(X) = \mu\)，方差 \(D(X) = \sigma^2\)，则对于任意正数 \(\varepsilon\)，不等式
\[ P\{|X - \mu| \geq \varepsilon\} \leq \frac{\sigma^2}{\varepsilon^2} \]
成立
协方差和相关系数
量 \(E\{[X - E(X)][Y - E(Y)]\}\) 称为随机变量 \(X\) 与 \(Y\) 的协方差，记为 \(\text{Cov}(X, Y)\)，即
\[ \text{Cov}(X, Y) = E\{[X - E(X)][Y - E(Y)]\} \]
而
\[ \rho_{XY} = \frac{\text{Cov}(X, Y)}{\sqrt{D(X) D(Y)}} \]
称为随机变量 \(X\) 和 \(Y\) 的相关系数。
协方差和相关系数的性质
\(\text{Cov}(aX, bY) = ab\text{Cov}(X, Y)，\)a\(，\)b$ 是常数。
\(\text{Cov}(X_1 + X_2, Y) = \text{Cov}(X_1, Y) + \text{Cov}(X_2, Y)\)
\(|\rho_{XY}| \leq 1\)
若 \(|\rho_{XY}| = 1\)，从而
\[ \begin{aligned} E\{[Y - (a_0 + b_0 X)]^2\} &= 0 \\ D[Y - (a_0 + b_0 X)] &= 0 \\ E[Y - (a_0 + b_0 X)] &= 0 \end{aligned} \]
矩、协方差矩阵
原点矩、中心矩、混合矩
设 \(X\) 和 \(Y\) 是随机变量，若 \(E(X^k), k = 1, 2, \cdots\) 存在，称它为 \(X\) 的 \(k\) 阶原点矩，简称 \(k\) 阶矩。；若 \(E\{[X - E(X)]^k\}, k = 1, 2, \cdots\) 存在，称它为 \(X\) 的 \(k\) 阶中心矩；若 \(E(X^k Y^l), k, l = 1, 2, \cdots\) 存在，称它为 \(X\) 和 \(Y\) 的 \(k + l\) 阶混合矩；若 \(E\{[X - E(X)]^k [Y - E(Y)]^l\}, k, l = 1, 2, \cdots\) 存在，称它为 \(X\) 和 \(Y\) 的 \(k + l\) 阶混合中心矩。
协方差矩阵
设 \(n\) 维随机变量 \((X_1, X_2, \cdots, X_n)\) 的二阶混合中心矩，\(c_{ij} = \text{Cov}(X_i, X_j) = E\{[X_i - E(X_i)][X_j - E(X_j)]\}, i, j = 1, 2, \cdots, n\) 都存在，则称矩阵
\[ \mathbf{C} = \begin{bmatrix} c_{11} &c_{12} &\cdots &c_{1n} \\ c_{21} &c_{22} &\cdots &c_{2n} \\ \vdots &\vdots &\quad &\vdots \\ c_{n1} &c_{n2} &\cdots &c_{nn} \end{bmatrix} \]
为 \(n\) 为随机变量 \((X_1, X_2, \cdots, X_n)\) 的协方差矩阵，显然是一个对称矩阵。
多维正态分布的随机变量的概率密度
\[ f(x_1, x_2, \cdots, x_n) = \frac{1}{(2\pi)^{\pi/2} (\det(C))^{1/2}} \exp \bigg\{-\frac{1}{2}(\mathbf{X} - \mathbf{\mu})^{\text{T}} \mathbf{C}^{-1} (\mathbf{X} - \mathbf{\mu})\bigg\} \]
其中，\(\mathbf{C}\) 是协方差矩阵。
- \(n\) 维正态随机变量 \((X_1, X_2, \cdots, X_n)\) 的每一个分量 \(X_i, i = 1, 2, \cdots, n\) 都是正态随机变量；反之，若 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\) 都是正态随机变量，且相互独立，则 \((X_1, X_2, \cdots, X_n)\) 是 \(n\) 维正态随机变量。
- \(n\) 维随机变量 \((X_1, X_2, \cdots, X_n)\) 服从 \(n\) 维正态分布的充要条件是 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\) 的任意线性组合服从一维正态分布。
- 若 \((X_1, X_2, \cdots, X_n)\) 服从 \(n\) 维正态分布，设 \(Y_1\)，\(Y_2\)，\(\cdots\)，\(Y_k\) 是 \(X_j(j = 1, 2, \cdots, n)\) 的线性函数，则 \((Y_1, Y_2, \cdots, Y_k)\) 也服从多维正态分布。
- 设 \((X_1, X_2, \cdots, X_n)\) 服从 \(n\) 维正态分布，则 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\) 相互独立与 \(X_1\)，\(X_2\)，\(\cdots\)，\(X_n\) 两两不相关是等价的。