更新于 

概统速通 - 随机变量的数字特征

数字特征

期望

定义 离散型随机变量的数学期望: 离散型随机变量

则称

数学期望均值

  1. 要求绝对收敛是为了保证数学期望有唯一的数值
  2. 数学期望的随机变量所有可能取值对取值概率的加权平均, 是一个数

定义 连续型随机变量的数学期望: 连续型随机变量 概率密度为 , 若 则称

数学期望均值

对于任意随机变量 , 都可用分布函数 的 Riemann–Stieltjes 积分定义期望 (要求绝对可积)

说明

Riemann–Stieltjes 积分

参照 Riemann 积分.

定义 Riemann–Stieltjes 积分: 上实值函数, 任意对 的分割 及任意分点 记和式

, 有

, 则称 关于 上的 R-S 积分, 记为

广义 R-S 积分

分部积分公式

Cauchy-Schwarz 不等式: 若有

单调不减, 则 存在且

定理 连续有界, 单调有界 R-S 可积

定理 广义 R-S 积分定理:

  1. 连续
  2. 存在

则有

  1. 存在且 Riemann 可积
  2. 存在实数列 , 上取常数

离散型随机变量对应广义 R-S 积分情况 2, 连续型随机变量对应广义 R-S 积分情况 1

函数的期望

定理 的分布函数, 连续, 若绝对可积, 则 的数学期望存在且

方差

定义

的方差 (Deviation / Variance)

的标准差 Standard Deviation 或均方差 Mean Square Error.

性质

  1. 存在 存在
  2. 存在
  3. Chebyshev 不等式 > 粗略地通过方差限制了随机变量偏离均值的程度

方差刻画了随机变量关于数学期望的偏离程度, 随机变量关于数学期望的偏离程度比关于其他任何值的偏离程度小.

说明

的标准化随机变量

期望为 0, 方差为 1

  • 阶原点矩
  • 阶绝对原点矩
  • 阶中心矩
  • 阶绝对中心矩

相关性

定义 多维随机变量的函数期望

性质 多维随机变量每一维期望都存在, 则

  1. 线性性
  2. 相互独立

性质 多维随机变量每一维方差都存在, 则

相互独立

定义 随机变量 的协方差 Covariance

性质

定义 随机变量 的相关系数 Correlation Coefficient

性质

  1. 以概率 1 线性相关
  2. 不相关

独立 不相关

多维随机变量可构造协方差矩阵和相关系数矩阵, 是半正定矩阵.

条件期望与方差

定义 的条件下, 随机变量 的条件数学期望

的函数.

实际上, 等是常数, 而 是随机变量.

函数的条件数学期望

性质

  1. 独立
  2. 全数学期望公式
    1. 离散型
    2. 连续型

定义 的条件下 的条件方差

相对条件数学期望 的偏离程度的衡量指标

特征函数

一维

定义 上的随机变量

的特征函数

性质

  1. 一致连续
  2. 非负定:
  3. 线性变换

定理 波赫纳-辛钦: 是特征函数 上一致连续, 非负定且

定理 阶矩存在 存在且

用特征函数求矩

定理 反演公式: 的连续点

用特征函数求分布函数和概率

定理 唯一性定理: 分布函数恒等 特征函数恒定

定理 特征函数在 上绝对可积 连续型随机变量

定理 对于离散型随机变量

多维

定义 多维随机变量的特征函数

性质

  1. 在实平面上一致连续
  2. 的特征函数为
  3. 的特征函数为

定理 特征函数求矩

定理 反演公式 (要求落在矩形边界上的概率为 0)

定理 维随机变量相互独立

, 则

若独立同分布, 则