概统速通 - 统计

样本

1. 总体是随机变量
2. 样本是一组随机变量 (随机向量)
   • 简单随机样本独立与总体同分布
3. 样本观测值是一组数值
4. 样本统计量是样本的函数, 是随机变量或随机向量 (大写)
   1. 样本 阶原点矩
   2. 样本 阶中心矩
   3. 样本均值
   4. 样本方差
   5. 顺序统计量
      1. 最小统计量, 最大统计量
      2. 样本中位数
      3. 样本极差
5. 样本统计值是数或向量 (小写)

样本的数字特征

定义 从总体 中抽取 个样本, 顺序统计量 的值 定义总体的经验分布函数

是具有分布函数性质的实函数

阶跃值为 1 / n

对于固定的 , 是样本的函数, 是一个统计量

定理 格列汶科定理 记

有

样本矩可用经验分布函数计算.

样本矩是随机变量, 总体矩是数值

定义 二维总体 的样本协方差

样本相关系数

定理 样本均值的精确分布

可处理小样问题

定理 顺序统计量 的概率密度

所有顺序统计量 的联合概率密度

排序破坏了样本的独立性

定理 极差 的概率密度

参数估计

定义 点估计: 总体 的分布函数 中参数 未知, , 由样本 建立统计量 将其统计值

作为 的估计值, 称

为 的点估计量.

矩估计

• 用样本矩替换相应的总体矩
• 用样本矩的函数替换总体矩的同一函数

令总体矩等于样本矩

极大似然估计

最大可能性准则: 选取参数使得样本观测值出现的可能性最大

1. 构造似然函数
   1. 离散型
   2. 连续型
2. 方便起见, 取对数
3. 求导
4. 解方程得到 的极大似然估计值

极大似然估计的结果可能与矩估计不同. 关键在于求出使得 取最大值的参数, 不一定要取对数和求导

估计量的优良性

无偏性

定义 无偏估计量

没有系统误差

渐进无偏估计量

1. 样本均值是总体均值 的无偏估计量
2. 样本方差 是总体方差 的有偏估计量
3. 修正样本方差 是总体方差 的无偏估计量
4. 已知总体均值 , 是总体方差 的无偏估计量

有效性

定义 若同一参数的两个无偏估计量

称 比 更有效

的取值在 附近越密集越好

存在最小方差无偏估计量, 简称最优无偏估计量

定理 是 的无偏估计, , 是最有无偏估计量 的统计量 ,

正态总体样本均值是总体均值的最优无偏估计量, 修正样本方差是总体方差的最优无偏估计量

定理 最优无偏估计量在概率为 1 的意义下唯一.

优效性

参数估计量的方差的下界

正态总体样本均值是总体均值的优效估计量, 修正样本方差是总体方差的渐进优效估计量

希望兼顾无偏性和有效性, 可使用 MSE

相合性

样本数量足够大时, 估计量稳定于真实值

定义 弱相合估计量 待估函数 的估计量

定义 强相合估计量

区间估计

对于 构造两个估计量 给定估计范围

1. 尽量大
2. 尽量小

奈曼-皮尔逊准则: 先确定能接受的可靠程度, 再尽量提高精确度.

定义 对未知参数的两个估计量 , 若

称 为 置信度为 的区间估计

• 置信水平
• 显著性水平

随机区间 以 的概率包含 . 反映了区间估计的可靠程度

枢轴变量法:

1. 选取待估参数 的优良估计量
2. 建立枢轴变量, 对选定的估计量构造函数 不包含其他任何参数, 可选用其他优良估计量替代位置参数, 替代参数后 将具有不同的分布. 参考 抽样分布定理.
3. 确定 的分布. 通常构造 使其具有经典分布
4. 根据 的分布, 查上侧分位数使得 成立
5. 改写不等式得到

假设检验

假设检验基本思想: 提出统计假设, 根据小概率事件原理用类似反证法的思想对其进行检验.

假设检验的基本思路

参数假设检验

1. 提出待检验假设
2. 构造检验统计量. 说明, 为真时, 检验统计量服从某种分布. 参考 抽样分布定理.
3. 计算本次抽样检验统计量观测值
4. 看观测值是否落入否定域, 作出判断