信息论速通

计算

1. 信源熵
   1. 离散信源熵的性质
      1. 熵非负
      2. 熵对信源概率 严格上凸. 是概率测度
      3. 最大熵定理: 达到最大熵 时信源概率平均分布
   2. 连续信源差熵性质
      1. 不一定非负
      2. 仍满足严格上凸
      3. 最大熵定理: 限定均值为 , 方差 (平均功率) 为 , 最大差熵为 信源概率密度为正态分布
2. 无失真压缩编码
   1. 异前置码的克拉夫特不等式: 二元异前置码的码长 满足 表明具有渐进最优性
   2. 费诺码: 按概率从大到小排序, 尽量二分
   3. 霍夫曼码: 从小到大排序, 每次把最小的捏起来
3. 平均互信息
   1. 互信息量
   2. 噪声熵
   3. 损失熵
   4. 平均互信息
   5. 离散平均互信息性质
      1. 对称
      2. 非负
      3. 对信源概率严格上凸
      4. 对信道转移概率严格下凸
   6. 连续平均互信息性质
      1. 对称
      2. 对信源概率严格上凸
      3. 对信道转移概率严格下凸
      4. 极值不一定存在
   7. 信道容量: 改变信源概率能取得的最大平均互信息
      1. 次拓展对称信道 (每一行都是 的排列)
      2. 次拓展高斯信道: 加性高斯噪声, 平均功率
      3. 采样定理: 不失真传输一条消息（ 个符号）的最小时间, 带宽
      4. 香农公式: 单位时间的信道容量. 单边功率谱密度
4. 纠错编码
   1. 线性分组码
   2. 汉明码
5. 率失真函数
   1. 平均失真度: 失真度的数学期望
   2. 保真度准则: 平均失真度不大于允许失真
   3. 试验信道: 满足保真度准则的数据处理信道
   4. 率失真函数: 满足保真度准则, 改变试验信道, 能取得的最小平均互信息
   5. 次扩展等概率信源 转移概率
   6. 次扩展二元信源
   7. 次扩展高斯信源: 取平方误差度.

G711 Law A

证明

1. 熵对信源概率严格上凸
2. 马尔科夫信源
3. 高斯信源熵最大
4. 香农第一定理
   1. 渐进均分性 (弱大数定理): 典型序列的码率接近熵率
   2. 典型序列的概率足够大
   3. 典型序列的数量足够多
   4. 译码错误概率足够低
5. 克拉夫特不等式证明异前置码渐进最优
6. 互信息量对称 (贝叶斯公式)
7. 香农第二定理

许可协议

本文采用 署名-相同方式共享 4.0 国际 许可协议，转载请注明出处。

分享文章