信息论速通
信息论计算
- 信源熵
- 离散信源熵的性质
- 熵非负
- 熵对信源概率
严格上凸. 是概率测度 - 最大熵定理: 达到最大熵
时信源概率平均分布
- 连续信源差熵性质
- 不一定非负
- 仍满足严格上凸
- 最大熵定理: 限定均值为
, 方差 (平均功率) 为 , 最大差熵为 信源概率密度为正态分布
- 离散信源熵的性质
- 无失真压缩编码
- 异前置码的克拉夫特不等式: 二元异前置码的码长
满足 表明具有渐进最优性 - 费诺码: 按概率从大到小排序, 尽量二分
- 霍夫曼码: 从小到大排序, 每次把最小的捏起来
- 异前置码的克拉夫特不等式: 二元异前置码的码长
- 平均互信息
- 互信息量
- 噪声熵
- 损失熵
- 平均互信息
- 离散平均互信息性质
- 对称
- 非负
- 对信源概率严格上凸
- 对信道转移概率严格下凸
- 连续平均互信息性质
- 对称
- 对信源概率严格上凸
- 对信道转移概率严格下凸
- 极值不一定存在
- 信道容量: 改变信源概率能取得的最大平均互信息
次拓展对称信道 (每一行都是 的排列) 次拓展高斯信道: 加性高斯噪声, 平均功率- 采样定理: 不失真传输一条消息(
个符号)的最小时间, 带宽 - 香农公式: 单位时间的信道容量.
单边功率谱密度
- 互信息量
- 纠错编码
- 线性分组码
- 汉明码
- 率失真函数
- 平均失真度: 失真度的数学期望
- 保真度准则: 平均失真度不大于允许失真
- 试验信道: 满足保真度准则的数据处理信道
- 率失真函数: 满足保真度准则, 改变试验信道, 能取得的最小平均互信息
次扩展等概率信源 转移概率 次扩展二元信源 次扩展高斯信源: 取平方误差度.
![G711 Law A](https://cdn.duanyll.com/img/20230627123451.png)
证明
- 熵对信源概率严格上凸
- 马尔科夫信源
- 高斯信源熵最大
- 香农第一定理
- 渐进均分性 (弱大数定理): 典型序列的码率接近熵率
- 典型序列的概率足够大
- 典型序列的数量足够多
- 译码错误概率足够低
- 克拉夫特不等式证明异前置码渐进最优
- 互信息量对称 (贝叶斯公式)
- 香农第二定理