第三章 信源编码.ppt

基本概念： 信源——离散、模拟 量化(矢量量化)(K均值算法) DMS——离散无记忆信源 PCM 对数量度 DPCM 平均互信息 适应PCM和DPCM 熵及其基本性质 DM(增量调制) 信源编码定理Ⅰ,Ⅱ 自适应变换编码 霍夫曼编码算法 LPC——线性预测编码 率失真函数及香农定理 一. 信源的数学模型 信源：随机信号(能量信号，功率信号)非确知信号 信源输出序列统计独立 —— DMS（离散无记忆信源） 信源的输出统计相关 ——（平稳） 模拟信源具有输出波形 ，是平稳随机过程 的一个样本函数，其自相关函数 ，功率密度谱 当 是带限的随机过程，即 时，满足条件 ，可以用抽样定理来表示 利用抽样定理可把模拟信源的输出转换成等效的 离散时间信源。 二. 信息的量度——熵及其性质 1. 熵 离散随机变量 事件 的出现提供事件 的信息量 和 间的互信息： 的自信息： 平均互信息： 平均自信息： 表示信源可能的输出字符集， 表示每个信 源字符的平均自信息。 称为信源的熵 2. 熵的基本性质 （1）非负性 （2）确定性 当 为确定时 ，则 确定性越大， 越小。 信源的熵 反映的是信源的总体不确定性。 （3）对称性 即当 的顺序互换时，熵函数的值不变 熵函数只与随机变量的总体结构有关 （4）扩展性 当信源中增加小概率事件后，对信源总的平均不确定性几乎没有影响。 熵的总体平均性 （5）可加性 对于两个统计独立信源X和Y，有 （6）极值性 信源中各事件的出现概率趋于均等时，信源具有最大熵。 等概率事件平均不确定性最大 证明：用到凸函数和詹森不等式 三. 香农三大定理 通信的根本问题是如何高效、可靠地实现信息的传输。 需要解决两个问题： （1）在不失真或允许一定失真的条件下，如何用尽可能少的编码符号来传送信源信息，以便提高信息传输率； （2）在信道受到干扰的情况下，如何增强信息的抗干扰能力，同时又不过多地降低信息传输率。 对于数字通信系统，解决这两个问题的基本方法是采用信源编码和信道编码，而研究的理论依据就是著名的香农三大定理。 1. 香农第一定理 —— 无失真可变长信源编码 定理 （1）信源编码器 a. 信源编码的实质：是对信源的原始符号按一定规 则进行变换，以新的编码符号代替原始信源符号， 从而降低原始信源的冗余度。 b. 编码的过程：是按照一定的规则，将信源的各个 原始符号 表示成码字 输出，而 是由若干个 码元 组成的序列。 编码就是从信源符号到码符号组成的码字之 间的一种映射。 c. 定义1. 若某一种码的任意一串有限长的符号序列 只能被惟一地译成所对应的信源符号，则该码称 为惟一可译码。 定义2. 若用r元码对信源 进行编码，设S中每个 符号所需的平均码长为 ，则定义 为该码的编码效率。式中， 代表信息量，N为 扩展信源次数，即N次扩展信源的无失真编码。 （2）香农第一定理——可变长无失真信源编码定理 设 为q元离散无记忆信源S 的N次扩展信源，若对 进行编码，码符号集 则总可以找到一种编码方法 构成惟一可译码，使信源S中每个符号所需的 平均码长度 满足： 且当 时有： 若以二元码表示编码，则 说明：（1）要实现无失真的信源编码，