信息论与编的码第五章.ppt

信息论与编码;第5章 信源编码;第二次课 第三次课 第四次课 ;本次课内容: 5.1 数据压缩概述 5.2 无失真信源编码的基本概念 5.2.1 信源编码器 5.2.2 码的类型 ; 对于信源来说，有三个重要问题需要解决： 1、如何构建描述信源的模型； 2、信源输出信息量的计算，即信源熵的问题； 3、如何更有效的表示信源输出问题，即信源压缩编码问题。 信源编码的主要任务就是： 减少冗余，提高编码效率。 ; 信源编码的基本途径有两个： 一是使序列中各个符号尽可能地相互独立，即解除相关性； 二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。 具体来说，就是针对信源输出符号序列的统计特性，寻找一定的办法把信源输出符号序列变换为最短的码字序列。 ;; 5.1数据压缩概述; 信息理论认为： 若信源编码的熵大于信源的实际熵，则该信源中一定存在冗余度，去掉冗余不会减少信息量，仍可原样恢复数据；但若减少了熵，数据则不能完全恢复。 但在允许的范围内损失一定的熵，数据可以近似地恢复。 ;常用的压缩编码方法可以分为两大类： 1、无损压缩编码法，也称冗余压缩法或熵编码法及无失真编码； 2、有损压缩编码法，也称为熵压缩法或限失真编码。; 无损压缩： 是利用数据的统计冗余进行压缩，可完全回复原始数据而不引起任何失真。 但压缩率是受到数据统计冗余度的理论限制，一般为2:1到5:1。特殊应用场合的图像数据(如指纹图像，医学图像等)的压缩通常采用这种压缩。由于压缩比的限制，仅使用无损压缩方法是不可能解决图像和数字视频的存储和传输的所有问题。 ; 经常使用的无损压缩方法有： 香农Shannon编码，哈夫曼Huffman 编码，游程(Run-length)编码，LZW(Lempel-Ziv-Welch)编码和算术编码等。 无损压缩优点：可以做到100％的保存、没有任 何信号丢失，并且转换方便。 无损压缩不足：占用空间大、压缩比不高而且 缺乏硬件支持。 ; 有损数据压缩： 经过压缩、解压的数据与原始数据不同,但是非常接近的压缩方法，又称破坏型压缩，即将次要的信息数据压缩掉，牺牲一些质量来减少数据量，使压缩比提高。 如，利用人类对图像或声波中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息；虽然不能完全恢复原始数据，但是所损失的部分对理解原始图像的影响缩小，却换来了大得多的压缩比。 ; 有损压缩广泛应用于语音，图像和视频数据的压缩。 在多媒体应用中，常见的压缩方法有：PCM(脉冲编码调制)，预测编码， 变换编码，插值和外推法， 统计编码，矢量量化和子带编码等。 混合编码是近年来广泛采用的方法。; 有损压缩的优点： 在有些情况下能够获得比任何已知无损方法小得多的文件大小，同时又能满足系统的需要。 有损压缩的不足： 会影响图像质量，尤其是在仔细观察的时候，质量下降更加明显。 ; 5.2 无失真信源编码的基本概念5.2.1 信源编码器;4.2 无失真信源编码的基本概念;;如： 二元信道基本符号集为{0,1},将信源符号s变换成由0和1符号组成的码符号序列(码元),即编码。;;;;;;;;;;;;上次课的内容:;;本次课的内容;;; 【例5.2-1】某地二月份天气的概率分布统计如下：雨天的概率是1/8，雪天的概率也是1/8，阴天的概率是1/4，晴天的概率是1/2。设x1表示雨天，x2表示雪天，x3表示阴天，x4表示晴天，则其离散无记忆信源的概率空间为;;表5-3 两种信源编码方案;编码后的每个信源符号平均所需的码元（码符号）个数。 单位为“码元/信源符号”。 对单个信源符号进行编码，设信源为;; 3、信息传输率 编码后信息传输率R又称为码率，是指编码后每个码元载荷的信息量。单位为“比特/码元”或“比特/码符号”。;;4、编码效率 编码效率：表示编码后实际信息量和能载荷最大 信息量的比值。 假设码元为m进制，即可取m种可能值，则每个码元所能载荷的最大信息量为logm比特/码元。;方案2编码后每个码元载荷的平均信息量：;5、克劳夫特不等式 用码树的概念可以推导出唯一可译码存在的充要条件，即各码字的长度Ki应符合不等式; 该不等式指出了即时码的码长必须满足的条件。