多媒体技术基础：02 无损数据压缩.pdf

主要内容 数据压缩的基本原理和方法 数据压缩技术的性能指标 数据冗余的类型与压缩方法分类 常用数据压缩方法 数据压缩的基本原理和方 基本原理和方法 数据压缩的基本原理和方 法 法 信息的量度 1．信息的含义 在通信理论中，经常用到消息和信息的概念。 1) 消息 消息是由符号、文字、数字或语音组成的表达一定含义的一个序列， 如一份电报和报纸上的一段文字。消息是信息的载体，是表达信息的 工具。 2) 信息 信息是消息的内涵，是消息中的不确定性内容。 数据压缩的基本原理和方 基本原理和方法 数据压缩的基本原理和方 法 法 2. 信息的量度 1) 信息量及熵 (1) 信息量定义。设信源x 由属于集合Am ＝{a1,a2,…,am}的m个可能的 符号产生，若信源事件aj的概率为P(aj)，则定义事件aj的信息量I(aj) I(aj) ＝－log P(aj) 作为事件aj所包含的信息量的量度，称为自信息。 单位：取2为底的对数，则单位为比特(bit)； 取e为底的对数，则单位为奈特。 数据压缩的基本原理和方 基本原理和方法 数据压缩的基本原理和方 法 法 从信息量的定义可以看出，信息是事件aj的不确定因素的度量。 事件发生的概率越大，事件的信息量越小；反之，一个发生可能性很 小的事件，携带的信息量就很大，甚至使人们“震惊”。 例如：在32个数码中任选1个数码时，设每个数码选中的概率是 相等的，则 那么，任一数码的信息量为 1 P a ( j ) 32 1 5 I(a ) −lb lb2 5 bit j 32 基本原理和方法 数据压缩的基本原理和方法 数据压缩的基本原理和方法 (2) 信源的熵。一个通信系统并非只传送1个符号，而是多个符号，这 就需要定义整个信源符号的平均信息量的大小。 我们把自信息的统计平均值——数学期望 (2.1) m H(x) − P(a j )lbP(a j ) ∑ 即信源x 中每个符号的平均信息量，称为信源x 的熵。 j 1 当信源x 中的每个符号是等概率的且是独立的时候，平均信息量最大， 此时 ，j=1 ，2，…，m 代入式(2.1)得