第2章无失真信源编码.ppt

第二章 无失真信源编码;第二章 无失真信源编码;第二章 无失真信源编码;第二章 无失真信源编码;2．1 信息量、熵和互信息量 ;条件概率 联合概率 ;必须掌握的概率论知识;必须掌握的概率论知识;一个离散无记忆信源是由n个符号消息组成的集合:X={ x1，x2 · · · xn }，这n个符号消息的概率分布为了： 称为符号xi 的先验概率, 散信源数学模型表示为： 称为概率空间, 其中 从概率的角度看，可以将符号消息 xi 看一个随机事 件。因此 xi 具有不确定性。 ;2．1 信息量、熵和互信息量;一、自信息量 1) 函数 I(x i) 的属性 1o 若有两个事件x i ，x j ，其先验概率为 p(x i) ＜p(x j)，则事件x i 比事件x j 有更大的不确定性，同时会带来更多的信息量； I(xi ) I(xj ) 2o 事件x i 先验概率 p(xi) = 1 （确定事件）, 则不存在不确定性，同时不会带来信息量； I( xi ) = 0. 3o 事件x i 先验概率 p(xi) = 0（不可能事件）, 则存在不确定性应为无穷大，同时会带来无穷的信息量； I(xi) →∞. 4o 两个统计独立事件的联合自信息量应等于它们各自信息量之和; 则 I( x y ) = I( x )＋I( y );2) 定义 一个符号消息 xi 的自信息量为其发生概率的对数的负数，并记为 I(xi)： I (xi) = －log p(xi) ? 当p(xi)=0，则 I(xi)→∞；当p(xi)=1，则 I(xi)=0. 3) 自信息量的单位 自信息量的单位与所用对数的底有关： 1o 对数的底是2 时，单位为比特 — bit(binary unit) 2o 对数的底是 e (自然对数)时，单位为奈特 — nat(nature unit) 3o 对数的底是10(常用对数) 时，单位为笛特或哈特 — det (decimal unit) or Hart (Hartley);三种信息量单位之间的换算： 1 det = log2 10 ≈ 3.322 bit 1 bit = ln 2 ≈ 0.6931 nat 1 bit = lg 2 ≈ 0.3010 det 1 nat = log2 e ≈ 1.4427 bit 在信息论中常用以2为底的对数，为了书写方便，以 后将log2书写为log，因其单位为比特bit，不会产生混淆； 注意 有些文献将log2书写为 lb 4) 自信息量的含义 是随机量、根据单个符号消息的先验概率确定其信息 量和不确定度。 ;二、离散信源熵 信源 X 发出某一个符号提供的信息量不适合描述信源X发出一个符号提供的信息量。 定义 信息源的平均不确定度为信源中各个符号不确定 度的数学期望，记作H (X) 其中 H(X) 又称为信源X的信源熵。 ;2) H(X) 的含义 1o 表示的是信源的平均不确定度。 2o 表示信源 X 发出一个符号提供的平均信息量。 3o 是统计量、数学期望（统计平均）、各个符号平均不 确定度和平均信息量。 ? 3) 信源熵单位： 二进制: bit/信源符号，或bit/信源序列 十进制: det/信源符号，或det/信源序列 e进制: nat/信源符号，或nat/信源序列 ? ;4) 信源熵的三种特殊情况 1o 当 p(xi)=0 时（p(xi)→0），则 p(xi) log p(xi)=0 2o 信源 X = { x1，x2 · · · xn } ，若其中xi 的概率p(xi)=1 则其余 xj 的 p(xj) =0，因为 则 H(X)=0 bit / 信源符号 3o 当信源中X所有n个符号均有相同的概率 p(xi)=1/n， 则 H(X)= -(1/n)log(1/n) = log n bit / 信源符号 ;2o 联合熵（共熵） 联合熵是联合符号集合XY上的每个元素对xi , yj的自信息量的概率加权的统计平均值。 3o 条件熵与联合熵的关系 I(