第七章 信源与信源编码II.ppt

7.7 信息率失真R(D)函数 允许失真D和试验信道集合PD 人们对信息传输的失真有要求，这个要求就是允许失真D 当信源确定（P(X)已知），允许失真度D也给定时，选择信道使平均失真小于允许失真。凡满足要求的信道称为D失真许可的试验信道，简称试验信道，所有试验信道的集合就是PD 7.7 信息率失真R(D)函数 互信息I(X;Y)的性质 性质1：互信息I(X;Y)是先验概率P(X)的上凸函数，研究信道容量时用到 性质2：互信息I(X;Y)是信道转移概率概率P(Y|X)的下凸函数，研究信息率失真函数时用到 7.7 信息率失真R(D)函数 信息率失真函数R(D) 在信源和允许失真给定以后，PD是满足允许失真的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj|xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即 这个最小值R(D)称为信息率失真函数，简称率失真函数 7.7 信息率失真R(D)函数 信息率失真函数R(D)的性质 可以证明：R(D)是关于允许失真D的单调递减的下凸函数 7.7 信息率失真R(D)函数 信息率失真函数的物理意义 信息率失真函数是在满足保真度条件下，信宿必须获得的平均信息量的最小值，是信源必须输出的最小信息率 信息传输速率本质上是描述信源特性的，因此R(D) 也应该是仅仅用于描述信源 若信源消息经无失真编码后的信息传输速率为R，则在保真度条件下信源编码输出的信息率就是R(D)，且 说明在保真度条件下信源编码比无失真情况得到了压缩，同时R(D)是保真度条件下对信源进行压缩的极限值，亦即信源信息率可压缩的最低限度，它仅取决于信源特性和保真度要求，与信道特性无关 7.7 信息率失真R(D)函数 补充内容：信道容量问题 信道容量和信息率失真函数都是求互信息I(X;Y)的极值问题，有相仿之处，故常称为对偶问题 平均互信息I(X;Y)是信源概率分布P(X) 的上凸函数，根据上凸函数定义，如果I(X;Y)在定义域内对P(X)的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下(P(yj|xi)确定)，求平均互信息极大值的问题，即 7.7 信息率失真R(D)函数 补充内容：信道容量问题 信道容量C只与信道情况，即信道的条件转移概率p(yj|xi) 有关，反映信道特性，与信源特性无关 由于平均互信息与信源的特性有关，为了排除信源特性P(X)对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考。所以信道容量仅与信道特性有关，信道不同，C亦不同 7.7 信息率失真R(D)函数 研究信息率失真函数和信道容量的意义 研究信息率失真函数：为了解决在已知信源和允许失真度D的条件下，使信源必须传送给信宿的信息率最小。即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性。这是信源编码问题 研究信道容量：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题 7.8 限失真信源编码定理 限失真信源编码定理 设有一离散平稳无记忆信源，若该信源的信息率失真函数是R(D)，对于任意允许平均失真D≥0，和任意小的ε0，若实际传输信息率RR(D) ，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真d≤D+ε；反之，若RR(D)，则无论用什么编码方式，必有dD 该定理可以推广到连续平稳无记忆信源 7.8 限失真信源编码定理 限失真信源编码定理 理解1：信息率失真函数R(D)是一个界限，只要实际传输信息率R大于这个界限，就可以通过信源编码技术将译码失真限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。 理解2：限失真信源编码的方向是寻求与信源的信息率失真函数R(D)相匹配的编码，即R?R(D)；这与无失真信源编码相似，后者寻求与信源信息熵匹配的编码，即R?H(X)=R(D=0) 7.8 限失真信源编码定理 实现限失真信源编码的两类方法 1.适应信源方法，即寻找适应信源的客观概率统计特性的编码方法。如充分考虑信源消息序列的各消息变量（或各取样值）之间的相关性，进行矢量量化编码 2.改造信源方法，即通过改造信源解除信源消息序列的各消息变量（或各取样值）之间的相关性。如预测编码和变换编码 7.9.5 矢量量化 标量量化的问题 没有充分利用信源消息序列中各个样值之间的相关性，编码之后的信息率通常较高 矢量量化的思路 充分利用信源消息序列中各个样值之间的相关性，通过联合量化，可以大幅度降低编码后的信息率，提高编码效率 7.9.5 矢量量化 基本原理 将模拟信号抽样序列中的每K个样值分为一组，构