第章 有失真信源编码.doc

有失真信源编码（信息率失真函数） 离散信源有失真编码 连续信源有失真编码 5.1信息率－失真函数的概念 在第２章我们证明了当输入随机变量的概率分布确定时，互信道是条件转移概率的下凸函数，即互信息必存在一个最小值。然而，在没有其它约束条件的情况下，这个最小值就是零。因为一方面互信息总是非负的，另一方面，当输入和输出随机变量相互独立时互信息等于零。所以研究一般情况下互信息的极小值问题没有什么意义。 无失真信源编码时，信源的熵是信息率所能达到的下限。在很多实际情况下，要做到完全没有失真是没有必要的，特别是对连续信源编码，由于信源的绝对熵无穷大，要达到无失真编码是不可能的。为此，我们有必要研究在满足某种失真准则下互信息的极小值问题，即信息率－失真函数。 首先看离散信源的情况。 设Ｘ和Ｙ是定义在相同取值域上的离散型随机变量。失真函数d(x,y) 是定义在上的非负函数 例如，可定义 （５.１.１） 其物理意义是当输入和输出相等时没有失真，当输入和输出不相等时失真是相同的。显然失真函数d(x,y)是对Ｙ代表Ｘ所引起失真的量度。失真函数的定义由所研究的客观问题决定。（５.１.１）式的失真函数称为汉明失真准则。 失真函数只定义了若干具体失真的数值，为了反映随机变量之间的总体失真情况，我们定义平均失真 （５.１.２） 对离散型变量 （５.１.３） 如果Ｘ和Ｙ都是Ｌ维随机矢量，可定义矢量间的失真为 （５.１.４） 平均失真 （５.１.５） 其中是第个分量的平均失真。 如果我们要求平均失真不大于某个定值Ｄ。令表示所有满足平均失真不大于Ｄ的条件概率矩阵Ｐ的集合，我们定义 （５.１.６） 为信息率－失真函数，或简称率失真函数。它表示在给定失真限度Ｄ条件下互信息的极小值。 在率失真函数的定义中涉及条件转移概率矩阵，似乎它也是表征率失真函数的参量，然而，率失真函数是表征信源的量，它只与信源和失真Ｄ有关，而与转移概率矩阵无关。如果把转移概率矩阵看成信道，我们把这些不同的信道称为试验信道，对不同的试验信道，失真和互信息是不同的，只有当试验信道使互信息达到最小时，这个最小值就是率失真函数的值。 为了理解率失真函数的实际意义，我们看如下有失真信源编码问题。 设有一个有2n个符号的等概率信源，失真函数是 当（５。１。２）式的汉明失真准则。可允许的平均失真Ｄ＝１／２。在无失真情况下，传送每个符号的信息率至少log2n。在有失真条件下我们采用下述编码方案： 这时平均失真不大于１／２。编码后信息率 显然，Ｒ小于原来的log2n。信息率压缩了，所付出的代价是容忍了１／２的平均失真。 现在的问题是，（１）在失真为１／２时，信息率能否更小，最小值是多少；（２）采用何种编码方式使信息率尽可能小。第一个问题是率失真函数的计算问题，实际上是有失真信源编码问题；第二个问题是怎样进行信源编码问题，即信源编码方法问题。实际上，信息率可以更小些，但编码方法要复杂得多。 5.2率失真函数的性质 5.2.1 Ｒ（Ｄ）函数的定义域i,j)组成一个失真矩阵 只要令对应于d(i,j)最小的p(j|i)=1，其它所有的都为零，可得 （５.２.１） 当且仅当失真矩阵中每行中至少有一个零时。通常情况下这是能够做到的。如果，只要改变单个符号的失真度，令就可以保证失真矩阵每行至少有一个零，使。对率失真函数来说，它只是起了坐标平衡的作用。所以假设并不失一般性。Ｄ＝０对应于无失真情况，这时应该有 但是上式成立是有条件的，它与失真矩阵的形式有关。 只有当失真矩阵中每行至少有一个零，并且每列最多只有一个零时，。 否则Ｒ（０）小于Ｈ（Ｘ），这表示对信源符号集中有些符号进行压缩、合并，但没有引入失真（在具体的失真准则之下）。 失真函数的上限 定义域的上界定义为 （５.２.２） 必有。由于 所以 令，只要令对应于最小的q(j)等于1，那么 （５.２.３） 5.2.2 Ｒ（Ｄ）函数的下凸性 定理５.２.１ 率失真函数是定义域上的下凸函数 证明 （１）Ｒ（Ｄ）函数的定义域是凸域。令 由率失真函数的定义 其中是使互信息达到极小值的信道转移概率，对应的平均失真。 其中是使互信息达到极小值的信道转移概率，对应的平均失真。 作，对应的平均失真 因此，即定义域是凸的。 Ｒ（Ｄ）函数的下凸性。由率函数的定义和互信息的下凸性 证毕。 5.2.3 Ｒ（Ｄ）函数的单调递减性和连续性。 Ｒ（Ｄ）函数的单调递减性 R(D)函数的递减性由定义直接得到，其单调递减性可以通过Ｒ（Ｄ）函数的下凸性来证明。 Ｒ（Ｄ）函数的连续性 由互信息的连续性可以得到Ｒ（Ｄ）函数的连续性。