率失真函数理论及限失真信源编码.ppt

§6.3离散信源率失真函数的计算则，对上式两边对S求导：再对两边同乘qj并对j求和得：第30页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算所以S一定是D的具有严格递增和下凸性的函数。因为在R(D)的性质讨论中R(D)具有严格递减和下凸性：下面我们再讨论当D＝0时和D＝Dmax时S的值？第31页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算所以此刻要使D＝0；必有S＝－∞。考虑普遍性，即在m*n个乘积项中只要有一项使得：下面再讨论当D＝Dmax时S的值？第32页，共71页，星期日，2025年，2月5日有了以上讨论，就可以大致画出R(D)函数和斜率曲线S(D)形式。很明显在D＝0处的斜率S将趋于无穷大，尤其对于连续信源其R(D)函数曲线将不予R轴相交。如虚线所示。而在D＝Dmax处的斜率S常有从某一负值突跳到0,因而在这一点上S(D)曲线有时不连续,而其它定义域内均为D的连续函数。§6.3离散信源率失真函数的计算R(D);S(D)D0H(X)R(D1)D1Smax定义域是值域是。第33页，共71页，星期日，2025年，2月5日三、一般离散信源率失真函数的计算步骤：1o.给定信源特性及失真函数定义。2o.设定参数S和计算相关变量。§6.3离散信源率失真函数的计算第34页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算3o.计算率失真函数的参量表达式(Parametricexpression)：四、二元信源在对称失真函数定义下的率失真函数这样的条件下，我们称该信源为二元对称信源。BinarySymmetricSource---BSS由于此类信源的特殊性，故可以求得它的信息率失真函数的解析表达式:第35页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算例6-4：我们按照上节所给出的求解步骤依次解答。第36页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算第二步：求解参数方程解之:第37页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算又根据所计算出的?i列出方程：其中的q为理想的输出分布。带入?i得联立方程组：第38页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算解之：下一步带入参数表达式R(D)：第39页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算实际上对于这种最简单的离散信源，我们可以利用S和D的关系来消掉参数S，从而得到R(D)的解析式，但它仅是一个特例。第40页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算我们只要将S和exp(?s)带入R(s)中就可得到R(D)函数的解析表达式：以下我们讨论该式的物理意义：第41页，共71页，星期日，2025年，2月5日§6.3离散信源率失真函数的计算此式表达了这样一种含义：由于第一项H(X)=H(Pi)反映出信源本身客观存在的信息率；而后一项H(D/?)，则给出由于信宿可以容忍一定的失真，因而可需压缩的信息率。H(X)就是原有的信息率，减去由于容忍一定的失真D，而可以节省掉的信息率H(D)，所剩下的就是必须要传送的信息率R(D)。第42页，共71页，星期日，2025年，2月5日第六章：限失真信源编码§6.4离散信源率失真函数的迭代算法(Theiterationalgorithmofrate-distortionfunctionfordiscretesource)一般来说求解R(D)函数并非易事，仅有某些特例方可得到R(D)函数的解析式,而绝大多数均由参量表达式给出。即使这种场合计算起来也很困难,因此我们大都借助计算机计算。因此求证R(D)函数的迭代算法公式是非常必要的环节，本节将导出一种常用的计算机迭代算法。注意：当给定参量S后,可以证明：第43页，共71页，星期日，2025年，2月5日§6.4离散信源率失真函数的迭代算法此式表达了这样一种含义：可以把Pji和qj分别看成是独立的变量看待；而使F为极小，从而所求得的P*ji和q*j为最佳分布。下面我们就可推导R(D)函数的迭代公式。因为F(S,Pji,qj)是Pji和q