信息论第六章率失真函数理论及限失真信源编码.ppt
一、变分法的定义与应用一、变分法的定义与应用一、变分法的定义与应用下面总结一下计算连续信源R(D)函数的步骤:一、变分法的定义与应用一、变分法的定义与应用15o将所有S的应取值选到,得所对应的和坐标值,从而得到函数曲线。以上推到仅从变分法入手,得到求解泛函极小值的目的,但是实际求解积分方程,并非易事。特别是想得到λ(x)和q(y)的严格解非常困难,通常都是采用数值解法得到近似解。不过实际应用也有特例,应用数学技巧可以简化求解方法。比如一些相对于失真函数为:时;有解析式!(留做习题!)一、变分法的定义与应用DR(D)0S(D)二、某些失真函数定义下的连续信源的率失真函数当d(x,y)=f(x-y)时:这种场合下,求泛函条件极值的问题,可以大大简化。§6.5连续信源的率失真函数二、特殊失真定义下连续信源的R(D)二、特殊失真定义下连续信源的R(D)这种场合下,求解积分方程问题就变成求两个函数卷积的问题。二、特殊失真定义下连续信源的R(D)如果当gs(x)和p(x)已知时,从两个函数的卷积关系中可以得到qo(x)的值,从而避免了求解积分方程的麻烦。但是一般性的求解卷积问题也不轻松,所以还要利用一些变换关系来继续简化。二、特殊失真定义下连续信源的R(D)§6.3离散信源率失真函数的计算所以此刻要使D=0;必有S=-∞。考虑普遍性,即在m*n个乘积项中只要有一项使得:下面再讨论当D=Dmax时S的值?有了以上讨论,就可以大致画出R(D)函数和斜率曲线S(D)形式。很明显在D=0处的斜率S将趋于无穷大,尤其对于连续信源其R(D)函数曲线将不予R轴相交。如虚线所示。而在D=Dmax处的斜率S常有从某一负值突跳到0,因而在这一点上S(D)曲线有时不连续,而其它定义域内均为D的连续函数。§6.3离散信源率失真函数的计算R(D);S(D)D0H(X)R(D1)D1Smax定义域是值域是。三、一般离散信源率失真函数的计算步骤:1o.给定信源特性及失真函数定义。2o.设定参数S和计算相关变量。§6.3离散信源率失真函数的计算§6.3离散信源率失真函数的计算3o.计算率失真函数的参量表达式(Parametricexpression):四、二元信源在对称失真函数定义下的率失真函数这样的条件下,我们称该信源为二元对称信源。BinarySymmetricSource---BSS由于此类信源的特殊性,故可以求得它的信息率失真函数的解析表达式:§6.3离散信源率失真函数的计算例6-4:我们按照上节所给出的求解步骤依次解答。§6.3离散信源率失真函数的计算第二步:求解参数方程解之:§6.3离散信源率失真函数的计算又根据所计算出的?i列出方程:其中的q为理想的输出分布。带入?i得联立方程组:§6.3离散信源率失真函数的计算解之:下一步带入参数表达式R(D):§6.3离散信源率失真函数的计算实际上对于这种最简单的离散信源,我们可以利用S和D的关系来消掉参数S,从而得到R(D)的解析式,但它仅是一个特例。§6.3离散信源率失真函数的计算我们只要将S和exp(?s)带入R(s)中就可得到R(D)函数的解析表达式:以下我们讨论该式的物理意义:§6.3离散信源率失真函数的计算此式表达了这样一种含义:由于第一项H(X)=H(Pi)反映出信源本身客观存在的信息率;而后一项H(D/?),则给出由于信宿可以容忍一定的失真,因而可需压缩的信息率。H(X)就是原有的信息率,减去由于容忍一定的失真D,而可以节省掉的信息率H(D),所剩下的就是必须要传送的信息率R(D)。第六章:限失真信源编码§6.4离散信源率失真函数的迭代算法(Theiterationalgorithmofrate-distortionfunctionfordiscretesource)一般来说求解R(D)函数并非易事,仅有某些特例方可得到R(D)函数的解析式,而绝大多数均由参量表达式给出。即使这种场合计算起来也很困难,因此我们大都借助计算机计算。因此求证R(D)函数的迭代算法公式是非常必要的环