第七章：信息率失真函数与限失真信源编码.ppt

本章研究内容 概述 失真的度量 信息率失真函数 限失真信源编码定理 限失真信源编码定理应用 实用型信源编码 香农三大定理的关系和比较 §7.1:概述－1 无噪信道编码定理回顾： 总可以找到一种输入分布（信源编码方法），使在无噪无损信道上，能够以信道容量C无误地传输信息。 §7.1:概述－2 有噪信道编码定理回顾： 只要RC，总可以找到一种信道编码方法，使在信道上能够以尽可能小的PE传输信息。 §7.1:概述－3 存在问题 对于连续和模拟信源H(S)=∞ 信道传输率R=H(S)/n（比特/码符号） R= ∞ 平均码长l=Hr(S)=H(S)/logr, l= ∞, 实际上，因为B有限，C一定有限，RC §7.1:概述－4 实际需求特点： 信宿对真实度的要求： 实际语音信号： 20Hz~8KHz 人耳能够分辨： 300Hz~3400Hz 图象色差：可达足够多 视觉分辨：256级（黑白）已足够 可以允许一定的失真度 完全保真没必要 §7.1:概述－5 引出的研究内容 限失真的信源编码问题 允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？） 一定的信息传输率R下，可能达到的最小的平均失真是多少？ 相关问题 失真如何度量？ 率失真函数如何计算？ §7.1:概述－6 方法： 抽象：将与讨论重点关系小的部分抽象 因为涉及信源编码，对信道进行抽象 信道编码→信道→信道译码 信道* 研究失真影响时，“信道*”可以忽略 根据信道编码定理 ： 信道*是一个没有干扰的广义信道，信宿收到信息的失真只来自于信源编码 §7.1:概述－7 方法： 虚拟：将讨论重点虚拟细化 将限失真信源的编译码过程虚拟 信源编码过程→信道* →信源译码过程 试验信道 可以用信道传递概率来描述限失真信源编译码前后的关系 §7.2:失真的度量－1 失真度定义 平均失真度 保真度准则 试验信道 §7.2:失真的度量－2 失真度定义 在U,V联合空间上定义： d（ui，vj），ui∈U，vj∈V 为U,V的失真测度。 d（ui，vj）有距离的概念 性质1：ui=vj时，d=0 性质2：min d=0 性质3：0d ∞ §7.2:失真的度量－3 失真度定义 0, ui=vj 离散信源：用失真矩阵描述。dij= 0, ui≠ vj 0, ui=vj 汉明距离度量时：dij= 1, ui≠ vj 连续信源：用失真函数描述。d(u,v)=(u-v)2 =|u-v| §7.2:失真的度量－4 平均失真度 单符号失真度： d（ui，vj）≥ 0，（i=1~r，j=1~s） 信源的失真矩阵可表示为： 共r×s个元素 §7.2:失真的度量－5 平均失真度 平均失真度： ∵U，V是随机变量；∴ d（ui，vj）也是随机变量 平均失真度： §7.2:失真的度量－6 平均失真度 confer :d d：描述了某个信源符号通过传输后失真的大小， 不同的信源符号，其d不同。 ：描述了某一个单符号信源在某一试验信道传输 下的失真，它不仅与单个符号的d有关，还与 试验信道的统计特性有关。 §7.2:失真的度量－7 平均失真度 N维信源符号序列的平均失真度： 此时D为一 rN×sN阶的矩阵 与： d（u，v）、p(u)、p(v|u)、N均有关 §7.2:失真的度量－8 平均失真度 N维信源符号序列信源平均失真度 信源、信道均无记忆时： 信源平稳时： §7.2:失真的度量－9 保真度准则 给定D，若 ≤ D，则称此为保真度准则 对于序列信源，保真度准则为： ≤ ND §7.2:失真的度量－10 试验信道： P(v|u)不是实际的信道特性矩阵，在此相当于不同的编码方法，编码方法不同， 不同