信息论第六章有噪声编码详解.ppt

* 第6章 有噪信道编码 第6章 有噪信道编码 内容提要 本章介绍了信道编码和译码的基本概念，介绍了两种常用的译码准则：最大后验概率译码准则和极大似然译码准则,还介绍了在这两种译码准则下错误概率的计算方法。 本章还介绍了信道编码定理及信道编码逆定理，以及信息论中的一个重要不等式Fnao不等式。 6．1 信道编码的基本概念 将信道用图6-1所示的模型表示。 信道编码器 信道 信道译码器 u x y 图6-1 信道模型 信源输出序列u，经信道编码器编成码字x = f (u) 并输入信道，由于干扰，信道输出y，信道译码器对y估值得 = F (y) 。 信源编码以提高传输效率作为主要考虑因素，信道编码以提高传输可靠性作为主要考虑因素。 【例6.3】 逆重复码 离散无记忆二进制对称信道，固有误码率为p (p0.5)，信源输出序列为三位二进制数字。 编码规则：为提高传输效率，仅向信道发送一位，预先将信源输出序列进行择多编码: 图6-3 逆重复编码传输示意图 译码规则：将接收的 一位符号重复三次译出，即若接收到1就译码为111，即若接收到0就译码为000。 信源输出的三位符号中有两位或3位是1，信源序列编码为1，若三位符号中有两位或3位是0，就将此信源序列编码为0。 计算差错概率pe ： （1）先设p = 0，计算这种编码方法带来的固有错误p1信道输入符号集 X = {000,001,010,011,100,101,110,111} 判决输出符号集Y = {000,111} 译码规则 因为后验概率 则出错概率 两个估值序列也是等概分布的，则每个序列的平均错误概率为 误比特率 （2）再设p≠0，计算由于信道噪声引起的错误概率p2。因为每个序列有三位二进制数字，但只发送一位，这一位的出错概率为p，故序列差错概率为p，误比特率 （3）总差错概率（误比特率）： 6．2 译码规则及错误概率 信道总不可避免会搀杂噪声，所以信息在信道传输过程中，差错是不可避免的。选择合适的译码规则可以弥补信道的不足。 1．最大后验概率译码准则 发送码矢xk ，其发送概率为q(xk) ，通过信道转移概率为 p(y︱xk)的信道传输，接收到矢量y，信道译码器输出 通信过程可用图6－5所示框图表示。 下面介绍两种典型的译码规则： 图6－5 通信过程框图 当估值 ≠xk 时，就产生了误码，用?（x︱y）表示后验概率，则收到y估错的概率为 （6-2） 通信总希望错误概率最小，由式(6-2)可看出错误概率pe (xk ) 最小等同于后验概率?（xk︱y）最大，这就是最大后验概率译码准则。 { } {xk} {y} 信源 信道编码器 信道 信道译码器 信宿 干扰 根据概率关系式 （6-3） 根据式（6-3）后验概率?（x︱y）最大的就意味着p（x y）全概率最大，因此最大后验概率译码准则也称为最大联合概率译码准则。 【例6.5】 信源分布 ，信道 转移概率矩阵 ， 信道输出符号Y = {y1, y2, y3}，按最大后验概率准则译码。 (1)根据p (xy) = p (y︱x) q(x) 算出全概率，用矩阵表示 (2)根据 ，算出 [?（y）] = [0.38 0.34 0.28] (3)再由 算出后验概率，用矩阵表示 (4)按最大后验概率准则译码，在后验概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为 (5)若按最大联合概率译码准则译码，在全概率矩阵[ p(xy)]中每列选一最大值（矩阵中带下划线的值），也可译出 。 在实际应用中，一般最大信道转移概率来确定估值 ，即在收到矢量y后，在所有的xm (m =1, 2, …, M) 中,选一个 转移概率p(y︱xm)最大的xm值，作为对y的估值 = xk ，这一译码规则称为极大似然译码规则。 2．极大似然译码准则 3．平均错误概率 由下式是信