信息论 基础理论与应用第三版(傅祖芸) 第六章 讲义.ppt

* * 第6章 有噪信道编码定理 6.1 错误概率与译码规则 6.2 错误概率与编码方法 6.4 有噪信道编码定理 6.5 联合信源信道编码定理 前面已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，信息传输会造成损失。 那么在有噪信道中怎样能使消息传输发生的错误最少？进行无错传输的可达的最大信息传输率是多少呢？ 这就是本章所要讨论的问题。本章的核心是香农第二定理。 6.1 错误概率与译码规则 为了减少传输错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制？能控制到什么程度？ 一般地，错误概率与如下因素相关： 信道的统计特性 译码规则 例：有一个BSC信道，如图所示 若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率为： 反之，若收到“0”译作“1”，收到“1”译作“0”，则平均错误概率为 可见错误概率与译码规则有关。 0 1 0 1 1/3 1/3 2/3 2/3 0 1 译码 信源 P(0) P(1) 译码规则： 输入符号集 输出符号集 译码规则 例：某信道转移矩阵 可以设计译码准则： A： 和 B： 总的译码规则数目 信道的s个输出符号的每一个译码输出有 r 种选择，因此，总的 译码规则总数为 译码规则的选择依据 一个自然的依据就是使平均错误概率最小。 为了选择译码规则，需要计算平均错误概率。 平均错误概率分析： 译码规则确定后，设信道输出端收到 时一定译为 。 如果发送端刚好发送的就是 ，则为正确译码，译码的条件正确概率为： 而错误译码的概率为收到 后翻译为 ，但发送端实际上发送的却不是 ，则为错误译码，其条件错误概率为： e表示：除了 以外的所有输入符号的集合。 则可得平均错误译码概率： 它表示经过译码后平均每收到一个符号所产生错误的大小，也称平均错误概率。 条件正确概率 如何设计译码规则 ，使平均错误概率最小？ 最小错误概率准则（最大后验概率准则） 条件错误概率 满足关系： 因此应选择译码规则 也即收到一个符号以后译成具有最大后验概率的那个输入符号。 决定于译码规则 i为待定 根据贝叶斯定理，上式可写成 当信源等概分布时，则最小错误概率准则变为 这称为最大似然译码准则，方法是收到一个 后，在信道矩阵的第j列元素中选择最大的值所对应的输入符号作为译码输出。 最大似然译码准则 即 当译码规则确定后，可进一步计算平均错误概率： 平均错误概率的计算 信道传递概率 平均正确概率 上式中，平均错误概率计算是在联合概率矩阵[P(ai)P(bj|ai)]中： 1）先求每一列除去F(bj)=a*所对应的P(a*bj)以外的元素之和； 2）然后，对所有列求和。 （选讲）当然，也可以对联合概率矩阵[P(ai)P(bj/ai)]中： 1）先求每一行中除去F(bj)=ai*所对应的P(aibj)以外的元素之和; 2）然后，对各行的和求和。 如果先验概率相等，则： 某个输入符号ai传输引起的错误概率 即： 具体计算如下： 例：某信道 1）若根据最大似然准则选择译码函数为B： 若输入等概率，则平均错误概率为 若输入不等概分布 ，则错误概率为： 2）采用最小错误概率译码准则，则联合矩阵为： 所得译码函数为：C： 平均错误概率： 6.2 错误概率与编码方法 一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。 例：对于如下二元对称信道 0 1 0 1 0.99 0.99 0.01 0.01 按照最大似然准则译码， 如何提高信道传输的正确率呢？可用重复消息的方法，即尝试扩展信道的方法。 未用的码字 （禁用码字） 001 010 011 100 101 110 用作消息的码字（许用码字） 000 （表示0） 111 （表示1） 输出端 接收序列 000 001 010 011 100 101 110 111 二元对称信道的三次扩展信道 则信道矩阵为： 根据最大似然译码准则，当p=0.01，可得译码函数为： F(00