武汉理工大学第二章辅导信息理论编码分析报告.doc

第5章 有噪信道编码 5.1 基本要求 通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则：最佳译码规则和极大似然译码规则。掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。 5.2 学习要点 5.2.1 信道译码函数与平均差错率 5.2.1.1 信道译码模型 从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F。信道译码模型如图5.1所示。 图5.1 信道译码模型 5.2.1.2 信道译码函数 信道译码函数是从输出符号集合到输入符号集合的映射： ， 其含义是：将接收符号译为某个输入符号。译码函数又称译码规则。 5.2.1.3 平均差错率 在信道输出端接收到符号时，按译码规则将译为，若此时信道输入刚好是，则称为译码正确，否则称为译码错误。 的译码正确概率是后验概率： （5.1） 的译码错误概率： （5.2） 平均差错率是译码错误概率的统计平均，记为： （5.3） 5.2.2 两种典型的译码规则 达到最小的译码规则称为最佳译码规则。这种规则是按后验概率最大原则定出的，所以又称最大后验概率译码规则。 （5.4） 上式中最大后验概率条件可等价成最大联合概率条件。 将两边乘以，变换为。 因此，最佳译码规则又可表示成： （5.5） 因为使用最大联合概率条件，所以又称为最大联合概率译码规则。 5.2.2.2 极大似然译码规则 按最大转移概率条件来确定的译码规则，称为极大似然译码规则： （5.6） 虽然极大似然译码规则的平均差错率不是最小，不是最佳的，但最易找出。 可以证明，当信道输入等概时，极大似然译码规则与最大联合概率译码规则等价，此时极大似然译码规则也是最佳的。 5.2.3 信道编码对平均差错率和信息率的影响 信道编码（或称纠错编码）是靠增加冗余码元来克服或减轻噪声影响的。冗余是相对于信息的表示而言，但是对提高传送可靠性来说，冗余码元却提供了极宝贵的可靠性信息。 以下以两种简单信道编码方法来说明信道编码对平均差错率和信息率的影响。 5.2.3.1 “简单重复”编码 日常中人们可以通过重复某句话使别人听得更清楚。数字通信中，将符号重复传几次，也会提高传送可靠性。例如，“重复2次”编码，如图5.2所示。 图5.2 “重复2次”编码 编码规则为 扩展信道的转移矩阵为 按极大似然译码规则得译码函数： 即 信道编码之后的信息率为 /码元 （5.7） 若信源等概率分布，则 /码元 （5.8） 其中代表信源消息（符号）个数。 无编码 /码元 “重复2次”编码 /码元 /码元 /码元 随着“重复”次数的增加，下降，但也跟着下降。即信息传输的有效性和可靠性是矛盾的。 5.2.3.2 对符号串编码 对信源的符号串进行编码，即增多消息个数，同时增大码长，有可能使平均差错率降低到要求的范围以内，而又能使信息率降低得不多。 例如，取（2次扩展信源）、。4个消息记为 编码函数为 译码采用极大似然规则。编译码示意图见图5.3所示。 图5.3 、 的编译码示意图 编码后的信息率和平均差错率分别为 /码元 与“重复2次”编码相比，略有增加，处在同一数量级。因此，增大码长和适当增多消息个数，对兼顾（可靠性）和（有效性）的要求是有效的。 5.2.4 最小汉明距离译码规则 5.2.4.1汉明距离 两个等长符号序列和之间的汉明距离，记为，是与之间对应位置上不同符号的个数，用来定量描述符号序列之间的“相似”程度。 5.2.4.2汉明距离与信道编码性能的关系 码是码字的集合，码字则是由码元组成的符号序列。假如是等长码，则中任意两个不同码字之间的汉明距离或码间距离为 码的最小码间距离定义为 最小码间距离是衡量码的性能的重要参数，码的小，说明其中有些码字受干扰后容易变为另一码字，译码时就会出错。因此，信道编码在选择码字时，应尽量使码的最小码间距离大一些为好。 对于二元对称信道，设信源有个消息，输入和输出符号集分别为和，其次扩展信道的入口符号集和出口符号集中都含有个长二元符号串，即 从中选择个符号串当作码字组成码： 按极大似然译码规则进行译码时，可以推导出等价于以下规则，称为最小（汉明）距离译码规则： （5.9） 其