信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习.pdf

山东大学 期末考试知识点复习 第六章 有噪声道编码定理与纠错码 6．1．1 译码准则 在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择的 译码准则有关，也与信道编码所选码字有关。 3 ．最小距离译码准则 (1)汉明距离 码字α 和输出序列β 之间对应位置上不同码元的个数，记为D( α，β) ， i j i j 称汉明距离。对于二元信道(二元码)汉明距离为 山东大学 期末考试知识点复习 在二元对称信道中最小距离译码准则等于最大似然译码准则。而在其他信道 中，它们不一定相等。 6．1．2 平均错误概率 最小错误概率译码准则使 PE 最小。最大似然译码准则本身只与信道传递概 率有关，不再依赖先验概率P( α)(或P(a )) ，但不一定能使P 最小。最大似然译 i i E 码准则只有在输入符号等概率分布时 PE 才达最小，此时他与最小错误概率译码 准则是等价的。 6．1．3 费诺不等式 6．1．4 信道编码的编、译基本原则 山东大学 期末考试知识点复习 主要讨论二元对称无记忆信道。 1．编码原则 在n 次扩展信道输入符号α 中选取M 个码字组成一组码书C，应尽量使选 i 取的M 个码字中任意两不同码字的汉明距离尽可能地大。 2 ．译码原则 采用最大似然译码准则，即当收到β 后，译成与之汉明距离为最近的那个 j * 码字α 。 遵照上述编、译码原则，可做到保持一定信道信息传输速率(码率)R ，而使 PE 尽可能地小。 6．1．5 联合ε典型序列 山东大学 期末考试知识点复习 6．1．6 有噪信道编码定理及其逆定理 1．定理及其逆定理 有噪信道的信道容量为C，若信息传输率RC ，只要码长n 足够长，必存在 一种信道编码和相应的译码规则，使译码平均错误概率 PE 为任意小。反之，若 RC 则不存在以R 传输信息而PE 为任意小的码。 山东大学 期末考试知识点复习 此定理可推广到有记忆信道、连续信道、波形信道中。只是与研究信道容量 一样，在连续情况下需对输入信源加入某些限制条件。 2 ．有噪信道编码与抗干扰能力 有噪信道编码定理及其逆定理论证了，任何信道的信道容量是一个明确的分 界点。当RC 并接近C 时，总能克服和消除信道中干扰和噪声引起的错误，达 到可靠地传输信息。证实了任何信道中信道容量 C 是可达的、最大的可靠信息 传输速率。 有噪信道编码定理从理论上指出了任何信道，信息传输速率接近于 C 的最 优抗干扰编码是存在的、可能的。它对实际信息传输工程有着重要的理论指导意 义。 6．1．7 信源信道编码定理 1．信源信道编码定理 某离散信源的极限熵H∞，离散信道容量为C，若H∞C ，则存在信源和信道 编码，其 P →0 。反之，H∞C ，不存在信源和信道编码，使无失真地传输信源 E 信息。 注意：连续信道在某限制下(如功率、频带)信道容量是有限的，但连续信源 的信息熵H 是无穷大(非差熵) ，所以对于连续信源和信道总不可能做到无失真地 传输。 2 ．信源信道编码定理的实际工程意义 定理指出，在单用户数字通信实际工程中可做到有效可靠(无失真)地传输信 源信息。