第六章有噪信编码定理.ppt

理信学院 孙桂萍 有噪信道编码定理 信道编码的目的 从信道编码的构造方法看，信道编码的基本思路是根据一定的规律在待发送的信息码中加入一些人为多余的码元，以保证传输过程可靠性。信道编码的任务就是构造出以最小多冗余度代价换取最大抗干扰性能的“好码”。 信道的统计特性 错误概率与信道的统计特性有关，而信道的统计特性可由信道的传递矩阵描述。 二元对称信道，错误的传递概率为p，正确的为1-p： 错误概率与译码规则的关系 错误概率不仅与信道的统计特性有关，还与接收端的译码规则有关。 因为是对称信道，那么发送“1”，错译成“0”的概率也为2/3。 在此译码规则下，平均错误概率——PE 这里，假设输入端等概率分布。 译码规则 数学定义：设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B={bj}，j=1,2,…,s。制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应。 每一个输入符号可以对应于多个输出符号，也就是s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs种译码规则。 译码规则举例 例6.1：有一离散单符号信道，信道矩阵为： 平均错误概率 译码规则的选取原则是使得平均错误概率尽可能小。 在确定了译码规则F(bj)后，若 收到的为bj ，译成ai，发送的是ai——正确 收到的为bj ，译成ai，发送的不是ai—错误 条件正确概率为： 条件错误概率为： 平均错误概率 平均错误概率PE应是条件错误概率对所有的Y求统计平均。 最大后验概率准则 最大后验概率准则另一种描述 因为一般已知传递概率 和输入符号的先验概率 ，所以将 根据贝叶斯定律改写为： 最大似然译码准则 若输入符号的先验概率 均相等，则1式可写为： 数学描述： 选择译码函数： 平均错误概率的计算 例题6.2 已知信道矩阵如下，根据最大似然译码选取译码规则，并计算平均错误概率。若输入不等概，概率分别为1/4，1/4，1/2，比较按照最大似然译码准则和最大后验概率准则选取的译码规则的PE 费诺不等式 平均错误概率与译码规则有关，而译码规则又由信道特性决定，由于错误的存在，所以当收到某符号后对发送端仍存在不确定性。可见，PE与信道疑义度有关： * *电信学院 汪汉新 主要内容 错误概率和译码规则 最大后验概率准则 最大似然译码准则 错误概率与编码方法 最小距离译码准则 0 1 0 1 信道矩阵 0 输入 1 0 输出 1 1/3 2/3 二元对称信道 2/3 1/3 译码规则a： 收到“0”译成“0”；收到“1”译成“1” 在规则a确定的情况下，错误概率为： 发送“0”，收到“0”，译成“0”——正确的译码，译码正确的概率为1/3； 发送“0”，收到“1”，译成“1”——错误的译码，译码错误的概率为2/3 译码规则b： 收到“0”译成“1”；收到“1”译成“0” 在规则b确定的情况下，错误概率为： 发送“0”，收到“1”，译成“0”——正确的译码，译码正确的概率为2/3； 发送“0”，收到“0”，译成“1”——错误的译码，译码错误的概率为1/3 0 输入 1 0 输出 1 1/3 2/3 二元对称信道 2/3 1/3 在此译码规则下，平均错误概率——PE 可见，译错的可能性减少，译对的可能性增加了。 针对于这种信道，设计两种译码规则： 为了是PE尽可能的小，对于“=”右侧的每个求和项都是非负的，所以应使得每个项尽量的小，而且译码规则只影响条件错误概率，对P(bj)没有影响，所以应选取译码规则使得条件错误概率尽量的小，那么也就是寻找条件正确概率尽量的大。 数学描述 选择译码函数： 并使之满足条件 文字描述 采用一个译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道错误概率能达到最小，这种译码规则称为最大后验概率准则或最小错误概率准则。 一般P(bj)不等于0，最大后验概率可表示为：选择译码函数： 使满足 1式 并满足： 文字描述 选择译码函数，收到bj后，译成信道矩阵P的第j列中最大那个元素所对应的信源符号。 注意：最大似然译码准则对于先验概率等概率分布时才可使得错误概率PE最小。 求和：可先列后行或先行后列，也就是说对于联合概率矩阵中可先求每列中除去 所对应的以外所有元素，再对各列求和；也可以先对行i求和，除去译码规则中 所对应的 ，然后再对