信息论与编码 第五章曹雪虹习题答案.doc

5-1 将下表所列的某六进制信源进行二进制编码，试问： 消息 概率 u1 u2 u3 u4 u5 u6 1/2 1/4 1/16 1/16 1/16 1/16 000 001 010 011 100 101 0 01 011 0111 01111 011111 0 10 110 1110 11110 111110 0 10 1101 1100 1001 1111 1 000 001 010 110 110 01 001 100 101 110 111 这些码中哪些是唯一可译码？ 哪些码是非延长码？ 对所有唯一可译码求出其平均码长和编译效率。 解：首先，根据克劳夫特不等式，找出非唯一可译码 不是唯一可译码，而： 又根据码树构造码字的方法 ，，的码字均处于终端节点 他们是即时码 5-2 (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为bit/ms=200bit/s (2) 信源熵为 H(X)= =0.198bit/ms=198bit/s 5-5 (1) H(U)= (2) 每个信源使用3个二进制符号,出现0的次数为 出现1的次数为 P(0)= P(1)= (3) (4) 相应的香农编码 信源符号xi 符号概率pi 累加概率Pi -Logp(xi) 码长Ki 码字 x1 1/2 0 1 1 0 x2 1/4 0.5 2 2 10 x3 1/8 0.75 3 3 110 x4 1/16 0.875 4 4 1110 x5 1/32 0.938 5 5 11110 x6 1/64 0.969 6 6 111110 x7 1/128 0.984 7 7 1111110 x8 1/128 0.992 7 7 相应的费诺码 信源符号xi 符号概率pi 第一次分组 第二次分组 第三次分组 第四次分组 第五次分组 第六次分组 第七次分组 二元码 x1 1/2 0 0 x2 1/4 1 0 10 x3 1/8 1 0 110 x4 1/16 1 0 1110 x5 1/32 1 0 11110 x6 1/64 1 0 111110 x7 1/128 1 0 1111110 x8 1/128 1 （5）香农码和费诺码相同 平均码长为 编码效率为： 5-11（1）信源熵 （2）香农编码： 信源符号xi 符号概率pi 累加概率Pi -Logp(xi) 码长Ki 码字 x1 0.32 0 1.644 2 00 x2 0.22 0.32 2.184 3 010 x3 0.18 0.54 2.474 3 100 x4 0.16 0.72 2.644 3 101 x5 0.08 0.88 3.644 4 1110 x6 0.04 0.96 4.644 5 11110 平均码长： 编码效率为 （3）费诺编码为 信源符号xi 符号概率pi 1 2 3 4 编码 码长 x1 0.32 0 0 00 2 x2 0.22 1 01 2 x3 0.18 1 0 10 2 x4 0.16 1 0 110 3 x5 0.08 1 0 1110 4 x6 0.04 1 1111 4 平均码长为： 编码效率： （4）哈夫曼编码 信源符号xi 符号概率pi 编码过程 编码 码长 x1 0.32 0.32 0.38 0.40 0.60 1 01 2 x2 0.22 0.22 0.32 0.38 0.40 10 2 x3 0.18 0.18 0.22 0.32 11 2 x4 0.16 0.16 0.18 000 3 x5 0.08 0.12 0010 4 x6 0.04 0011 4 平均码长为： 编码效率： 5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,试用式（4.129）对序算术码，并计算此序列的平均码长。 解：根据算术编码的编码规则，可得：P(s = P2(0)P6(1