信息论编码信道容量习题.pdf

第三次作业 第三章 信道容量 存在问题 存在问题 应交21人，实交12人 应交21人，实交12人 仍有“COPY”现象（2 ） 仍有“COPY”现象（2 ） 单位弄错，mw-w 单位弄错，mw-w 分贝的概念不清楚 分贝的概念不清楚 以前作业的错误没更正 以前作业的错误没更正 2006-11-1 1 习题1 第三章 信道容量 习题1 2 1 ⎡ ⎤ 3.3.设二元对称信道的传递概率为 3 3 3.3.设二元对称信道的传递概率为 ⎢1 2 ⎥ 3 3 ⎣ ⎦ ①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 ①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。 ②求该信道的信道容量及达到信道容量时的输入概率分 ②求该信道的信道容量及达到信道容量时的输入概率分 布。 布。 2006-11-1 2 习题1 第三章 信道容量 习题1 解答：(1)已知二元对称信道的传递矩阵和输入信源的概率分布， 可求出输出Y的概率分布和后验概率 p(y=0)=7/12;p(y=1)=5/12;p(x=0/y=0)=6/7;p(x=1/y=0)=1/7 p(x=0/y=1)=3/5;p(x=1/y=1)=2/5 ≈ 进一步可算得：H(X) 0.811bit/symbol ≈ ≈ H(Y/X) 0.918bit/symbol;H(X/Y) 0.749bit/symbol 因此，I(X;Y)=H(X)-H(X/Y)≈0.062bit/symbol (2)此信道为二元对称信道，所以信道容量为 2 C 1=−H ( p) 1=−H ( ) ≈0.082bit/symbol 3 当输入符号为等概率分布时信道的信息传输率才能达到该值。 2006-11-1 3 习题2 第三章 信道容量 习题2 3.9.有一个二元对称信道，其信道矩阵如下图所示。设 3.9.有一个二元对称信道，其信道矩阵如下图所示。设 该信道以1500个二元符号/秒的速度传输输入符号。现 该信道以1500个二元符号/秒的速度传输输入符号。现 有一消息序列共有14000个二元符号，并设在这消息 有一消息序列共有14000个二元符号，并设在这消息 中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒 中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒