信息论与编码 第三章曹雪虹习题答案.doc

3.1 设二元对称信道的传递矩阵为 (1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 2) 其最佳输入分布为 3-2某信源发送端有2个符号，，i＝1，2；，每秒发出一个符号。接受端有3种符号，j＝1，2，3，转移概率矩阵为。 计算接受端的平均不确定度； 计算由于噪声产生的不确定度； 计算信道容量。 解： 联合概率 X Y 0 则Y的概率分布为 Y （1） 取2为底 （2） 取2为底 取e为底 = 0 3.3 在有扰离散信道上传输符号0和1，在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2，信源每秒内发出1000个符号，求此信道的信道容量。 解： 由题意可知该二元信道的转移概率矩阵为： 为一个BSC信道 所以由BSC信道的信道容量计算公式得到： 3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当=0和1/2时的信道容量C的大小。 解: 信道矩阵P=,此信道为非奇异矩阵,又r=s,可利用方程组求解 = (i=1,2,3) 解得 所以 C=log=log[20+2×2(1-)log(1-)+] =log[1+21-H()]=log[1+2] 而 (j=1,2,3) 得 所以 P(a1)=P(b1)= 当=0时,此信道为一一对应信道,得 C=log3, 当=1/2时,得 C=log2, , 3.5 求下列二个信道的信道容量，并加以比较 （1） （2） 其中p+=1 解： （1）此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集 由于集列所组成的矩阵,而这两个子矩阵满足对称性，因此可直接利用准对称信道的信道容量公式进行计算。 C1=logr-H(p1’ p2’ p3’)- 其中r=2,N1=M1=1-2 N2= M2=4 所以 C1=log2-H(,p-ε,2ε)-(1-2)log(1-2)-2log4 =log2+()log()+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε =log2-2εlog2-(1-2ε)log(1-2ε)+()log()+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+()log()+(p-)log(p-) 输入等概率分布时达到信道容量。 （2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算，此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为，这两矩阵为对称矩阵 其中r=2,N1=M1=1-2 N2=M2=2，所以 C=logr-H(-,p-ε,2ε,0)- =log2+(-)log(-)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε =log2-(1-2ε)log(1-2ε)+( -)log(-)+(p-ε)log(p-ε) =(1-2ε)log2/(1-2ε)+2εlog2+(-)log(-)+(p-ε)log(p-ε) =C1+2εlog2 输入等概率分布（P（a1）=P（a2）=1/2）时达到此信道容量。比较此两信道容量，可得C2=C1+2εlog2 3-6 设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。 解： 对称信道 取2为底 bit/符号 3-7 (1) 条件概率 ，联合概率，后验概率 ， ， （2） H(Y/X)= （3） 当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为： P(x1/y2)=，P(x2/y2)=，P(x3/y2)= 其中错误概率为： Pe=P(x1/y2)+P(x3/y2)= （4）平均错误概率为 （5）仍为0.733 （6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真 （7） H(X/Y)= 3. 8 设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。 解： 3. 9 在图片传输中，每帧约有2.25(106个像