课堂练习答案【参考】.doc

一、填空题 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。 单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的 误差或失真 。 4、 对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。 5、 对于二元序列0011100000011111001111000001111111，其相应的游程序列是。 6、 信道编码的最终目的是 提高信号传输的可靠性 。 7、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 8、对于离散无记忆信道和信源的N次扩展，其信道容量= NC 9、信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。 10、若纠错码的最小距离为d,则可以纠错任意小于等于 个差错。 二、判断题 必然事件和不可能事件的自信息量都是0 。错 单符号离散信源的自信息和信源熵都具有非负性。对 单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对 自信息量、条件自信息量和互信息量之间有如下关系： 对 当随即变量X和Y相互独立时，条件熵等于信源熵。对 6、(错 )m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。 7、 (对 )利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。 8、 (对 )连续信源和离散信源的平均互信息都具有非负性。 9、(对 )定长编码的效率一般小于不定长编码的效率。 三、设离散无记忆信源 X a1=0 a2=1 a3=2 a4=3 = P(x) 1/4 1/4 1/4 1/4 其发生的消息为（202123332120123021333031203210131）求 此消息的自信息是多少？（10分） 此消息中平均每个符号携带的信息量是多少？（3分） 解：I(a1=0)=-log P(a1)=-log1/4= 2 比特 I(a2=1)=-log P(a2)=-log1/4= 2 比特 I(a3=2)=-log P(a3)=-log1/4= 2 比特 I(a4=3)=-log P(a4)=-log1/4= 2 比特 此消息中共有6个“0”，8个“1”，9个“2”，10个“3”，则得到消息的自信息量是 I=6I(a1=0)+ 8I(a2=1)+ 9I(a3=2)+ 10I(a4=3) =6×2＋8×2+9×2+10×2 ＝66比特 （2）I2=I/33=66/33=2 比特/符号 四、 信源空间为试分别构造二元和三元夫曼码，计算其平均码长和编码效率。答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长，编码效率（3）当P＝1时信源的熵，并说明它的意义。 解： (1) 1-P 0 P P= P 1-P 0 0 P 1-P Q(0) 1-P 0 P Q(0) Q(1) = P 1-P 0 Q(1) Q(2) 0 P 1-P Q(2) 且： Q(0)+Q(1)+Q(2)=1 则有 ： Q(0)=Q(1)=Q(2)=1/3 即平稳后：P(0)=P(1)=P(2)=1/3 (2) =H2=P(0)H(X/0)+P(1)H(X/1)+P(2)H(X/2) =1/3H(1-P,0,P)+ 1/3H(P,1-P,0)+ 1/3H(0,P,1-P) =-(1-P)log(1-P)-PlogP 比特/符号 （3）p=1时，不确定度为0，说明信道进行保真传送。 六 、设输入符号与输出符号为X=Y{0,1,2,3},且输入符号的分布为P(X=i)=1/4,i=0,1,2,3, 设失真矩阵为: 求Dmax和Dmin及R(Dmax)和R(Dmin),及相应的转移矩阵概率. 解: 信源熵为 根据最大平均失真度的定义有： Dmax=mi