信息论与编码（汤学明）信息论与编码——A答案3.doc

计算机学院 2012 — 2013 学年第 一 学期 《信息论与编码》考试试卷 A卷 闭卷 考试时间： 2012 年 11 月 28 日 专业 信息安全 班级 学号 学生姓名 题号 一 二 三 四 五 六 七 总分 核对人 题分 10 20 12 16 15 15 12 100 得分 得分 评卷人 一、填空题（共10分，每空1分） (1) 信号是信息的物理表达层，它载荷信息的　　实体　　，消息是信息的数学表达层，它是物理信号的　　数学抽象　　。 (2) 必然发生的随机事件的自信息量为　　0　　，不可能的随机事件若发生，则能提供的自信息量为　无穷大　。 (3) 限平均功率的连续信源，当输出信号的幅值服从　高斯分布（正态分布）　时，信源具有最大的连续熵，其熵值表达式为　　　　。 (4) 多用户信道允许信道有多个输入端或输出端，其中最基本的多用户信道类型主要有　　多址接入信道　　、广播信道和　　相关信源的多用户信道　　。 (5) 某街道有7盏独立运行的发出红、绿、黄信号的交通灯，该街道的交通信号符号序列数共有　2187　种，可取得的最大熵为　11.095 bit（7log3）　。 得分 评卷人 二、名词解释（共20分，每小题5分） (1) 数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。解决的方法之一是多次测量或传输。 (2) 平均互信息的凸性：平均互信息是关于信源概率分布和信道转移概率分布的函数；固定信道转移概率分布，平均互信息是信源概率分布的上凸函数；反之，固定信源分布，平均互信息是信道转移概率分布的下凸函数。 (3) 平均失真度：失真函数的数学期望，即在信道输入随机变量X和输出随机变量Y的联合概率空间中的统计平均值，它从总体上刻画了整个系统的失真情况。 (4) 熵功率：将均值为0、平均功率受限的连续信源X，将其等价转换为均值为0、平均功率受限的高斯信源所得到的功率。 得分 评卷人 三、计算题I（共12分） 设有某2元离散信源的概率分布为：，其失真矩阵定义为：，某试验信道的信道矩阵为，试求： (1) 该信源的； (2) 如限定最大许可平均失真度，求信息率失真函数； (3) 如失真视作单位为“元”的经济损失，求的信息价值率。 解： (1) 由可得： ，因此： (2) 由于是2元离散信源，且失真函数定义为误码失真，因此： 当时，率失真函数为： (3) 由题意当信息传输率为时：平均损失为，则： 得分 评卷人 四、计算题II（共16分） 已知某二元单符号离散信源Ｘ以75%的概率发出“0”，经由右表所示的转移概率到达信宿Y，另定义（普通减法），试计算： (1) 信息熵及条件熵 (2) 平均互信息； (3) 对Z进行定长无失真信源编码，若要求编码效率大于90%，译码差错率低于，需多少个信源符号一起编码？ X 0 1 Y 0 1 PX 0.75 0.25 PY 0.45 0.55 解：(1) 由已知数据并根据及可得X, Y的概率分布为： 由和可得XY，Z，YZ概率分布： XY 00 01 10 11 Z ?1 0 1 PXY 0.24 0.51 0.21 0.04 PZ 0.28 0.51 0.21 YZ 00 01 10 1(?1) 其它 PYZ 0.24 0.21 0.04 0.51 0 此外因X,Y确定后，Z就唯一确定了，故 因X,Y确定后，Z就唯一确定了，，因此 (2) (3) ， 则： 由得： 得分 评卷人 五、计算题III（共15分） 某4元二阶齐次马尔可夫信源的状态集合为，已知前状态或转移到的概率为0.1，转移到的概率为0.4，其余的转移状态均为0.25，试求： (1) 一步状态转移概率矩阵并画出状态转移图； (2) 极限熵； (3) 该马尔可夫信源的冗余度。 解：(1) 由已知可得该马尔可夫信源的一步状态转移矩阵和状态转移图为： (2) 由及可得： ，联立解得： (3) 由于原马尔可夫信源为3元信源，因此，则： 得分 评卷人 六、计算题IV（共15分） 已知某离散无记忆信道的转移概率如右图所示，试求： (1) 时，该信道的信道容量C； (2) 时，该信道的信道容量C及达到信道容量的最佳输入概率分布。 解： (1) 时，原信道为离散对称信道，转移矩阵为对称矩阵 (2) 时，由转移概率示意图可得信道的转移概率矩阵为： 由可得： 联立解得： 信道容量： 由可得达到信道容量时的输出概率分