信息论与编码（汤学明）信息论与编码——B答案.doc
文本预览下载声明
计算机学院 2011 — 2012 学年第 一 学期
《信息论与编码》考试试卷
B卷 闭卷 考试时间： 年 月 日
专业 信息安全 班级 学号 学生姓名
题号 一 二 三 四 五 六 七 总分 核对人 题分 10 20 16 15 15 12 12 100 得分
得分 评卷人 一、填空题（共10分，每空1分） (1) 信息与信号的关系可表述为：信息是信号 所载荷的内容 ，信号是信息的 载体 。
(2) 必然发生的随机事件的自信息量为 0 ，不可能的随机事件若发生，则能提供的自信息量为 无穷大 。
(3) 限平均功率的最大连续熵仅与信源随机变量的 方差(交流功率) 有关，其表达式为 。
(4) 固定信源，平均互信息是信道转移概率分布的 下凸 函数；反之，固定信道，平均互信息是信源概率分布的 上凸 函数。
(5) 某单符号离散信源取值于4种不同符号构成的符号集，对其进行3次扩展，则扩展信源的符号序列数共有 64 种，扩展信源的最大熵为 6 bit 。
得分 评卷人 二、名词解释（共20分，每小题5分） (1) 平均互信息：是信源与信宿的互信息量在联合概率空间中的统计平均值，是从整体角度平均意义上度量信道每通过一个符号流经的平均有用信息量。
(2) 熵功率：将均值为0、平均功率受限的连续信源X，将其等价转换为均值为0、平均功率受限的高斯信源所得到的功率。
(3) 信数据处理定理：当消息经过多级处理后，随着处理器数目的增加，输入消息与输出消息之间的平均互信息量趋于变小。
(4) 信道疑义度：信道疑义度表示信宿在收到Y后，对信源X仍然存在的平均不确定度，它是Y关于X的后验不定度，也是在信息道中损失的平均信息量，也称为损失熵。
得分 评卷人 三、计算题I（共16分）
X Y 0 1 2 0 0.2 0.3 0.5 1 0.7 0.2 0.1 已知某单符号离散信源Ｘ以40%的概率发出“0”，60%的概率发出“1”，经由右表所示的转移概率到达信宿Y，试计算：
(1) 联合概率及反向转移概率； （3分）
(2) 信息熵； （5分）
(3) 条件熵及平均互信息； （5分）
(4) 如果对X进行定长无失真信源编码，若要求编码效率为95%，译码差错率为，需要多少个信源符号一起编码？ （3分）
X 0 1 Y 0 1 2 PX 0.4 0.6 PY 0.50 0.24 0.26 解：
(1) 由已知的并根据及可得X, Y的概率分布为：
由和可得XY，的概率分布：
X Y 0 1 2 Y X 0 1 0 0.08 0.12 0.20 0 0.16 0.84 1 0.42 0.12 0.06 1 0.50 0.50 2 0.77 0.23 (2)
(3)
(4) ，
则：
由得：
得分 评卷人 四、计算题II（共15分） 设有一个2进制二阶马尔可夫信源，其信源符号集为{0, 1}，条件概率为：
试求：
(1) 信源全部状态及一步状态转移概率矩阵； （4分）
(2) 画出完整的二阶马尔可夫信源的状态转移图； （4分）
(3) 该二阶马尔可夫信源的极限熵和冗余度。 （7分）
解：
(1) 信源全部状态为：
一步状态转移概率矩阵为：
(2) 状态转移图如右图所示：
(3) 由及可得：
，即：，解得：
由于原马尔可夫信源为二元信源，因此，则：
得分 评卷人 五、计算题III（共15分） 已知某离散信道的概率转移矩阵为：试求：
(1) 该信道的信道容量C； （8分）
(2) 达到信道容量的最佳输入概率分布。 （7分）
解：
(1) 由可得：
联立解得：
信道容量：
(2) 由可得达到信道容量时的输出概率分布为：
由可得：
联立解得：
或者由：解得，其中：
得分 评卷人 六、计算题IV（共12分） 设有某二元离散信源的概率分布为：，其失真矩阵定义为：，该信源通过某信道，试求：
(1) 该信源的平均失真度 （6分）
(2) 该信源的信息率失真函数 （3分）
(3) 达到平均失真度时通信系统的价值率 （3分）
解：
(1)
由可得：
，因此：
由可求得：
(2) 由可得信息率失真函数为：
(3) 当时，
价值率为：
得分 评卷人 七、信源编码题（共12分） 设有一单符号离散无记忆信源如下：
，试求：
(1) 2进制费诺编码、平均码长及其编码效率。 （5分）
(2) 3进制哈夫曼编码、平
显示全部