信息论习题答案第二章---陈前斌版.doc
信息论习题答案第二章---陈前斌版
第2章习题
2-3同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：
(1)“3和5同时出现”事件的自信息量；
(2)“两个1同时出现”事件的自信息量；
(3)两个点数的各种组合（无序对）的熵或平均信息量；
(4)两个点数之和(即2，3，…，12构成的子集）的熵；
(5)两个点数中至少有一个是1的自信息。
解：（1）P（3、5或5、3）＝P（3、5）+P（5、3）＝1/18
I＝log2（18）＝4.1699bit。
（2）P（1、1）＝l/36。I＝log2（36）＝5.1699bit。
（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。
不同点出现时有15种，概率1/18。
H（i，j）＝6*1/36*log2（36）+15*1/18*log2（18）＝4.3366bit/事件。
（4）
I＝log2（8/3）＝1.4150bit。
2-7两个实验和，联合概率为
（1）如果有人告诉你和的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你的实验结果，你得到的平均信息量是多少？
（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？
解：
P(x,y)
Y
.x
y1y2y3
X
x1
x2
x3
7/241/240
1/241/41/24
01/247/24
1/3
1/3
1/3
.y
1/31/31/3
（1）
（2）
（3）
2．11某一无记忆信源的符号集为，已知，。
（1）求信源符号的平均信息量；
（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的表达
（3）计算（2）中的序列熵。
解：（1）因为信源是无记忆信源，所以符号的平均熵
（2）某一特定序列（例如：m个0和100-m个1）出现的概率为
所以，自信息量为
（3）序列的熵
2-13有一个马尔可夫信源，已知转移概率为
。
试画出状态转移图，并求出信源熵。
解：（1）由题意可得状态转移图
2/3
2/3
S1
1/3
1
S2
由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
一步转移矩阵
由和可得方程组
解方程组得到各状态的稳态分布概率，
因为，
所以信源的熵
2-14有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下：
j
i
1
2
3
1
2
3
1/2
2/3
2/3
1/4
0
1/3
1/4
1/3
0
（1）求的联合熵和平均符号熵；
（2）求这个链的极限平均符号熵；
（3）求和它们对应的冗余度。
解：（1）
方法一、
因为
可以计算得到
所以，
所以，平均符号熵
方法二、
所以，平均符号熵
（2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.
由题意得到一步转移矩阵
由和可得方程组
解方程组得到各状态的稳态分布概率，
所以信源平稳后的概率分布为
因为信源为一阶马尔可夫信源，所以信源的熵
（3）
对应的冗余度分别为
2-16一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。
（1）求平稳后的信源的概率分布；
（2）求信源熵；
（3）求当和时信源的熵，并说明其理由。
0
0
2
1
解：（1）由状态转移图可得状态一步转移矩阵
由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
由和可得方程组
解方程组得到各状态的稳态分布概率，
所以信源平稳后的概率分布为
（2）因为信源为一阶马尔可夫信源，所以信源的熵
（3）当或时，信源的熵为0。因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。
2-19设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；如果为时，则为概率为，为的概率为0。而且后面发出的概率只与有关。有。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵。
解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号集合{a,b,c},其状态转移图为
1/3
1/3
1/3
1/3
1/3
1/3
1/2
1/3
1/2
a
b
c
（2）由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。
一步转移矩阵
由和可得方程组
解方程组得到各状态的稳态分布概率，
因为信源为一阶马尔可夫信源，所以信源的熵