信息论和编码习题答案.pdf

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： ( ) log H logX 4 2 n / bit symbol 四进制脉冲的平均信息量 1 ( ) log H logX 8 3 n / bit symbol 八进制脉冲的平均信息量 2 ( ) log H logX 2 1 n / bit symbol 二进制脉冲的平均信息量 0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女 孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大 学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x1 （是大学生） x2 （不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1 （身高160cm ） y 2 （身高160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160 厘米以上的 ( / p) y0.75x bit 即：1 1 求：身高160 厘米以上的某女孩是大学生的信息量 p( x ) p( y / x ) 0.25 0.75 × I x y p x y − −1 1 1 − 1.415 bit ( / ) log ( / ) log log 即：1 1 1 1