信息论基础与应用-李梅-第二章 信息的度量精要.pptx

第二章：信息的度量 一、自信息和互信息 二、平均自信息 三、平均互信息 第二章：信息的度量 1. 自信息 2. 互信息 一、自信息和互信息 二、平均自信息 三、平均互信息 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 自信息（量） 公理性条件： (1) 如果p(x1) p(x2)，则I(x1) I(x2)， I(xi )是 p(xi) 的单调递减函数； (2) 如果p(xi)=0，则I(xi ) → ∞ ; 如果p(xi)=1，则I(xi ) =0 ; (3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和： I(xi yj)=I(xi )+I(yj) 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 自信息（量） （续1） 随机事件 的自信息定义为该事件发生概 率的对数的负值： 关于对数底的选取： 以2为底，单位为比特(bit) 以e为底，单位为奈特(nat) 以10为底，单位为哈特莱 (Hartley) 一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写。 1. 自信息（量） （续2） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 单位之间的换算关系： 1奈特= log2 e 比特=1.443比特 1哈特莱= log210 比特=3.322比特 1 r进制单位 = log2r 比特 自信息可以从两个方面来理解： 自信息是事件发生前，事件发生的不确定性。 自信息表示事件发生后，事件所包含的信息量。 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？ 1. 自信息（量） （续3） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 自信息（量） （续4） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 例1: 设在甲袋中放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为 i ”时所获得的信息量。 解： 比特 由于是随意取出一个电阻,所以取出任意阻值的电阻的概率相等: 例2: 在乙袋中放入 个电阻，其中阻值为1 的 1个，2 的2个，…，n 的 n个，随意取出一个，求被告知“取出的电阻阻值为1 ”和“取出的电阻阻值为n ”时分别获得的信息量。 解： 1. 自信息（量） （续5） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 自信息（量） （续6） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 1. 自信息（量） （续7） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。 在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j ”时获得的信息量。 在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。 1. 自信息（量） （续8） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 I(xi)=– logp(xi )=log n 比特 I(yj)= – logp(yj )=log m 比特 I(xi yj)= – logp(xi yj ) =log (n m) = I(xi) + I(yj)比特 解：对应A,B,C三袋，随意取出一个电阻事件的概率分别为： 因此 1. 自信息（量） （续9） 平均自信息 平均互信息 自信息和互信息 第二章：信息的度量 例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所在位置。 （1）?将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。 （2）将方格按行和列编号，甲将棋子所在方格的列编号告诉乙之后，再令乙猜测棋子所在行的位置。问猜测的难易程度。 解： p(xi yj )=1/64 i=1,2,…,8; j= 1,2,…,8 （1） I(xi yj)= – logp(xi yj )= 6 比特 （2） I(xi | yj)= – logp(xi | yj ) = – log[p(xi yj )/ p(yj )]=3 比特 I(xi ) = – logp(xi)= 3 比特 I(yj) = 3 比特 1. 自信息（量） （续10）