[信息论]第二章信息的统计度量.ppt

③ 确定性 若 而 则加权熵为零，即 ④ 若 而 为样本空间，并且 ，则加权熵为零，即 这一性质表明，某些事件有意义 ，但不发生 而另外一些事件虽然发生 ，但毫无意义 。所以从主观效果来看，人们并没有获得任何有意义的信息。 2.4 离散集的平均互信息量 令 X 表示离散输入事件集。其中 对每个事件 ，相应概率为 ，简化为 ，且 以 表示输入概率空间， 。 类似地令 Y 表示离散输出事件集， 对每个事件 ，相应概率为 ，简记为 ，且 以 表示输出概率空间， 。 * 第 2 章 信息的统计度量 2.1 自信息量和条件自信息量 2.1.1 自信息量 从信息源获得信息的过程就是其不确定性缩减的过程。可见信息源包含的信息与其不确定性是紧密相关的。在统计分析中，使用概率作为衡量不确定性的一种指标。可以推论，随机事件包含信息的度量应是其概率的函数。 定义 2.1.1 任意随机事件的自信息量定义为该事件发生概率的对数的负值。 设该事件 的概率为 ，那么，它的自信息定义式为 自信息的单位与所用对数底有关： 对数的底 2 e 10 比特(bit) 奈特(nat) 哈脱来(haitely) 小概率事件所包含的不确定性大，其自信息量大；出现概率大的随机事件所包含的不确定性小，其自信息量小。 (2.1) 定义2.1.2 二维联合集XY上的元素 的联合自信息量定义为 式中， 为积事件， 为元素 的二维联合概率。 例： (2.2) 2.1.2 条件自信息量 定义 2.1.3 联合集XY中，对事件 和 ，事件 在事件 给定的条件下的条件自信息量定义为 (2.3) 例： 2.2 互信息量和条件互信息量 2.2.1 互信息量 信源集合 X 的概率空间为 其中 为集合 X 中各个消息 的取值；概率 称为先验概率。 信源 信道 信宿 X Y 信宿收到的符号消息集合 Y的概率空间为 其中 是集合 Y 中各个消息符号 的取值；概率 为消息符号 出现的概率。当信宿收到集合Y中的一个消息 后，接收者重新估计关于信源各个消息发生的概率就变成条件概率 ，这种条件概率又称为后验概率。 定义 2.2.1 对两个离散随机事件集X和Y，事件 的出现给出关于事件 的信息量定义为互信息量。其定义式为 互信息量的单位与自