[]平均互信息,熵间的关系.ppt
文本预览下载声明
2.1.5 平均互信息量 一.平均互信息量 定义:称互信息量 在X、Y集上的联合概率的数学期望为Y对X的平均互信息: 同理X对Y的平均互信息定义为: 考虑到关系式 很容易将(2.1.43)改写为: 二、性质: 1、互易性: 2、 3、非负性: 4、极值性 5、凸函数性 2、 由(2.1.43)式 由(2.1.44)式 由(2.1.45)式 平均互信息量是p(xi)和p(yj/xi)的函数, 即I(X;Y)=f [p(xi), p(yj/xi)]; 记为: I(X;Y)=I [P, Q]; 若固定信道,调整信源,则平均互信息量I(X;Y)是p(xi)的函数, 即I(X;Y)=f [p(xi)]; 若固定信源,调整信道,则平均互信息量I(X;Y)是p(yj/xi)的函数, 即I(X;Y)=f [p (yj/xi)]。 下面定理阐明了I(X ; Y)与p(x)和p(y︱x)之间的关系。 5、数据处理不等式 如果随机变量X,Y,Z的联合概率函数可以写成:p(xkyjzi)=p(xk)p(yj/xk)p(zi/yj) 则称这三个随机变量构成马尔可夫链,记为:X→Y → Z 性质1,如果X→Y → Z则在给定Y的条件下,X和Z条件独立,即 p(xk, zi/yj)=p(xk/yj)p(zi/yj) 性质2:如果X→Y → Z则I(X;Z/Y)=0 数据处理中平均交互信息量的不增性: ? 图 串联信道 如图所示的串联信道,X是输入消息集合,Y是第一级信道输出,Z是第二级数据处理后的输出消息集合,假设X→Y→Z(Y条件下X,Z独立) ,可以证明: 例2.1.7:教材36页 如果想通过Y经可能多的获得关于X的信息,也就是想增加互信息,必须付出代价,比如采用多次测量的方法。 这就说明,从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z),总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y)。 如果第二级信道是数据处理系统,则对接收到的数据Y进行处理后,无论Z是Y的确定对应关系还是概率关系,决不会减少关于X的不确定性。 数据处理不会增加从Z中获取关于X的平均交互信息量。这就是数据处理中平均互信息量的不增性。 亦即数据处理过程中只会失掉一些信息,绝不会创造出新的信息。最多保持原来的信息,一旦失掉了信息,用任何处理手段,也不可能再恢复丢失的信息 信源熵、互信息之间的关系: 图2.3 信源熵与互信息量之间的关系图 各种熵之间的关系 作业: 1。将已知等概信源接到下图所示的信道上,求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY)。 三维联合集的平均互信息关系: 仅当 = = 时,等号成立, 一般情况下 [例2.1.6]设二进制对称信道的输入概率空间为, 信道转移概率如下图 0 0 1 1 q 1-q q 1-q 由信道特性决定的条件熵: 由 可求得 平均互信息量 …(1) 在式(1)中,当q不变即固定信道特性时,可得I(X;Y)随输入概率P变化的曲线,如下图所示。由图可见,二进制对称信道特性固定后,输入呈等概率分布时,平均而言在接收端可获得最大信息量。 I(X;Y) 0 1 0.5 P 1-H(q) 固定信源 ,通过调整信道 而得; 即有两个不同的信道特性 和 将信道两端的输入和输出即X和Y联系起来,如果 用小于1的正数
显示全部