熵与平均互信息.ppt

第2章 熵与平均互信息 5、联合熵的界 2.3 平均互信息 编码 信道 译码 噪声 信源 信宿 信道——传输信号的通道，信道中通常引入噪声 狭义信道——信号的传输媒介 有线信道——电线、电缆、光缆 无线信道——电磁空间——地波传播、天波传播、视线传播 发转换 媒介 收转换 调制 解调 调制信道 编码信道 广义信道——包括调制解调、收发转换装置的信道 调制信道——连续信道 编码信道——离散信道 1、单符号离散信道 定义 对应于单符号离散信源和单符号离散信宿的信道 表示 信源——离散型随机变量X 信宿——离散型随机变量Y 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 随机变量Y的取值yj为信宿收到的消息 j=1,2,…,M X P(Y/X) Y x1 x2 xN y1 y2 yM P(y1/x1) … … … P(yM/xN) P(y2/x2) 例1 例2 2、互信息 信源发出消息xi而信宿接收到消息yj——信宿消息yj所含信源消息xi的信息 定义 互信息——信宿消息yj所对应的概率P(yj)与信源消息xi信宿消息yj所对应的信道转移概率P(yj /xi )比值对数的负值，用I(xi;yj) 表示 表示 3、平均互信息/交互熵 各互信息的数学期望，用I(X;Y)表示 定义 表示 反映信宿每收到一条消息所含信源一条消息的平均信息量 一般不等于信宿收到某条特定消息所含信源某条特定消息的信息量 例3 平均互信息 4、平均互信息的意义 条件熵H(Y/X)——信道给出的平均信息量——噪声熵 条件熵H(X/Y)——用反信道矩阵形式表示的信道给出的平均信息量——损失熵 H(X/Y) H(X) H(Y/X) H(Y) I(X;Y) 以信宿为参考，利用信宿的信息熵和信道的噪声熵来度量信道中传输的平均信息量 以信源为参考，利用信源的信息熵和信道的损失熵来度量信道中传输的平均信息量 5、平均互信息的主要性质 ①对称性 ②非负性 ③极值性 ④严格凸性 信道固定时，I(X;Y)对于信源概率P(X)严格上凸 信源固定时，I(X;Y)对于信道转移概率P(Y/X)严格下凸 * 熵与平均互信息 信息如何度量？ 2.1 熵 信源发出的消息为单一符号，这些符号随机取值于一个有限集合 1、单符号离散信源 定义 表示 离散型随机变量X 随机变量X的取值xi为信源发出的消息 i=1,2,…,N 例1 2、自信息 消息xi所对应的概率P(xi)对数的负值，用I(xi)表示 定义 表示 单位由对数的底a决定——当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley) 以bit为单位的自信息 I(xi)反映信源发出某条消息所提供的信息 I(xi)与xi所对应的概率P(xi)相关 I(xi)是P(xi)的非负连续减函数，当P(xi) =0时I(xi) →∞，P(xi) =1时I(xi) =0 例2 信源发出各消息的自信息 3、熵/无条件熵 信源各消息自信息的数学期望，用H(X)表示 定义 表示 反映信源每发出一条消息所提供的平均信息量 一般不等于信源发出某条特定消息所提供的信息量 一般不等于每接受一条消息所获得的平均信息量 例3 信源的熵 4、熵的主要性质和最大熵定理 ①非负性 严格上凸性的描述——设函数f(x)对任一小于1的正数α及定义域中任意两个值x1、x2，如果 称f(x)为严格上凸函数 ②严格上凸性 ③最大熵定理 等概率信源具有最大熵，最大熵H(X)max=logN 例4 信源的熵及p-H(p)曲线 当p=0时，H(p)=0 p=0.25时，H(p)=0.811(bit) p=0.75时，H(p)=0.811(bit) p=1时，H(p)=0 p=0. 5时，H(p)=1(bit) 0 0.5 1 H(p) 1 p 0.25 0.75 0.811 2.2 联合熵与条件熵 信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个有限集合 1、多符号离散信源 定义 表示 离散型随机变量序列X1X2…Xn 2、联合自信息与条件自信息 定义 表示 定义 表示 联合熵——信源各消息联合自信息的数学期望，用H(X1X2…Xn)表示 定义 表示 3、联合熵与条件熵 反映信源每发出一条消息所提供的平均信息量 一般不等于信源发出某条特定消息所提供的信息量 一般不等于每接受一条消息所获得的平均信息量 例1 信源的联合熵 条件熵——信源各消息条件自信息的数学期望，用H(Xk/X1…Xk-1)表示 定义 表示 4、联合熵的链式法则 例2 信源的联合熵 * 熵与平均互信息