信息论第二章信息的度量.ppt

【例2.15】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BSC。已知先验概率,计算平均互信息量I(X;Y)及各种熵。01-ε011-ε1图2-8二进制对称信道εε记q(x)为信源输入概率； ω(y)为信宿输出概率； p(y︱x)为信道转移概率； φ(x︱y)为后验概率。第62页，共88页，星期日，2025年，2月5日2．2离散集的平均自信息量信源熵熵条件熵联合熵第30页，共88页，星期日，2025年，2月5日2．2离散集的平均自信息量1．平均自信息量(熵)无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为： （2-15）H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵。第31页，共88页，星期日，2025年，2月5日【例2.9】计算下列信源的熵（1）信源一：熵H(X1)=-0.99log0.99－0.01log0.01=0.08比特/符号（2）信源二：等概信源熵H(X2)=-0.5log0.5-0.5log0.5=1比特/符号（3）信源三:等概信源熵H(X3)=-4×0.25log0.25=log4=2比特/符号第32页，共88页，星期日，2025年，2月5日(5)?信源五：一般情况下，二元信源的概率分布为熵H(X)=–δlogδ-（1-δ）log（1-δ）记H2(δ)=–δlogδ-（1-δ）log（1-δ）H2(δ)与δ的关系如图2-2所示。（4）信源四：信源为确定事件熵H(X4)=-0log0–1log1=0计算结果说明确定事件的熵为零H2(δ)??

00.51δ图2-2H2(δ)与δ关系第33页，共88页，星期日，2025年，2月5日信源熵与信息量的比较信源的平均不确定度消除不定度得到信息与信源是否输出无关接收后才得到信息确定值一般为随机量有限值可为无穷大熵信息量信源熵和平均自信息量两者在数值上是相等的，但含义并不相同第34页，共88页，星期日，2025年，2月5日总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123第35页，共88页，星期日，2025年，2月5日2．平均条件自信息量(条件熵)（2-16）若事件xiyj的联合分布概率为p(xiyj)，给定yj条件下事件xi的条件自信息量为I(xi︱yj)，则H(X︱Y)定义为：第36页，共88页，星期日，2025年，2月5日当X,Y统计独立时，有p(xiyj)=q(xi)ω(yj)，φ(xi︱yj)=q(xi)，则（2-17）从通信角度来看：若将X={x1，x2，…，xi，…}视