信息论与编码第信源及信息度量.ppt

010203040506信息应该如何度量呢？从上面的分析中，我们已经发现了一些线索，我们可以得出以下结论。信源的消息为等概率分布时，不确定度最大。信源的消息为等概率分布，且其消息数目越多，其不确定度越大。信源的不确定程度与其概率空间的消息数和消息的概率分布有关系。只发送一个消息的信源，其不确定度为0，不发送任何信息。不确定性随着概率增加而递减，概率越小，信息量越大。2.2.1自信息量 2.2.1自信息量 设信息量为I，我们已经肯定I是的函数，即，根据前面的归纳做进一步引申，可以得出以下性质：2.2.1自信息量 信息量应具有可加性：对于两个独立事件，其信息量应等于各自信息量之和，即我们可以发现对数具有这样的性质，由于信息量和概率具有反比关系，所以应该取倒数后再取对数.我们也可以从另外一个角度来考虑信息量，既然概率不等的时候信息量不一样，那么我们假设事件都是等概率的，取概率为p，则事件数为N=1/p，01采用k进制表示这些事件，需要的符号数为022.2.1自信息量 STEP4STEP3STEP2STEP1称为消息(符号)ai的自信息（量）。以2为底，单位为比特（bit：binaryunit)以e为底，单位为奈特（nat：natureunit)1nat=1.433比特以10为底，单位为笛特（det：DecimalUnit)或哈特(Hart，Hartley)1det=3.322比特2.2.1自信息量 2.2.1自信息量 以下是自信息量与先验概率的关系2.2.1自信息量 如信源发某一符号ai，假定信道中没有噪声的随机干扰，I(ai)也就是ai本身所含有的信息量，即能提供的全部信息量，我们称之为ai的“自信息量”。由于在信道中存在干扰，假设接收端收到的消息(符号)为bj，这个bj可能与相同，也可能与ai不同，则条件概率反映接收端收到消息bj而发送端发出的是ai的概率，此概率称为后验概率。这样，接收端收到bj后，发送端发送的符号是否为ai尚存在的不确定性应是后验概率的函数，即A称为条件自信息量。B2.2.1自信息量 2.2.1自信息量 于是，收信者在收到消息bj后，已经消除的不确定性为先验的不确定性减去尚存在的不确定性。这就是收信者获得的信息量：定义为发送接收bj的互信息（mutualinformation）。如果信道没有干扰，信道的统计特性使定义为发送接收bj的互信息（mutualinformation）。如果信道没有干扰，信道的统计特性使ai以概率1传送到接收端。这时，收信者接到消息后尚存在的不确定性就等于0，即以概率1传送到接收端。这时，收信者接到消息后尚存在的不确定性就等于0，即不确定性全部消除。此时互信息2.2.1自信息量 2.2.1自信息量 例2-6（1）一个以等概率出现的二进制码元（0，1）所包含的自信息量为：若是一个m位的二进制数，因为该数的每一位可从0，1两个数字中任取一个，因此有2m个等概率的可能组合，所以，就是需要m比特的信息来指明这样的二进制数。类似地，也可以得出联合自信息量。涉及两个随机事件的离散信源，其信源模型为2.2.1自信息量 2.2.1自信息量 上式说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。01联合自信息量和条件自信息量也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量，的变化而变化。02容易证明，自信息量、条件自信息量和联合自信息量之间有如下关系：032.2.1自信息量 01香农理论的重要特征是熵(entropy)的概念。香农引用它来描述信源的平均不确定性。计算信息熵H的公式:022.2.2信源熵 2.2.2信源熵 信源各个离散消息的自信息量（即不确定度）的数学期望(即概率加权的统计平均值)为信源的信源熵，简称熵，为了区别于热力熵，也称为信息熵，又由于是香农得来，又称香农熵，记为。计算信息熵H的公式:01信源熵H(X)的几种物理含义：02表示信源输出后，每个离散消息所提供的平均信息量。03表示信源输出前，信源的平均不确定度。04反映了变量X的随机性。05以后我们还可以证明，熵为信源无损压缩的极限。 2.2.2信源熵 2.2.3条件熵 信源熵也称为无条件熵，是在没有其他的条件下的熵，当存在某些条件影响事件的概率分布时，会影响事件的不确定度，所以存在条件熵（conditionalentropy）。2.2.3条件熵 定义：在给定某个yj条件下，xi的条件自信息量为I(xi|yj)，