信息论与编码（第三版）第2章信源与信源熵 .pptx

第2章信源与信源熵;目录;信源需要发出的消息数量不是一个，在任何指定的时刻，信源到底发出哪个消息是不能够事先确定的，即具有随机性；

如果信源每次发出的消息是已知的或者事先确定的，则该消息不能够提供任何信息。由于符号出现是随机，给观察者提供了一定的信息。

不能够使用确定函数进行描述，应当使用统计方法对其规律进行研究。;背景知识;联合概率矩阵表示形式;;2．平稳随机过程;;2.2信源的数学模型和分类;如果信源的符号在时间上或者在幅度上是连续的，这类信源就是连续信源。如表示声音变化的电信号，不仅在时间上是连续取值，而且在幅度也是连续变化的，这样的信源就是连续信源。

可以对信号进行取样，将之转换为时间上离散的信号序列，但是由于该信号序列的幅度取值是连续的，所以这样的信源仍然是连续信源；

如果对序列进行量化编码，就得到数字信号序列，时间和幅度都是离散的信号，这样的信源就是离散信源。;取样、量化会造成信息损失，将在后面章节中进行分析、讨论。;消息符号之间是否关联;2.1.1信源输出的消息由随机变量描述;定义2.1如果信源输出的消息数量是有限或者可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单离散信源。;投掷骰子问题;R表示实数;2.1.2信源输出的消息由随机矢量描述;比如有一个布袋，内放100个球，其中白球80个，黑球20个，如果除了颜色不同之外，其它方面如手感、大小等都相同。现在从布袋中随机摸取一个球，观察球的颜色，摸到的球要么是白色，要么是黑色。

如果将这样一个实验视为一个信源，这样的信源可以使用简单的离散信源加以描述，即;改变实验方法，进行两次取球实验，

首先取出一个球，记录球的颜色，

取出的球不放回去，然后再取一个球，记录球的颜色。

现在考察取出的两个球的颜色，只有4种可能：白色白色、白色黑色、黑色白色、黑色黑色。

a1，a2分别表示白色球和黑色球;定义2.3如果离散信源输出的消息是由一系列符号组成的，这样的信源称为多维离散信源。;如果信源输出的随机序列中，

每个随机变量都是离散的；

随机矢量的各维概率???布都与时间无关，即任何时刻随机矢量的各维概率分布相同，

那么这样的信源称为离散平稳信源；

用N维概率空间描述。;1．离散无记忆信源;例如：取球方式，每次从袋中取出一个球，只记录球的颜色（用变量x1表示），将球放回袋中，然后再次取出一球，记录球的颜色（用变量表示x2），如果将这样两次取球实验视为信源输出符号，显然信源输出消息构成二维随机序列，而构成消息的两个随机变量相互独立，所以可以用随机变量的乘积加以描述。;;通常情况下，信源在不同时刻发出的符号之间是相互关联的。

如前文所述的布袋取球实验中，

先取一球不放回，然后再取一球，第二个球的颜色概率分布与第一个球的颜色有关。；

如果摸出第一球为白色，则摸取第二个球颜色的概率为;离散有记忆信源用N维联合概率分布加以描述;当记忆长度为m+1时，即信源每次发出符号只与前m个符号相关，与更前面的符号无关，称这种信源为m阶马尔可夫信源。;2.2离散信源的熵与互信息;2.2.1非平均信息量;基本规则;定义2.5给定信源的概率空间;例2.1某二元信源发出符号0，1的概率分别为,p(0)=1/4,p(1)=3/4,求I(0),I(1)。

解：根据定义知：;如果二进制信源的消息0、1以等概率出现，则;不确定性讨论;先验不确定性

信源符号固有的;定义2.6对于给定两个信源X、Y，对应概率空间分别为;事件关联性讨论;换种说法;可以证明;由证明过程可知;例2.2变量X的概率空间为;讨论;定义2.7给定联合概率空间;给定bj条件情况下，为了唯一确定ai的出现所必须提供的信息量。;证明：;例2.3对于例2.2给定的概率空间，分别求出I(ai),I(ai|bj),并且验证I(ai)=I(ai;bj)+I(ai|bj);于是有;例2.4设有两个离散信源集合;;;定义2.8给定联合概率空间;2.2.2平均信息量;信息熵（Entropy）;信息论中;3信源符号不同，但是具有相同的统计特性，那么信息熵也是相同的;例2.5某二元信源的概率空间为;极值问题：;当p＝0.5时，即两个符号出现概率相等时，对应的熵最大，H(x)=1比特/符号；由于p＝0.5时，两个符号输出的概率相等，信源没有输出之前，很难猜测哪个消息会出现；;物理意义;信源编码的解释;信道编码的解释;例2.6有一个布袋内放有100个求，其中红球80个，白球20个，球的大小和手感相同，从布袋内随机抽取一个球，猜测所取球的颜色，求摸取一个球所获得的平均信息量。

解：令a1,a2分别表示摸取球的是红球和白球，摸取球的实