模拟信号与数字信号.pptx

高等数字通信原理DigitalCommunicationsAnIntroductiontoInformationTheory张邦宁通信工程学院第6章信息论基础AnIntroductiontoInformationTheory本章主要讨论通信中的理论极限值问题：信源编码：信源数据压缩的理论极限值信道编码：噪声信道可靠传输的速率极限值有三大部分内容：香农第一编码定理（无损信源编码定理）香农第三编码定理（有损数据压缩）香农第二编码定理（噪声信道编码定理）ClaudeShannonPh.D.1916-2001第6章信息论基础一、信息的对数度量二、信源的数学模型三、信源无损编码四、有损数据压缩五、信道及信道容量六、用正交信号集获取信道容量七、信道截止速率一、信息的对数度量ALogarithmicMeasureofInformation信息对数度量1、信息量的定义事件发生的可能性越小，不确定性越大，信息量越大，确定事件的信息量为0（1）确定事件的信息量为0（2）信息量与事件发生的概率成反比，概率越小，信息量越大（单调递减性）（3）几个独立事件发生的总信息量是各个独立事件发生的信息量的和（独立可加）信息量用对数来表示是合理的???2、离散随机变量的信息量和熵发生的概率??考虑两个离散随机变量:发生的概率???同时发生的概率?自信息量:由于事件出现而关于的信息量自信息量:由于事件出现而关于的信息量条件信息量:在事件出现的条件下出现的信息量互信息量:由于事件出现而提供的关于的信息量??反映事件发生前不确定性的大小，或反映发生后人们获得的关于事件的信息量?反映事件发生前不确定性的大小，或反映发生后人们获得的关于事件的信息量?反映在发生的条件下，发生的不确定性的大小?反映在发生的条件下，发生的不确定性的变化量信息对数度量由于事件出现而关于的信息量???事件发生的不确定越大，自信息量越大，确定事件的自信息量为0?在事件出现的条件下关于的信息量??若统计独立，出现的条件下的信息量就是自信息量，若完全相关，出现关于的信息量为0?由于事件出现而提供的关于的信息量??若统计独立，事件出现对事件的发生不提供任何信息，所以互信息量是0，若完全相关，出现决定了的出现，所以互信息量就是的自信息量。??举例：?事件下雨?1、事件天上有乌云??天上有乌云的条件下，下雨的不确定性??天上有乌云的条件下，下雨的不确定性的减少量为?看到天上有乌云，我们得到了下雨的信息量是?2、事件天上乌云密布，有雷声????看到天上有天上乌云密布，有雷声，我们得到了下雨的信息量是?3、事件下雨????看到天上下雨，我们得到了下雨的信息量是?举例：??事件下雨?4、事件小明学习成绩差???小明学习成绩差，因为事件相互独立，下雨的不确定性的减少量为0?看到小明学习成绩差，我们得到了下雨的信息量是?5、事件上午晴空万里???互信息量为负值，表明从看到的事件，得出下雨事件极不可能发生。互信息量为正：看到的事件和下雨是“支持”“的，有利于下雨事件的出现互信息量为负：看到的事件和下雨是“反对”“的，不利于下雨事件的出现信息的平均值---熵信息对数度量?X的平均信息量X的熵Y的平均信息量Y的熵平均条件信息量条件熵联合熵平均互信息量信息对数度量?????熵的非负性:???熵的链式规则:????熵的不增性:???????平均互信息量的非负性:?计算举例（输入等概）?????分别计算收到Y=0或1得到关于X=0或1的互信息量。??平均互信息量???????信息对数度量平均互信息量在通信中的物理意义：?考虑通信存在干扰的二进制对称信道，X等概发送消息0或1，Y为接受的消息0或1，由于噪声的影响，存在接受差错，误码率p=0.1。?=1bit=-plogp-(1-p)log(1-p)=0.469bit1+plogp+(1-p)log(1-p)=0.531bitp01010.0110.0810.9190.110.4690.5310.5110p01010.0110.0810.9190.110.4690.5310.5110?信源每次发送1bit信息，信道由于干扰损失掉0.469bit信息，接受端接受到0.531bit信息。可以看成收到一个消息获得的平均信息量；可以看成由于噪声损失掉的信息量，又称为疑义度。存在干扰的二进制对称信道??1、当信道转移概率p（误码率）固定的条件下，互信息是X分布的上凸函数，等概时达到最大。2、当X分布固定的条件下，互信息是信道转移概率p的下凸函数。3、连续随机变量的熵和互信息X，Y为连续随机变量，其联合概率密度函数为p(x,y),边际概率密度函p(x),p(y)?熵函数：差熵（或相对熵）?连续随机变量取特