信息论第三章连续信源的信息熵.ppt

§3.5连续信源的最大熵定理§3.5连续信源的最大熵定理如果考虑发码顺序是从右向左的方向←，也同样能统计：在等概率的条件下，可使离散信源发送效率最大，这是最大熵定理在信号设计中的具体应用。这也是我们讨论连续信源的目的之一。§3.5连续信源的最大熵定理从相对熵的数学性质中已证明它有最大值，但是如果不考虑约束条件，在求极大值是将有可能走向极端，即求出它的无穷大量。为此这与离散熵所不同，相对熵拥有不同条件下的最大熵。Ⅰ.TheMaximumEntropyTheorematLimitedPeakCondition即限峰功率条件下的最大熵定理所谓限峰条件：所以限峰是指信号的幅度不能任意大，应属于有限的范围。§3.5连续信源的最大熵定理上式表明：在限峰的条件下，只有连续变量x处于均匀分布下，才能使相对熵达到最大，这就是限峰条件的最大熵定理及其证明。§3.5连续信源的最大熵定理约束条件改为平均功率(指信源的输出功率)受限，这实际上在均值为零的信号x来说，就是方差σ2受限。即：Ⅱ.TheMaximumEntropyTheorematLimited-in-meanPowerCondition.即限平均功率条件下的最大熵定理：§3.5连续信源的最大熵定理≤所以对于一维随机变量而言，在方差受限下则相对熵在概率密度为正态分布时达到最大值。这就是为什么说高斯噪声源是干扰最严重的噪声源。§3.5连续信源的最大熵定理若X的取值为非负，且均值在限定为某一确定值，则X的分布函数为指数分布时达到最大。即：Ⅲ.TheMaximumEntropyTheorematLimitedMeanCondition即均值受限条件下的最大熵定理§3.5连续信源的最大熵定理＝1＝0§3.5连续信源的最大熵定理＝?所以在均值受限的条件下，概率密度为负指数分布时相对熵达到最大。§3.5连续信源的最大熵定理解法二：Q.E.D第三章.例题分析例3-2.(习题4.18)已知随机变量x与y的联合概率密度为：题解：因为只有二维正态随机矢量的联合概率密度才具有上式各项，因此试比较：(参见概率论书中135页公式)所以我们可以利用待定系数的数学方法避开求积分的麻烦。第三章.例题分析设待定系数方程组：再利用高斯变量的相对熵中只与其方差有关的特点得到：可根据二维正态熵的标准式，直接写出联合熵(书中197页)：第三章.例题分析当然你也可以利用我们上面给出的多维正态熵的公式求出：第三章.例题分析例题3-3.(习题4.17)设随机变量x的概率密度为:(注：这是语声信号的数学模型)题解：因这是瑞利分布TheReyleighProbabilitydensity:第三章：连续信源的信息熵

§3.EntropyofContinuousSource

§3.1连续信源的离散化

§3.2随机变量的相对熵

§3.3相对熵的性质

§3.4常见几种概率密度下的相对熵

§3.5连续信源的最大熵定理

§3.6平稳高斯随机过程的信息熵与互信息

§3.7熵功率与功率不等式

?信息理论基础?第三章.连续信源的信息熵§3.1连续信源的离散化(DiscretizationofContinuousSource)我们前面所介绍的信源均指离散信源，即信源所发的消息都是由符号或符号序列所组成；而且每一个符号的取值都属于一个有限元素组成的集合之中。而连续信源是指信源所发出的消息都是由一个个随机过程(stochasticprocess)所形成。如：语音信号它不仅幅度上，而且在时间上也都是连续的，即分别属于一个无限的集合之中。§3.1连续信源的离散化因此，我们所研究的问题就复杂了，然而任何复杂的问题都可以分解成比较简单的问题分步解决。故通常我们有一些处理连续变量的方法。TimediscretizationStochasticprocessRandomvectorRandomvariableMemorylessMa