第四章(波形信源和波形信道).ppt

信息论Elements ofInformation Theory;4、波形信源和波形信道; 4.1波形信源的统计特性和离散化;表4.1;4.2连续信源和波形信源的信息测度;;假定连续信源 X 的概率密度函数p(x)如右图所示。我们把取值区间分割成 n 个等宽的小区间。X 处于第 i 区间的概率为;这样，连续变量 X 就可用取值为 xi 的离散变量 Xn 来近似。连续信源 X 被量化成离散信源。;这时离散信源 Xn 的熵是 当n?∞, △?0，离散随机变量 Xn 趋于连续随机变量 X，而离散信源的熵 H(Xn )的极限值就是连续信源的信息熵：;定义连续信源的熵为： 又称为差熵、微分熵、相对熵。 两随机变量的联合熵和条件熵：;连续信源差熵的性质;差熵可为负值。 ;例：设有一连续随机变量，其概率密度函数为;连续信源的平均互信息;三种特殊连续信源的差熵;推广：均匀分布N维连续信源的差熵为 ;2、高斯信源的熵值;3、指数分布连续信源的熵值;4.3具有最大熵的连续信源;在什么条件下，连续信源的熵最大？;通常有三种情况是我们感兴趣的：一种是信源输出值受限的情况，另一种是信源输出的平均功率受限的情况，还有一种是均值受限的情况。下面分别讨论。;峰值功率受限条件下信源的最大熵（取值幅度受限） ;当N维随机矢量取值受限时，也只有各随机分量统计独立时，并均匀分布时具有最大熵。 最大熵为： ;平均功率受限条件下信源的最大熵（方差受限）;均值受限条件下的最大连续熵定理（均值受限）;4.4 连续信源熵的变换;设连续平稳信源输出的是N维连续型随机矢量 ,将它送入信息处理网络，其输出为另一个N维随机矢量 ;在离散信源中，若有确定的对应变换关系，变换后信源熵是不变的。问：在连续信源中，输出的消息经过变换后，其熵（差熵）会不会发生改变？ 下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。;坐标变换后概率密度函数的变化 ;引入雅可比行列式 ;经分析可得坐标变化后新旧概率密度函数的关系为： ;坐标变换后差熵的变化 ;一、熵速率：信源在单位时间内输出的熵称为信源的熵速率。 若信源是时间连续、信号带宽为F的连续信源，根据随机信号的抽样定理，可用2F的速率对信源进行采样。因此，连续信源的熵速率为： ;;二、熵功率：若平均功率为P的非高斯分布的信源具有熵为 ,称熵也为 的高斯信源的平均功率为熵功率 . ;三、连续信源的剩余度 熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。;4.6连续信道和波形信道的分类;研究波形信道就要研究噪声。在通信系统中，可把来自各部分的噪声都集中在一起，认为是通过信道加入的。 （1）按噪声的统计特性进行分类有： 高斯噪声信道、白噪声信道、高斯白噪声信道和有色噪声信道等。 （2）按噪声对信号的作用共能来分有：加性信道和乘性信道。 ;信道按噪声统计特性的分类 ;2、白噪声信道 定义：信道中的噪声是白噪声，即噪声是平稳随机过程，其功率谱密度均匀分布于整个频域，这个信道称为白噪声信道。 其功率谱密度为一常数：;3、高斯白噪声 定义：具有高斯分布规律的白噪声称为高斯白噪声。 高斯噪声是指它的N维概率密度函数服从高斯分布，并不涉及其功率密度的形状；白噪声则是就其功率谱密度是均匀分布而言，而不论它服从什么样的概率分布。在一般情况下，把概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声称为高斯白噪声。 ;4、有色噪声信道 除白噪声以外的噪声称为有色噪声。 定义：信道的 噪声是有色噪声，称此信道为有色噪声信道。;信道按噪声对信号的作用功能分类;连续信道的信息传输速率;二、多维连续信道的平均互信息 多维连续信道的数学模型为 其信道转移概率密度函数 满足下表达式： 其平均互信息为： ;多维连续信道的信息传输速率为： 平均每个自由度的信息传输率为 ;连续信道平均互信息的特性;4、信息不增性（又称数据处理定理） 若连续随机变量 形成马尔可夫链，则 5、坐标变换平均互信息的不变性 前面学习已知，通过一一对应的变换，差熵会发生变化，但传输的平均互信息是不变的。