连续信源及连续信道.ppt

2.3 连续信源;;;2.3.1连续信源熵;根据离散信源熵的定义，则;定义连续信源熵:;例2.3.1有一信源概率密度如图所示，求连续熵;同理，可定义两个连续变量X，Y的联合熵和条件熵： ;2.3.2 几种特殊连续信源的熵;相对熵无非负性，可为负值; 连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和，与离散信源情况类似。;2. 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关 ;与方差有关，与均值无关;当均值m=0，X的方差就是随机变量的平均功率;3. 指数分布的连续信源的熵：只取决于均值;2.3.3 连续信源熵的性质及最大连续熵定理;3. 平均互信息的非负性;4. 最大连续熵定理;;; N维矢量（X1 X2 …XN）中各分量彼此统计独立，且分别在[a1，b1] [a2，b2] …[aN，bN] 的区域内均匀分布，即 ;（2）限平均功率的最大熵定理 若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为高斯（正态）分布时，信源具有最大熵值。; 当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。 ;当信源的概率密度符合正态分布时，其相对熵仅与随机变量的方差 有关，而方差在物理含义上往往表示信号的交流功率,即 如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。 ;（3）均值受限条件下的最大连续熵定理 若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，信源具有最大熵值。; 总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的限制条件有关。连续信源在不同限制条件下最大熵是不同的，在无限制条件时，最大熵不存在。;3.5 连续信道; 定义连续信道的信道容量C为信源X等于某一概率密度函数p0(x)时，信道平均互信息量的最大值。; 加性连续信道的重要特征：信道的条件概率密度函数等于噪声的概率密度函数;则加性信道的信道容量为;高斯加性连续信道的容量：;; 因为高斯加性信道中，输入X和噪声N相互统计独立，且 Y=X+N，可以证明，当输入X是均值为0，方差为 的高斯随机变量，则??出Y的概率密度函数满足高斯分布;此时输出端的连续熵Hc(Y)达到最大值，即：; 如果我们对信道的输入信号进行采样，假设信道的频带限于（0，W）。根据采样定理，如果我们把信道的一次传输看成是一次采样，则信道每秒传输2W个样点，单位时间的信道容量为：;例：设电视图像每帧由3×105个像素组成，每个像素由8个可辨别的亮度电平（等概出现)。又设每秒发送25帧图像，信噪比为 试求传输此图像信号所占用的最小带宽。