信息论--第三章·第四节 信道容量及其一般计算方法.ppt

第三章 离散信道及其信道容量 ;第四节 信道容量及其一般计算方法;信道容量的定义;二元对称信道信道容量;（1）具有一一对应关系的无噪声信道;(2)有噪无损信道信道容量;(3)无噪有损信道; 如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道 如： ;强对称信道;对称离散信道的信道容量; 那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布;例：;例：对于强对称信道，其信道容量为：;强对称信道与对称信道的区别;准对称信道的信道容量;又如：;达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：;例：;一般离散信道的信道容量;定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足;定理3.3的应用;所以：;对于一般信道的求解方法，就是求解方程组;例：;解之得：;第三章 离散信道及其信道容量 ;离散无记忆信道为：;为N次扩展信源中的一个符号;二元无记忆对称信道的二次扩展信道;可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。;定理3.5 如果信道是无记忆的，即;离散无记忆扩展信道信道容量;第三章 离散信道及其信道容量 ;第六节 信源与信道的匹配;第六节 信源与信道的匹配