信息论与编码（汤学明）3 信道容量.ppt

* 若传输时间 T 固定，则扩展信道的带宽 F 就可以降低信噪比的要求；反之带宽变窄，就要增加信噪功率比；也就是说，可以通过带宽和信噪比的互换而保持信息传输率不变。 如果信噪功率比固定不变，则增加信道的带宽 F 就可以缩短传送时间了，换取传输时间的节省；或者花较长的传输时间来换取频带的节省；也就是实现频带和通信时间的互换。 如果保持频带不变，可以采用增加时间 T 来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。该方法是将重复多次收到的信号叠加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。 * 3.6　信道编码定理(香农第二定理) 对于一个给定容量为 C 的离散无记忆平稳的有噪信道，只要信息传输率 R C ，就一定存在一种编码方法，当码长 l 足够长时，译码的差错概率Pe e ，( )，反之如果 R C 则码长 l 无论取多长，也无法找到一种编码方法使得译码差错概率任意小( ) 对于限带高斯白噪声加性信道，噪声功率为 ，带宽为 F，信号平均功率受限为 ，则： 反之，如果 ，则无法找到一种信道编码，在信道中以信息传输率 传输信息使译码的差错概率达到任意小 当 时，总可以找到一种信道编码，在信道中以信息传输率 传输信息，使译码的差错概率可以任意小 * 作业 3.1 3.3 3.6 3.7(3), (4) 3.8 3.14(3) 3.16 3.18 3.19 * 离散信道容量的一般计算方法 信道容量： 约束条件： 求离散信道容量可转化为求 对信源概率分布 的条件极值 固定信道，平均互信息是输入概率分布 的上凸 函数，其极大值必为最大值 可以采用拉格朗日乘子法求 I ( X ; Y ) 的条件极值 * 离散信道容量的一般计算方法(续) 构造辅助函数 两边分别对 求偏导并使之等于 0 * * 以上求解出的　I ( X ; Y )　　为平均互信息的最大值因此： * 以上是含有 m 个未知数，由 n 个方程组成的非齐次线性方程组，如果 m = n 且信道矩阵可逆(是非奇异矩阵)，则方程组有唯一解 最佳输入分布 * 前述采用拉格朗日乘子法求解时，只考虑了限定条件 ，没有考虑 ，所以必须对求解出来的最佳输入分布进行检查 如果存在有 ，这表明所求的最大值 C 出现 的区域不满足概率条件；这时最大值必在边界上，即某些输入符号的概率为 0， 因此必须设某些 的概率 ，然后重新进行计算 如果 n m，非齐次线性方程组将有无穷多组解，一一比较所计算的 C 的大小同时检查是否满足概率条件是不现实的，此时往往采用迭代算法，用计算机编程计算 * * 多符号离散信道的数学模型 如果 N 长的随机序列通过一个单符号离散信道，则信道的输出也是 N 长的随机序列 如果将 N 长的随机序列作为一个新信道(多符号离散信道)的输入与输出，则这个新信道就是原来单符号离散信道的 N 次扩展信道 N 次扩展信道的输入符号集共有 n N 个元素，输出符号集共有 m N 个元素，其信道矩阵如下所示 * 多符号离散信道的数学模型(续) * 离散无记忆信道的 N 次扩展信道 1 Y 多符号离散信道视作单符号离散信道在每一单位时间传递一个随机变量 离散无记忆信道的 N 次扩展信道：k 时刻的输出 与 k 时刻的之前的输出 和输入 无关(无记忆性)，只与 k 时刻的输出 有关 同时还具有无预感性 * 离散无记忆信道的 N 次扩展信道的平均互信息 当信道输入也是无记忆时等号成立 若信道的输入和输出分别是 N 长序列 X 和 Y，且信道是无记忆的，则： * 离散无记忆信道的 N 次扩展信道的平均互信息(续) * N 个输入/输出变量间的平均互信息之和为： k 时刻第 k 个随机变量 单独通过单符号信道时，从 得到的关于 的平均互信息为： 若信道输入及信道本身均无记忆，则： 说明输出端各 相互独立 * * 0 0 1 1 求二次扩展信道数学模型 * 独立并联信道 信道的输