信道编码定理.ppt

第5章 信道编码定理 信道编码和译码 Fano不等式和信道编码逆定理 联合典型序列和信道编码定理 错误概率限 等能量正交编码 信道编码和译码 信道编码和译码 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 联合典型序列和信道编码定理 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 错误概率上限 等能量正交编码 等能量正交编码 等能量正交编码 等能量正交编码 等能量正交编码 等能量正交编码 两个以上m’和y联合典型 译码错误 定义 的概率，当N 足够大，趋于0 使之极大化，用C 取代 所以必存在有一种码当N足够大时，其译码错误概率为0 错误概率上限 并集限 发送特定码字xm时译码错误概率 平均译码错误概率 并集限 并集限 巴塔恰亚（Bhattacharyya）限 示性函数 巴塔恰亚限 巴塔恰亚距离 例5.4.1 令M=2，且信道为BSC 加拉格（Gallager）限 若 加拉格（Gallager）限 定义 取 针对具体的码计算非常困难，我们转向估计所有可能的速率为R的、N长码集合的平均译码错误概率，使用随机编码的方法得到平均限， 随机码集合平均错误概率上限 定理5.4.1 令信道转移概率为pN (y|x), N≥1。令QN(x)是XN上的任意概率分布。以概率QN(x) 随机的选择长为N的码，对M≥2个消息进行编码。于是当传送任意消息m，1≤m≤M，并按最大似然译码法译码时，此消息的平均译码错误概率上限为： 随机码集合平均错误概率上限 证明：N长输入序列集XN 若从中随机地选择任一序列作为待传送的M＝2NR个可能消息中某一消息的码字，则码集合 集合中元素个数KN 编码方法种数 随机码集合 码C出现的概率 随机码集合平均错误概率上限 随机选择码字 随机码集合平均 错误概率 随机码集合平均错误概率上限 随机选择码字 随机码集合平均 错误概率 凸上 以M替代M-1即可得到结论 DMC信道 要对ρ和所有输入分布Q求指数项的最大值。令 可靠性函数 在0≤R≤C范围内有界，恒正，单调减凸下函数 计算截止速率或临界速率 线性函数 非线性函数单调减凸下函数 强噪信道 等能量正交编码 代入Gallager限 Information Theory and Coding Theory Information Theory and Coding Theory K信息比特 N编码比特 编码器 (n0, k0)卷积码 (Convolutional codes)：m个分组相关，约束长度为(m+1) k0 编码速率 (N, K)分组码 (Block codes)：分组之间独立 编码速率 译码准则 信息序列个数： 可能的N 长二元序列个数： 编码： 信息序列到N 长二元序列空间的映射 K长二元序列 空间 N长二元序列空间 信道编码和译码 接收矢量： 码字： 信道 译码 编码 译码错误概率（误组率） 接收y的译码错误概率 误比特率 Bit error rate 第k位出错的概率 信道编码和译码 最小错误概率准则 使 最小 最大后验概率准则 最大后验概率准则 计算后验概率是困难的，针对具体信道（转移概率已知），采用最大似然准则 信道