信息论基础高等教育出版社叶中行.PPT

信息论基础 主讲教师：张瑞娟 绪论 第1章 随机变量的信息度量 第2章 随机过程的信息度量和渐近等分性 第3章 数据压缩和信源编码 第4章 数据可靠传输和信道编码 第5章 限失真信源编码和率失真函数 第6章 连续信源和信道编码理论 绪论 信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学 研究信息的基本性质及度量方法，研究信息的获取、传输、存储和处理的一般规律的科学 研究可能性和存在性问题，为具体实现提供理论依据 第1章 随机变量的信息度量 §1.1 自信息 §1.2 熵、联合熵、条件熵 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课 §1.1 自信息 信息：通信领域指通信的消息；信号处理方面指包括了数字、数据、图像、语音等进行运算和处理所需的条件、内容和结果 信源：消息的来源。 信源的分类：离散信源和连续信源 信源的表示方法：用随机变量X表示一个离散信源，X的可能取值，即信源可能输出的不同符号用集合χ表示 自信息：信源发出的某个信号所含的信息量，记为 自信息与信号发生概率之间关系 自信息满足的公理 §1.2 熵、联合熵、条件熵 熵：对整个信源来说，每个信号的平均信息量的多少 定义1.2.1 离散随机变量X的熵定义为 §1.3 相对熵和互信息 §1.4 信息量的一些基本性质 §1.5 广义熵 习题课 第2章 随机过程的信息度量和渐近等分性 §2.1 信源和随机过程的基本概念 §2.2 随机过程的信息度量 §2.3 渐近等分性质 §2.4 渐近等分在数据压缩中的应用 §2.5 Shannon-McMillan-Breiman定理 §2.1 信源和随机过程的基本概念 信源分类 信源分类 无记忆信源 有记忆信源 平稳或遍历信源 马氏信源 高斯信源 随机过程 随机过程数学定义 随机过程分类 离散参数、离散状态的随机过程 离散参数、连续状态的随机过程 连续参数、离散状态的随机过程 连续参数、连续状态的随机过程 严平稳过程 宽平稳过程 §2.2 随机过程的信息度量 §2.3 渐近等分性质 §2. 4信源编码定理 §2.5 Shannon-McMillan-Breiman定理 第3章 数据压缩和信源编码 §3.1 等长码 §3.2 变长编码 §3.3 哈夫曼码 §3.4 香农码和费诺玛 第4章 数据可靠传输和信道编码 信道定义 §4.1 离散无记忆信道和信道容量 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码 §4.1 数据可靠传输和信道编码 一.信道分类 4.根据信道的物理性质，分为固定参数信道和变参数信道 5.根据输入输出信号的特点，分为离散信道、连续信道、半离散半连续信道、波形信道 6. 根据信道输入输出随机变量个数的多少，分为单符号信道和多符号信道 7. 根据信道有无干扰，分为有干扰信道和无干扰信道 8. 根据信道有无记忆性，分为有记忆信道和无记忆信道 9. 根据信道中受噪声干扰的不同，分为随机差错信道和突发信道 二、离散信道的数学模型 衡量一个信息传递系统的好坏，有两个指标 a.数量指标：信息传输率R b.质量指标：平均错误率Pe 信道编码的目的： 使译码错误概率Pe在一定限制下使码率R达到最大 三、特殊单符号离散信道的信道容量 1.无噪信道 a.具有一一对应关系的无噪信道 b.具有扩展性能的无噪信道 2.对称信道 另一种对称信道定义 准对称信道定义 如果转移概率矩阵P是输入对称矩阵(行可排列)而输出不对称(列不可排列)，即转移概率矩阵P的每一行都包含同样的元素，而各列的元素可以不同，称该信道为准对称DMC信道 §4.2 信道容量的计算 §4.3 信道编码理论 §4.4 带反馈的信道模型 §4.5 联合信源——信道编码定理 §4.6 线性分组码 第5章 限失真信源编码和率失真函数 信道不可能实现对消息的完全无失真传输 在现实生活中，不要求获得完全无失真的消息，只要求近似再现原消息 允许一定失真，所以对信息率的要求降低 信息率失真理论由香农提出，定义了R(D) 引入失真函数，计算在失真度条件下信