ch01 绪论要点.ppt

信息论与编码 张谦述 办公室：行政楼316 qshzhang@uestc.edu.cn 课程介绍 课程介绍 通信系统模型 课程介绍 信息论与编码的地位和作用 狭义的“信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学,它是信息科学和技术的基础理论。 广义的“信息论”超越通信工程的范畴，渗透到其它学科，形成了许多新兴的交叉学科。 信息论是通信的理论基石 为设计有效而可靠的通信系统指出了方向和理论极限。具体地说，就是信源编码和信道码的香农三大极限定理。 编码给出了实用编码的结构和构造方法。 课程内容 信息论的基本问题 → 信息的度量 无失真信源编码定理 → 香农第一定理 信道编码定理 → 香农第二定理 限失真信源编码定理 → 香农第三定理 信源编码 信道编码 教学目标 香农信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 信源信道编码基础 纠错编码的理论及实现 计分方式 最后期终考试成绩占85％ 平时成绩占10％ 作业：一次不交扣2分； 考勤：5% 无故缺席一次扣1分，迟到一次扣0.5分； 严重违反课堂纪律，视情节轻重扣分 课程的地位 本课程的学习基础 概率论 数理统计 本课程又是后续课程的基础 通信原理 数字通信 数字图像处理 本课程的学习方法 抓住核心线索 信息的测度 提高通信的有效性和可靠性 把握核心概念 如：信息 信息量 互信息量 信源熵 信道容量 信息率失真函数 强化概率与数理统计知识 加强例题学习和独立完成作业 参考书 陈 运《信息论与编码》电子工业出版社，2002 田丽华《信息论、编码与密码学》西电出版社，2008 关 可 《信息论与编码技术》清华大学出版社，2009 Robert J. McEliece 李斗等（译）《信息论与编码理论》电子工业出版社，2004 戴善荣《信息论与编码基础》机械工业出版社，2005 曹雪虹《信息论与编码》北京邮电大学出版社，2001 第 1 章 绪 论 信息的一般概念及 通信中的信息的概念 一、信息的概念 信息的一般概念 信息是广义信息论中最基本、最重要的概念，既抽象又复杂，目前广义的信息定义还没有定论！ 一、信息的概念 香农信息论中信息的定义 信息是事物运动状态或存在方式的不确定性的描述。 一、信息的概念 香农信息定义的优缺点： 优点： 1. 有明确的数学模型和定量计算； 2. 与日常用语中的信息的含意是一致的； 3. 排除了对信息一词某些主观上的含意。 局限性与缺陷： 没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。 一、信息的概念 信息与消息、信号的区别与联系 区别: 1.信息是事物运动状态或存在方式的不确定性的描述; 2.消息(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：离散(数字)消息和连续(模拟)消息； 3.信号是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。如光信号、电信号、声音等。不同的信道具有不同的信号形式 联系: 在通信系统中 1.消息中包含信息，是信息的载体。 2.信号携带着消息，它是消息的运载工具。 3.信息可认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 二、信息论及其研究内容 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科。（学科层次） 信息论是在信息可以量度的基础上,研究有效地和可靠地传递信息的科学,它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。（科学内容） 二、信息论及其研究内容 研究内容（三个层次） 狭义信息论(香农的基本理论)也称经典信息论：主要研究信息的测度、信道容量及信源和信道编码理论等问题。 一般信息论(通信理论)：主要研究信息传输和处理问题。除香农理论外，一般信息论的研究还包括：噪声理论、信号滤波与预测、统计检测与估计理论、调制理论、信号处理与信号设计理论等。 广义信息论(信息科学)：不仅包括上述内容，而且包括所有与信息有关的自然和社会领域，具有更广泛的研究内容。 四、本课程研究的内容 通信的统计理论 主要研究如何利用统计数学工具分析信息、信息传输的统计规律。 其具体内容有： 信息的测度； 信息速率与熵； 信道传输能力