第1章：绪论(免费阅读).ppt

信息论与编码 西安工业大学电子信息工程学院 我们了解的通信系统 通信的目的---------是传输消息。 要解决的最基本的问题----解决通信的有效性和可靠性之间的矛盾 通信的有效性----指消息传输的“速度”问题------高效率地传输消息 提高通信有效性的最根本的途径------ 模拟通信系统~~~~采用多路复用技术 数字通信系统~~~~采用多进制传输 通信的可靠性----指消息传输的“质量”问题------系统的抗干扰性。 提高通信可靠性的最根本的途径------- 模拟通信系统~~~~改变调制方式 数字通信系统~~~~提高信道的纠错能力 教学内容 信息论的基本问题-信息的度量 信道容量 信息率失真函数 信源编码 信道编码 教 学 目 标 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法（用信息论的思想和观点） 第一章 绪论 本章内容 信息的概念 信息的性质与分类 通信系统模型 信息论和编码理论的形成与发展 研究对象：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理中一般规律的工程学科。 研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。 1.1 信息的概念 举例 消息、信息、信号有什么区别 信号携带着消息，它是消息的运载工具。 信号携带信息，但不是信息本身。 同一信息可用不同的信号来表示。 同一信号也可表示不同的信息。 同一信息可用不同的消息形式来载荷。 一则消息也可载荷不同的信息，可能包含丰富的信息，也可能包含很少的信息。 1.2 信息的性质与分类 信息的性质： (1)??信息是无形的 (2)?信息是可共享的 (3)??信息是无限的 (4)??信息是可度量的 信息的分类 1.3 通信系统模型 模拟通信系统 数字通信系统 1.4 信息论与编码理论的形成和发展 2001年2月24日，Shannon于马萨诸塞州病逝。著名信息论和编码学者Dr. Richard Blahut 在Shannon塑像落成典礼上这样评价Shannon：“在我看来，两三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。他们也不会记得谁曾是影星或摇滚歌星。但是仍然会知晓Shannon的名字。学校里仍然会讲授信息论。” 它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。香农的贡献 1948年发表“通信的数学理论”，标志着信息论的诞生； 1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述； 1949年发表“噪声下的通信”，经典的阐述了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题； 1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础； 1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究； 小结 信息理论要解决的基本问题 1、什么是信息？如何度量？ 2、在给定的信道中，信息传输有没有极限？ 3、信息能否被压缩和恢复？极限条件是什么？ 4、从实际环境中抽取信息，极限条件是什么？ 5、在允许一定失真的条件下，信息能否被更大程度的压缩？极限条件是什么？ 6、设计什么样的系统才能达到上述极限？ 7、现实中，接近极限的设备是否存在？ 香农信息论内容 1）围绕信息的度量所展开的讨论 2）围绕无失真信源编码所展开的讨论 3）围绕信道编码所展开的讨论 4）围绕带限信道传输信息的能力所展开的讨论 5）基于信息传输时允许一定程度的失真和差错所展开的讨论 6）围绕通信网的发展带来的信息传输问题所展开的讨论 7）围绕通信的保密所展开的讨论 香农信息论的科学体系 香农和维纳理论的区别 香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。 香农和维纳理论的区别 维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如