信息论与编码（汤学明）1 绪论.ppt

* 对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？ 通过一个有噪声的信道能够以多大的速率可靠地传输数据？ 当速率受限时，我们表示一个对象能够实现多大的精度？ 信息论的研究对象 信息论主要研究随机事件不确定性的度量。就通信领域而言，信息论用于回答下述三个通信的基本问题： 信源编码理论 信道编码理论 信息率失真理论 * 信息论的研究内容 狭义信息论(香农信息论、经典信息论) 研究信息测度，信道容量、信息率失真函数以及信源和信道编码理论 只要能抽象成通信系统模型的系统，均可用信息论研究 香农信息论 率失真函数 信源编码 信道编码 密码 信道容量 信源熵 无失真信源编码定理 信道编码定理 限失真信源编码定理 * 信息论的研究内容 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估计理论，调制理论，信息处理理论和保密理论。 后一部分内容以美国科学家维纳（N · Wiener）为代表。 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学等 所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量大小的一般规律及实现这些原理的技术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴 * 香农信息论科学体系 * 译码器 信道 编码器 通信系统一般模型 信 源 信 宿 信源编码 信道编码 信道译码 信源译码 加 密 解 密 加密密钥 解密密钥 噪声 窃听 * 通信系统一般模型(续) 信源： 产生消息的源 信源编码器：将信源发出的消息变换成二进制(或多进制)码元组成的代码组；通过压缩信源的冗余度，以提高信息传输的效率，使传输更为经济、有效 信道： 传送消息的媒质或通道 信道编码器：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有查错或纠错的能力，以提高信息传输的可靠性 噪声源：是整个通信系统中各种干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况 信宿： 消息的接收者 * 概率的基本性质 概率论复习 基本记号 * 离散型随机变量 * 离散型随机变量（续） * 离散型随机变量（续） * 连续型随机变量 * 连续型随机变量（续） * 连续型随机变量（续） * Faraday 法拉递 Morse 莫尔斯 Maxell 麦克斯韦 Marconi 马可尼 PoPoB 波波夫 Forest 福雷斯特 * Morse 莫尔斯 Kelvin 凯尔文 Carson 卡逊 Nyquist 奈奎斯特 Hartley 哈特莱 Wiener 维纳 * Armstrong 阿姆斯特朗 Dudley 达得利 * Elias 伊莱亚斯 Kullback 库尔贝克 Kolmogorov 柯尔莫果洛夫 Ungerboeck 昂格尔博克 * 信息论与编码 华中科技大学计算机学院信息安全系 * 联系方式 汤学明 Tel: QQ: 274226132 * 约法三章 请按时进入课堂听课，有事必须提前写请假条且必须有辅导员老师签字，并由本人亲自交给教师 请保持课堂纪律，在课堂上不要影响他人的正常听课，不要在上课期间接打手机，有问题可举手示意 请及时、认真地完成课后作业；作业必须使用作业本，并将班号、学号、姓名工整地抄写在作业本封面上 * 教学概述 课程类型：学科专业基础课 学时/学分：40学时/2.5学分 教材： 《信息论与编码》（第二版）. 陈运, 周亮，陈新. 电子工业出版社，2007 * 概论 2 学时 信源熵 14 学时 信道容量 7 学时 信息率失真函数 7 学时 信源编码 6 学时 习题讲解 4 学时 教学计划 合计 40 学时 * 参考书目 傅祖芸．信息论——基础理论与应用，电子工业出版社，2001 沈连丰，叶芝慧．信息论与编码，科学出版社，2004 * 参考书目(续) Thomas M. Cover Joy A. Thomas, “Elements of Information Theory”. John Wiley Sons, 1991. 影印版，清华大学出版社，2003 曹雪虹，张宗橙．信息论与编码．北京邮电大学出版社，2001 * 通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息 参考书目(续) —— C. E. Shannon(1916 – 2001) “A Mathematical Theory of Communi- cations”. Bell System Technical Journal, July October 1948. Vol. 27, p