2.4信息论初步信息的度量离散信源的信息量连续信源的信息度量信道.ppt

预备知识（四） 信息论初步 通信原理第五讲 2.4 信息论初步 2.4 信息论初步 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式 关于信息论 信息论是研究信息的基本性质及度量方法，研究信息的取得、传输、存贮、处理和变换的一般规律的科学。信息论是由通信的发展中产生的，它已渗透到了化学、物理学、生物学和心理学等许多领域，随着计算机技术的发展，信息的处理和利用也有了飞速的发展，人类对信息重要性的认识，也在逐步深化。 关于信息论 1924年，奈魁斯特等人研究了通信系统传输信息的能力，并试图度量系统的信息量，开始了现代信息论的研究。1947年，美国数学家诺伯特·维纳研究自行火炮，发表了题为《控制论》的专著，提出了控制论。1948年，美国数学家克芬特·仙农研究密码通信，发表了他的著名论文《通信的数学理论》，奠定了信息论的基础，第一次把信息通信领域的概念确切化了，而且从概率论的观点，提出了信息量的概念。他所建立的信息论包括三大内容，指的是信源理论、信道理论和信息失真函数理论。这些理论立足的基础是概率论。 狭义信息论-通信中的数学理论 通信与信息 通信系统所传递的是信号 信号是消息的载体 信息是消息的内涵 对接收者来说，只有消息中不确定的内容才构成信息 （通信能传输信号，但不一定能传输信息） 信源的输出是随机的，只能用统计方法定性 信息的度量 式中P(xi)为该消息 xi出现的概率。 当对数以2为底时，信息量单位称为比特(bit)；应用最广泛的单位 当对数以e为底时，信息量单位称为奈特(nit)。 当对数以10为底时，信息量单位称哈特来。 信息的度量 P(x)=1→I=0；P(0)=0→I=∞ 若干相互独立事件构成的消息，所含信息量等于各独立事件信息量之和。 I[P(x1),P(x2)…]=I[P(x1)]+I[P(x2)]+…… 直观经验又告诉我们，当消息持续时间越长，其信息量也随之增加。 2.4 信息论初步 2.4 信息论初步 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式 离散信源的信息量 离散信源只能产生有限种符号 对有限个符号构成的消息，假定符号出现相互独立，其信息量为： 离散信源的信息量 例：离散信源由0， 1， 2， 3四个符号组成，它们出现的概率分别为3/8, 1/4, 1/4, 1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210 100321010023102002010312032100120210的信息量。  解：此消息中，0出现23次，1出现14次，2出现13次，3出现7次，共有57个符号，故该消息的信息量为 离散信源的平均信息量 信源的平均不确定性信源熵 信源输出消息的平均信息量等于信源熵 上例的平均信息量为： 熵与信源熵 熵概念来自热力学，1864年由德国的克劳修斯（Clausius）提出，它反映系统的微观混乱程度。1882年，玻尔兹曼（Boltzmann）发展了熵理论，并把熵解释为“失去的信息”。1948年美国人仙农（Shannon）使用熵函数建立了通信的数学理论，熵的概念和方法从此被越来越广泛地应用。 信源熵H（X）的三个物理意义： 信源输出后，每个离散消息所提供的平均信息量 信源输出前，信源的平均不确定度 变量X的随机性 关于熵* 热力学第二定律指出：热不可能独自地、不付出代价地从冷的物体传向热的物体。这就是说，在冷和热这对矛盾中，高温物体可以自行将热运动传向低温物体，低温物体却不能自行将热运动传向高温物体。克劳修斯还引入了熵的概念来反映这种变化的运动过程和方向。在一个不与外界发生相互作用，即不与外界发生物质和能量交换的孤立系统中，熵的变化总量总是大于零或等于零。这就是熵增加原理，熵的大小反映了一个系统中微观粒子热运动所引起的无序程度。一个系统从有序趋于无序，从不平衡到平衡，熵的值也趋于极大。 信息＝负熵； 　　熵＝缺乏信息＝无知 离散信源的平均信息量 可以证明： 当离散信源中每个符号等概出现，且各符号出现为统计独立时，该信源的平均信息量最大。 条件熵与平均互信息量 条件熵的定义： 平均互信息量的定义： 条件熵与平均互信息量物理意义 条件熵与平均互信息量物理意义 2.4 信息论初步 2.4 信息论初步 信息的度量 离散信源的信息量 连续信源的信息度量 信道容量和仙农公式 连续信源的信息度量 连续信源的绝对熵 连续信源的相对熵 连续信源的信息度量（p19） 信源为什么分布时，连续信源熵最大？ 峰值功率受限条件下： 均方功率受