信息论-第章单符号离散信源.ppt

第1章 单符号离散信源 内容提要 1.1 信源的数学模型 1.2 信源符号的自信息量 1.3 信源的信息熵 1.1 信源的数学模型 信源 信源是信息的发源地，其输出称作消息。信源的数学模型用概率场描述 离散信源　 信源输出是离散的消息符号，用离散随机变量描述。最简单的离散信源（单符号）可用一维离散随机变量来描述的，其数学模型为 2. 连续信源　 信源输出为连续信号形式，可用连续随机变量来描述。最简单的连续信源可用一维连续随机变量来描述，其数学模型为 1.2 信源符号的自信息量 信息量＝不确定性的消除 信息量的特性 事件（消息）的信息量大小与其不确定度（概率）有关 事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件的信息量为无穷大 信息量具有可加性 1.2.1 自信息量 自信息量 任意简单随机事件xi的发生概率为p(xi)，则自信息量为 自信息量的单位 以2为底： 比特（bit） (binary unit) 以e为底： 奈特（nat） (nature unit) 以10为底： 哈脱来（Hart） (Hartley) 换算关系： 1 nat ? 1.443 bit 1 Hart ? 3.322 bit 一般取以2为底，1 bit的信息量就是二元概率空间在等概时的每个事件蕴含的自信息量。 注：计算机技术中的述语“比特”表示一个二元数字，每个二元数字所能提供的最大平均信息量为1比特。 例： 相互独立事件X=x1,Y=y1同时发生，其发生概率为 p( X=x1,Y=y1）=p(x1)p(y1)，而 f 满足： f(p( X=x1,Y=y1）)= f(p(x1))+f(p(y1)) 1.2.1 自信息量（续） 联合自信息量 二维联合集XY上元素( xi yj ) 的自信息量定义为 其中，xiyj 是积事件； p( xiyj) 是二维联合概率 1.2.2 条件自信息量 条件自信息量 若事件xi在事件yj给定条件下的概率为p(xi| yj)，则其条件自信息量定义为 因为p(xi| yj) ≤1 ，所以条件自信息量非负 即：I(xi| yj) ≥0。 1.2.2 条件自信息量 例1.2.2 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）在二维联合集XY上的元素的自信息量为 （2）在二维联合集XY上，元素的条件自信息量为 1.3 离散集的信息熵 1.3.1 信息熵（平均自信息量, Entropy） 1.3.2 熵函数的数学性质 1.3.3 条件熵 1.3.4 联合熵 1.3.5 各种熵的性质 1.3.6 加权熵 ?加权熵定义 ?加权熵性质 1.3.1 信息熵 熵的定义 在离散集X上，随机变量I(xi)的数学期望定义为平均自信息量 又称作集X的信息熵，简称熵。 如果一个事件的概率为0，它无法提供任何信息。定义0log0等于0，即零概率事件的信息熵为零。 信息熵的单位取决于对数的底。 设有一个包含n个消息的集合X, 其概率空间为 例 1.3.1 电视屏上约有500×600个格点，按每点有10个不同的灰度等级考虑，则共能组成 个不同画面。按等概计算，平均每个画面可提供的信息量为多少？ 有一篇千字文，假定每字可从万字表中选取，则共有不同的千字文多少篇？按等概计算，平均每篇千字文可提供的信息量为多少？ 解:按等概计算，平均每个画面可提供的信息量为 假定每字可从万字表中选取，则共有不同的千字文 按等概计算，平均每篇千字文可提供的信息量为 信息熵的含义 H(X)表示信源的平均不确定度——平均信息量 H(X)表示信源的随机性 H(X)表示信源输出每个符号所提供的平均信息量 H(X)表示信宿所能获得的最大信息量 1.3.2 熵函数的数学性质 随机变量集X的熵H(X)只是其概率分布