信息论与编码_第2章信息的度量.ppt

信息论与编码 Information and Coding Theory 王永容 机械与电气工程学院 wangyr416@126.com 2011年3月 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 2.1 信源的数学模型及分类 消息 由符号、文字、数字、语言、音符、图片、图像等能够被人们感知器官所感知的形式组成的序列。 信息 信息是包含在消息中的内容和意义，是通信系统传输的本质。 信号 把消息变换成适合信道传输的物理量，这种物理量称为信号。如电信号、光信号、声信号、生物信号等。 三者关系 通信系统传输的是信号，信号携带着消息，消息中包含着信息。 信源 信源输出的消息用m表示。全体符号称为（语言的）符号集或字母集. 按照信源发出的时间和消息的分布分类 离散信源：信源发出消息的时间与消息的表示形式都是离散的。 如：计算机输出的代码、文稿、人写的书信等 连续信源：信源发出消息的时间与消息的表示形式都是连续的。 如：语音、图像、图形等 符号集（或字母集）A＝{a1, a2,…,an}. 信源任何时刻输出的消息是A上的一个离散随机变量X 2.1 信源的数学模型及分类 例2.1 在英文通信中，符号集A包含英文字母、数字、标点符号等. 英文字母的概率分布为： 例2.2 在中文通信中，符号集A包含中文字（常取一级汉字）、外文字母、数字、标点符号等. 最常用的十个汉字的概率分布为： 2.1 信源的数学模型及分类 符号集A＝R (实数集). 信源任何时刻输出的消息是A上的一个连续随机变量X X＝{X1, X2,X3……} N (为有限正整数或可数的无限值)维离散信源: X＝{X1, X2,…,XN}, Xi (i=1,2,…,N) 为离散随机变量 N (为有限正整数或可数的无限值)维连续信源: X＝{X1, X2,…,XN}, Xi (i=1,2,…,N) 为连续随机变量 第2章 信息的度量 2.1 信源的数学模型及分类 2.2 离散信源的熵 2.3 离散信源序列的熵 2.4 连续信源的互信息和微分熵 2.5 信源的冗余度 随机事件的自信息量 自信息量(self-information) 自信息量(self-information) 2.2 离散信源的熵 自信息量的单位 对数以2为底(log)，单位为比特 (bit, binary unit) 对数以e为底(ln) ，单位为奈特 (nat, nature unit ) 对数以10为底(lg) ，单位为哈特(Hart, Hartley) 单位转换 1 nat=log e bit ≈1.433 bit 1 Hart≈3.322 bit 2.2 离散信源的熵 例2-3 设一个信源发出二进制码元0和1，如发0的概率为p(0)=1/4，发1的概率为p(1)=3/4，则符号0和1的自信息量分别为： I(0)= ?log2(1/4)=2 bit， I(1)= ?log2(3/4)=0.4 bit. 如发0的概率p(0)=发1的概率p(1)=1/2，则符号0 和1的自信息量为： I(0)= I(1)= ?log2(1/2)=1 bit =1自信息量的单位. 2.2 离散信源的熵 例2-4 英文字母中，p(e)= 0.1031， p(c)= 0.0218， p(x)=0.0013，则： I(e)= ?log(0.1031)=3.2779 bit， I(c)= ?log(0.0218 )=5.5195 bit, I(x)= ?log(0.0013)=9.5873 bit. 符号ai与符号aj的联合自信息量： 条件自信息量 例2-5 设有两个离散信源集合 习题： 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。 2.2 离散信源的熵 熵 (entropy) 2