数据挖掘-信息熵及其应用.ppt

信息熵信息能否度量？物质、能量和信息是构成客观世界的三大要素。信息（information）是什么?至今信息还没有一个公认的定义一般定义：常常把消息中有意义的内容称为信息。认识问题的过程：当我们对一问题毫无了解时，对它的认识是不确定的，在对问题的了解过程中，通过各种途径获得信息，逐渐消除了不确定性，获得的信息越多，消除的不确定性也越多。我们可以用消除不确定性的多少来度量信息量的大小。例：会堂有20排、每排20个座位。找一个人。甲告诉消息：此人在第10排；乙告诉消息：此人在第10排、第10座。是否存在信息量的度量公式？1948年，美国数学家、信息论的创始人Shannon在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。并应用概率论知识和逻辑方法推导出了信息量的计算公式。ClaudeElwoodShannon(April30,1916-February24,2001)hasbeencalledthefatherofinformationtheory.公理1：信息量是事件发生概率的连续函数；公理2：信息量是有限值；公理3：如果事件A和事件B的发生是相互独立的，则获知事件A和事件B将同时发生的信息量是单独获知两事件发生的信息量之和。设事件发生的概率为P，则满足上述公理的信息量函数为为应用方便，可取c=1，a=e，单位为奈特（nat）信息量函数I=-lnp如何体现不确定性的消除？例：会堂有20排、每排20个座位。找一个人。甲告诉消息(A)：此人在第10排；乙告诉消息(B)：此人在第10排、第10座。由信息量公式I=-lnp可知I是p的单调下降函数自信息的概念设离散型随机变量X的概率分布为自信息的概念信息熵(Entropy)的概念定义I(X)的数学期望称为随机变量X的平均自信息，又称X的信息熵或熵。信息熵的直观意义变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。??

一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。X甲赢乙赢P0.90.1H0.325X甲赢乙赢P0.50.5H0.693熵的性质连续非负性对称性扩展性可加性极值性：1948年，Shannon提出了熵的概念，并以此作为信息的度量，宣告了信息论作为一门科学学科的诞生。近年来，随着计算机应用的发展和信息时代的来临，信息论理论和应用的研究更显示出其重要意义。