信息论第二章离散信源与信息熵（上）.ppt

§2.2.自互信息与条件自互信息Ⅰ.解法一Ⅱ.解法二Ⅲ.解法三Ⅳ.解法四??§2.2.自互信息与条件自互信息§2.2.自互信息与条件自互信息Ⅱ.解法二§2.2.自互信息与条件自互信息Ⅲ.解法三Xn之间相互独立；但无法保证yn之间相互独立。§2.2.自互信息与条件自互信息Ⅳ.解法四？？§2.2.自互信息与条件自互信息§2.2.自互信息与条件自互信息显然，还有两种解法要比以上两种解法的概念清晰：解法一、§2.2.自互信息与条件自互信息解法二、§2.2.自互信息与条件自互信息Q.E.D.第二章.信息的度量与信息熵§2.3离散信源的信息熵(EntropyoftheDiscreteSource)单个消息事件的数学描述是随机变量(randomvariable)单个的消息序列的描述是随机矢量(randomvector),而消息集合——信源的数学描述就应是概率空间(probabilityspace)。因此，离散信源的数学模型就是离散概率空间。当信源输出的消息符号其取值是有限个种类，则这是离散型随机变量，此信源称离散信源，其数学模型为：一个消息事件的概率为,它的自信息是,这也是一个随机变量。(因消息不同，它所含有的不定度也不同.因而其自信息本身也是随机的。)显然不能用它来作为整个信源的信息测度。(或者说是信源功能描述)要找一个集合的总体特征，从数学上看是求数学期望(mathematicalexpectation)，所以特定义自信息的数学期望为信源客观上的平均信息量，称为信源的信息熵(Entropy)。DefinitionofEntropy:§2.3离散信源的信息熵def“熵”这个名词来源与统计热分子力学，其物理含义是表示分子运动的不均匀性，或描述分子运动的混乱程度。物质越热其热熵越大即分子运动越快。我们借用熵的含义反映信源这个消息集合中的总体特征——平均不确定度。(AverageUncertainty)所表示某一事件的自信息，当且仅当在该事件发生之后其不定度完全解除掉，我们才能说获得了大小与相当的信息量；而信息熵反映出对每一个消息事件在集合整体上的平均不定度，一般情况下它并不等于信源所发出的每一个消息后所获得的平均信息量。因为只有在无干扰的情况下，接收者准确无误的收到每一条消息后，同时也完全解除了它们的不定度时才能说接收者所获得的平均信息量等于信息熵。§2.3离散信源的信息熵从数学来看，信息熵的引出仅仅由一个随机变量的统计平均处理所得到集合的统计平均值而已。但从物理意义上看，两者产生了性质的突变，仍是一个随机变量(variable);而已变成了常量(constant)，它是代表集合的总体特征。信息熵与平均信息量的关系：所以一般来讲，信源的信息熵H并不等于接收者所获得的平均信息量。从客观性来看，信息熵仅表征了信源发送信息能力的客观标志，它与此刻信源发不发消息？在发哪条消息？毫无相关！§2.3离散信源的信息熵因此我们讲信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。例2－5.则信息熵分别为：§2.3离散信源的信息熵前提：模一次球后再放回袋中，以不破坏概率试验条件，且一旦球拿出其不定度一定完全解除。所以，摸n次以后所得到的总信息量为：若经算术平均处理后，则平均信息量为：所以在此条件下才有平均信息量等于信息熵。第二章.信息的度量与信息熵我们说信息熵是一个定值，是指针对信源的概率分布函数来说是一常量。如果分布函数不同，则信息熵也就不同。因此信息熵将是概率分布的函数，亦称熵函数。§2.4熵函数的数学性质与其物理意义(MathematicalPropertiesoftheDiscreteEntropyFunction)def注意：这里所指的熵函数是针对离散信源而言，如果对连续信源其熵函数的性质就有一定的出入。下面我们分别