华中科技大学信息论第二章王斯玥老师.pptx

基础信息论;第2章 信源熵;本章内容;本章内容简介;第2章 信源熵;信源的概念;信源的数学模型;信源的分类;离散信源与连续信源;;离散平稳信源与非平稳信源;无记忆信源与有记忆信源;无记忆信源与有记忆信源（续）;信源的分类;第2章 信源熵;单符号离散信源的数学模型;2.1 信息的度量与信源熵（单符号离散信源）;2.1 信息的度量与信源熵;问题的引出;实际例子;用数学语言表述;自信息量定义;自信息量的单位;自信息量VS不确定度;自信息量VS不确定度;结论——自信息量与不确定度之间的关系;自信息量的计算——例1;自信息量的计算——例2;自信息量的计算——例2;自信息量的性质;自信息量的性质(续);2.1 信息的度量与信源熵;联合自信息量的定义;2.1 信息的度量与信源熵;条件自信息量;条件自信息量的性质;例：;例：;2.1 信息的度量与信源熵;几种自信息量之间的关系;例：联合自信息量;例：条件自信息量;2.1 信息的度量与信源熵;2.1 信息的度量与信源熵;平均自信息量;例：;平均信息量求解;甲地的第一种特殊情况;甲地的第二种特殊情况;2.1 信息的度量与信源熵;信源的概率空间描述; 平均自信息量—信息熵;信息熵的单位;练习：;2.1 信息的度量与信源熵;联合熵和条件熵;联合熵;条件熵;为什么条件熵要用联合概率进行加权平均？;强调：;条件熵的物理意义;分析; 的物理意义：熵损失;信源熵、联合熵和条件熵间的关系;三种熵的关系;三种熵关系的推广;练习;计算关键：由;接下来，代入相应数据，可得：;2.1 信息的度量与信源熵;熵的主要性质及定理;非负性与对称性;对称性解释;3. 确定性;4. 扩展性;5. 连续性;6. 极值性——香农不等式;香农不等式证明;香农不等式证明;7. 条件熵不大于无条件熵;证明(续);思考;思考;思考;8. 最大离散熵定理;9. 上凸性;上凸函数特点 在定义域内任意两点之间，函数的图形都位于过这两点函数值对应线段的上方。 ;上凸函数判断;上凸函数;9.3 熵函数上凸性的证明;9.3 熵函数上凸性的证明;思考;思考题;2.1 信息的度量与信源熵;加权熵的引入;概率空间;加权熵的基本性质——很多与传统熵的性质类似;4. 扩展性 5.连续性;6.均匀性 7.等重性;8. 非容??;9. 最大加权熵的求解;最大加权熵的求解;最大加权熵的求解;2.1 信息的度量与信源熵;2.1 信息的度量与信源熵;A. 互信息量;观察通信过程;互信息量定义;例题;互信息的三种形式1;互信息的三种形式2;互信息的三种形式3;互信息的三种形式3(续);第一种形式： 信宿端;互信息的性质2;互信息的性质3;C. 条件互信息量和联合互信息量;三个互信息量的关系;例;续例;续例;2.1 信息的度量与信源熵;问题：有了互信息量，为什么还要求平均？;;;;平均互信息的性质;;平均互信息的性质（续）;极值性讨论;极值性讨论（续）;极值性讨论（续）;极值性讨论（续）;4. 凸函数性;;(2) 凸函数性质的具体内容;2.1 信息的度量与信源熵;平均互信息和各类熵的关系;例题1;;;;;;接下来计算;如图为二进制对称信道的情况，可知，输入呈等概率分布： 时，平均互信息量最大。