离散有记忆信源的极限熵.pptx
文本预览下载声明
第三节离散有记忆信源的极限熵二维平稳有记忆信源及其熵平均符号熵N维平稳有记忆信源的极限熵
3.1二维平稳有记忆信源及其熵
对于有记忆信源而言,消息的平均信息量小于无记忆信源的平均信息量。
补充:
理解:条件越少,平均不确定性就越高。推广
当信源无记忆时,以H(X)衡量信源提供信息的能力;01当信源有记忆时,以HN(X)衡量信源提供信息的能力。023.2平均符号熵
3.3离散有记忆信源的极限熵
注1、由上面所求得的极限熵一般情况下是无法求得的,而只用极限后的表达式来近似代替极限熵。注2、当信源记忆长度为m时,则上式可以表达为:壹贰
显示全部